旧业，事情没有成功而停止。北齐灭亡，彦谦回到家里。周武帝宇文邕派国辛遵任齐州刺史，辛遵被盗贼首领辅带剑捉获。彦谦写信劝谕辅带剑，带剑畏惧惭愧，将辛遵送回齐州，各路盗贼都归顺自首。隋文帝称帝之后，房彦谦在乡里悠闲自得，发誓再也不愿官。开皇七年(588)，刺史韦艺持举荐他，不得已他才答应。吏尚书卢恺一见面就很看重他，破格授予他承奉郎，不久调任监察御史。后来南陈被平定，他奉命安抚泉州、括州等十州。因完成使命颇受文帝称许，赏赐给他布帛一百匹，米一百石，衣服一，婢七人。

又迁任秦州总录事参军。朝臣上朝时，左仆赹决定考官吏们的政绩。房彦谦对赹说“；《书经》上说三年对官吏考一次，以提优异的，黜退庸劣者。唐尧、虞舜以后各代都有自己的法度，降免和提都能合理，表扬和批评都不缺少。于是，提一定能得到贤能的人，罢免的都是无才无德的小人。如果执行谬误，法规就等于虚设。看看各州的考，执行的情况各不相同，用和汰减的多少，数目都不一样。更何况长官对下级或或憎，任意凭情用事，使得那些乖巧刁钻的人仕途却很平坦；清廉正派，孤傲耿直的，未必能够升；卑膝献媚，刁钻取巧者，反而居于上等。真假混淆，是非颠倒。达官显要如不严格挑选，认真取舍，那些被他们提任命的下级官吏，就会多数是靠蒙混投机获得成功的；没有经过政府批准的，都不知自己不被选的原因。另外，天下四方距离遥远，很难到详细考，惟有清人数，一半黜退，一半保留，只计算官员数量的多少，不要他好坏的多少。想求得公允恰当，实在没有办法。您察幽微，公平待，现在所考的，一定没有受冤枉的。假如现了前面说的那几件事，不知您怎么理？只希望您广泛地布置耳目，认真了解下面官吏的情况，表扬他们细小的成绩，批评他们轻微的过失，不但是非曲直分明，大得行，而且也足能够奖励贤能清俊之士。”说时语气慷慨，引起旁观者的注目。赹也为之动容，长长叹赞赏。因而询问他河西、陇右一带官员的清形，彦谦声音洪亮，对答如。赹对各州总、刺史说“：与你们谈话，不如单独同房彦谦谈话。”以后数日，赹将彦谦的意见告诉给文帝，文帝竟没有采纳。

因在秦州任职期满，他调任为长葛县令。很有惠政，百姓都称他为慈父。仁寿年间，文帝命使臣持节巡行各州县察看官吏能力的大小，认为彦谦为天下第一，提他为都州司。长葛县的官吏百姓号啕大哭，互相诉说：“房明府现在离去，我们还活个什么！”以后百姓们思念他，立碑歌颂他的功德。都州长久没有刺史，州中政务都归房彦谦理，也同样政绩卓异。内史侍郎薛衡为一代文宗，名望清雅显著，结的都是海内名人贤士。他十分看重房彦廉的为人，对彦谦极为友和敬重。衡任襄州总，与彦谦书信往来不断，双方的信使常常在路途上错而过。炀帝继位，衡又转任番州，途径彦谦的住所，留连多日，最后洒泪而别。

黄门侍郎张衡也与房彦谦相友善。当时，炀帝正大肆营建东都洛，殿都极其华丽，令天下人大失所望。再则，汉王杨谅反叛，被牵连获罪的人很多。彦谦见张衡当政而又不能匡救时弊，便写信告诫他，说：

“我听说奖赏可以劝善，罚可以惩恶。所以就是对于那些地位卑贱的人，有了善事也一定给予奖赏；对于地位，有才能的人，有了过错也一定要惩罚。不应该惩罚避开自己的亲友，奖赏遗漏了卑贱的人。现在，国家恰好承受好的命运，天有如百姓的父母，赏罚奖惩，是非曲直，上天都可以知，就是在很远的地方，皇天也能够照临，所以，应该谨慎严肃。

“至于并州的谋反事件，须要查清辨明。如果杨谅确实因为皇帝的诏命没有传达到他那里，他考虑到国家面临危难，调集兵力，聚众起事，并不算违犯朝廷法纪，则应当谅他的本意，再讨论对他的罚。这样，上可以符合圣上兄弟友的心意，下可以解除百姓们疑惑的念。

“圣人认为最珍贵的东西，就是皇帝的宝座。如果上天不送给你，谁都不能轻意得到。所以像蚩尤、项籍那样骁勇善战，伊尹、霍光那样有权有势，老、孔那样才智绝，吕望、孙武那样谙兵术，吴、楚连结，有着磐石般的屏障，都没有能够取得帝位。更何况小小的一隅，有如蜂翅膀的扇动，蚂蚁的聚集，杨谅的愚笨，群小们的凶恶，想犯京城辅地，真是妄想啊！

“自开天辟地以来，都有文字记载。帝王的言语行迹，后人可以详细知晓。如果不积累德和仁之心，为国家建丰功，为百姓谋厚利，谁能够使自己的威望让天人共知，神动神灵？所以，古代圣哲的帝王，黎明即起，劳国事，兢兢业业，如履冰上，如怀抱朽烂，小心谨慎。世的帝王骄奢荒，无所畏惧，凌驾于万民之上，肆意放纵私，史书不可一一记载。