的上策；迁移城郭中的居民，退守城，等待援兵到达，是他的中策；如果难以迁移人，守城郭，是他的下策。”长孙俭问“：判断萧绎会采用哪策略？”于谨说：“肯定采用下策。”长孙俭问“：什么原因？”于谨回答“：萧氏占据江南，已绵延几代人之久，正好中原地区多事，没来得及对外扩张。又因为我们有北齐这个外患，他们一定认为我们的力量难以分开。况且萧绎为人懦弱而且没有谋略，多怀疑虑，难作决断。愚蠢的人难以考虑事情的始因，都贪恋安居城池，他既然厌恶迁移，当然就要守外城。所以肯定采用下策。”于谨命令中山公宇文护和大将军杨忠等先占领江边渡，断绝梁人的退路。梁人在外城树立起木栅，一圈周长六十里。不久于谨兵到，他命令全军将城团团围住。过了十六天，外城被攻破，梁帝只得退保城。第二天，梁元帝率领太以下文武百官，自缚城投降。不久于谨便将他们全杀掉了，俘获城中男女十多万人，收了梁朝府库中的所有珍宝，得到宋时制作的浑天仪、梁朝的日晷、铜表、魏国的相风鸟、铜盘龙趺座、大玉直径四尺，周围长七尺以及各车驾，帝王所用各献给朝廷，军队没有私留一东西。同时，立萧鮞为梁帝，统领全军凯旋。周文帝亲自来到于谨的府中，设宴畅叙，极为乐。赏于谨隶一千人和梁朝的一些宝，并有金石丝竹乐一，加封为新野郡公。于谨决辞谢，但周文帝不允许。周文帝又令乐官制作了《常山公平梁歌》十首，让乐工演奏歌唱。

于谨认为自己久担重任，掌握大权，如今功名已就，愿意保有悠闲的生活，便献上先前所乘的骏和所穿的铠甲等。周文帝明白他的心意，便对他说：“如今敌未灭，你怎能便想独善其呢？”终于不肯接受。建立六官制时，于谨被任命为大司寇。

当周文帝死时，孝闵帝年纪尚幼。中山公宇文护虽受遗命辅政，但他的声名和职位一向比较低下，众位官都想执掌朝政。宇文护十分忧虑，便秘密拜访于谨。于谨说“：我往昔承蒙丞相殊遇和眷顾，今日必当以死抗争。如果对着众官定下大计，您一定不要谦让。”第二天，众位公卿聚会商议，于谨说“：往昔帝室行将倾覆，外境艰难，丞相立志保存皇室，匡救于危难之中。今日上天降下灾祸，丞相突然抛下百官而去，嗣虽然年幼，但中山公是丞相的亲侄，并且受命辅助嗣，军国大事，理当由他总。”于谨说话时声俱厉，众人心中都惊惧不已。宇文护说：“这是我家的家事，我怎么敢推辞责任呢？”于谨原是和周文帝同列的朝官，所以宇文护一向十分敬重他。这时，于谨便站立起来，说“：贤公如果愿意统理军国大事，我们这些人也就有了依靠了。”于是，他便向宇文护作拜。众公卿迫于于谨的压力，也只得拜见宇文护。这样，众公卿才作了决定。

孝闵帝即位，晋封于谨为燕国公，邑万，晋升太傅、大宗伯，和李弼、侯莫陈崇等参议朝政。当贺兰祥征讨吐谷浑时，明帝命令于谨遥控指挥这支军队，传授作战的方略。

保定二年(562)，于谨以年老为由，请求朝廷让他退休养老，但不被允许。保定三年，让于谨成为朝中的三老之一，于谨决辞谢，又不得许可。赐给他延年杖。武帝亲临太学向三老。当三老门时，皇帝迎拜于屏门，三老当即答拜。有关官员在中设下了三老的座席，面朝南。太师、晋国公宇文护登阶，陈设席位，铺好小几。三老席，面朝南，靠小几坐下，以老师的份自居。大司寇、楚国公宇文宁登阶，正鞋。皇帝登阶，站立在绘有斧形纹的屏风前，面向西。有关官员送来品，皇帝跪着陈放酱豆，亲自卷衣袖割切。三老吃过以后，皇帝又亲跪向他们送爵(酒杯)，以酒漱。(古代一礼节，《礼记-乐记》“执酱而馈，执爵而。。”)礼毕，有关官员撤下这些东西。皇帝面北站立问治国之。三老便从席上站立起来。皇帝说：“我辱当天下重任，自知缺少才能，不知治理国政的要术，请诸公教诲。”三老答“：木材经过绳墨以后就方正了，国君听从劝谏就是贤明的君主，自古以来的明君圣主，都是虚心听从劝谏，从而知得失之，天下因此而得安定，愿陛下经常想到这一。”又一位说：“治国之本，在于忠信之。古人可以没有，可以没有军队，但却不可以去掉信用。国家的兴废，无不因此而造成，请陛下谨守而不要失去。”又说：“治国之，必须有法则。法，是治国的制度，不可以不公正。公正表现在赏罚方面，如果有功劳的就要奖赏他，有罪的一定要惩罚，那么好事的人就越来越多，坏事的就越来越少。如果有功劳不奖赏，有罪过不惩罚，那么天下就会善恶不分，下边的人不知怎么才好。”又说：“言论和行为，是立的基。说过话，行动就要跟上，诚恳地希望陛下认真记住。”三老说完后，皇帝再次向他们拜谢，表示接受教诲。三老也答拜，礼仪完毕后才离开。

当晋公宇文护东征时，于谨正在生病，宇文护因为于谨是久经沙战的老将旧臣，所以还是请他一起征，以便经常请教谋略。东征回朝后，赏赐给他钟磬一。天和二年(567)，又得赏赐安车一辆，不久又任他为雍州刺史。天和三年，逝世，享年七十六岁。周武帝亲临致哀，传旨让谯王俭监护治丧诸事，并赐给缯一千段，粟、麦一千斛，本官衔外，加封使持节、太师、雍、恒等二十州诸军事、雍州刺史，谥号为“文”下葬时，自王公以下爵位的官员，都送到郊外。并祭在周文帝的庙堂中。