击，在岭上把乜列河打败，乜列河的众都被他掠走。于谨的伏兵冲来，贼兵就此败，全将乜列河的众收降过来。魏帝嘉赏于谨，任命他为积将军。

孝昌元年，于谨又随广王征讨鲜于脩礼。大军停驻在白逻，正逢章武王元被鲜于脩礼杀害，于是将军队停驻在中山。侍中元晏告诉灵太后说：“广王以宗室的重要份，受命负责征伐，现在却徘徊不前，坐观待变图谋不轨。又有个叫于谨的，智略超人，是他的主要谋划者。在战之际，他恐怕不是陛下的忠臣。“宪太后完全采纳了他的话。下诏命在尚书省张贴告示，招募能抓获于谨的人，答应予以重赏。于谨听说后，就对广王说：“现在女主临朝执政，信任谗佞的小人，如果不能表白殿下的真心，便恐怕灾祸很快就会降临。我于谨请求亲自到朝廷投案，向有关门自首，表白真心，自会免除灾祸。“广王答应了他。于谨就来到布告下说：“我知这个人。”众人都问他。于谨说：

“我就是。”有关官吏得知后上报。灵太后引见于谨，十分恼怒。于谨详细地诉说了广王的忠诚，并陈述了停驻军队的情况。灵太后的怒意逐渐缓解，于是放了他。不久他被加授为别将。

孝昌二年，梁国将领曹义宗据守穣城，多次在边境侵扰。魏帝就命于谨和行台尚书辛纂率兵去征讨。相持了几年，经历了几十决战斗。于谨升任为都督、宣威将军、冗从仆。孝庄帝即位，任命于谨为镇远将军，不久改任直寝。又跟随太宰元天穆征讨葛荣，平定邢杲，拜为征虏将军。跟随尔朱天光打败万俟丑，被封为石城县伯，邑五百。普泰元年，任征北大将军、金紫光禄大夫、散骑常侍。又跟随尔朱天光平定宿勤明达，另外再讨伐夏州贼寇贺遂有伐等人，将他们平定，授任大都督。他跟随尔朱天光同齐神武在韩陵山作战，尔朱天光战败后，于谨就潼关。贺岳上表将于谨留下镇守，任命他为卫将军、咸郡郡守。

太祖到了夏州，任命于谨为防城大都督。兼任夏州的长史。到贺岳被害，太祖前往平凉。于谨就对太祖说：“魏朝国运衰微，权臣专权，成群的盗贼蜂拥而起，百姓嗷然。明公仗着世间少有的英姿，怀济世的才略，四方远近的人，都已归心。希望您早作打算，不要辜负众人的期望。“太祖说：“怎么讲呢？”于谨回答说：“关西，是秦汉的旧都，古人称之为天府，将士骁勇，土地沃，西边有蜀的富饶，北边有羊的好。现在如果占据要害，招集英雄，养兵劝农，足以坐观时局的变化。况且天在洛，为群凶所迫，如果陈说明公的诚意，计算时事的利害，请求建都在关西，天必定嘉许而西迁。然后您挟天以令诸侯，奉王命以伐暴，这是齐桓公、晋文公那样的事业，千载一时的机会。“太祖大为兴。正好魏帝敕令将于谨调回任合内大都督，于谨趁机献上迁都关中的计策，魏帝采纳了他的意见。

不久齐神武洛，于谨随魏帝西迁。接着他又跟随太祖征潼关，攻下回洛城，被任命为使持节、车骑大将军、仪同三司、北雍州刺史，晋爵为蓝田县公，邑一千。大统元年，授任骠骑大将军、开府仪同三司。这一年，夏人王游狼聚众占据杨氏叛，于谨兵讨伐擒获了他。当年，大军束征伐，于谨充当前锋。军到盘豆，束魏将领叔礼据守险要不投降，于谨攻击败了他，俘虏兵众一千人。趁此又攻下弘农，擒获束魏陕州刺史李徽伯。齐神武抵达沙苑，于谨随太祖和将领们奋力作战，打败了他，晋爵为常山郡公，增加邑一千。又随太祖在河桥作战，任大丞相府长史，兼任大行台尚书。稽胡帅夏州刺史刘平叛，于谨率兵讨伐平定了他。任大都督、恒并燕肆云五州诸军事、大将军、恒州刺史。任太太师。大统九年，又跟太祖束征讨，另外攻柏谷坞，攻了下来。邙山之战，大军失利，于谨率领他手下的兵假装投降，站在路旁。齐神武的军队乘胜追击逃兵，不曾戒备。等追击的骑兵过完了，于谨就从后面攻击他们，敌人大为惊恐。独孤信又聚集兵士在后奋力冲杀，齐神武的军队就了起来，因此大军得以保全。大统十二年，他任尚书左仆，领司农卿。到侯景归附北周时，请求派兵作为支援，太祖命李弼带兵接应他。于谨劝谏说：

“侯景年轻时就通晓军事谋略，真情很难窥测。应当先给他厚礼官，看他有什么变化。现在上派兵，大为不可。“太祖没有听从。不久又让于谨兼任大行台尚书、丞相府长史，带兵镇守潼关，加授华州刺史，赠给他柜鬯酒一卣，附带上圭瓒。不久任司空，增加邑四百。大统十五年，升为国大将军。齐氏称帝，太祖兵征讨，任命于谨为后军大都督。另封他的一个儿为盐亭县侯，邑一千.魏恭帝元年，任雍州刺史。　.