东魏，于谨充当前锋，进军到盘豆。
东魏将领高叔礼据守险要城池与西魏对峙，于谨击败了他，俘虏兵众一千人。
趁此又攻下弘农，擒获东魏陕州刺史李徽伯。
大统三年十月，高欢抵达沙苑，沙苑之战爆发。
于谨随宇文泰和将领们奋力作战，打败了高欢，晋爵为常山郡公，增加食邑一千户。
大统四年八月，于谨又随宇文泰在河桥作战，任大丞相府长史，兼任大行台尚书。
稽胡帅夏州刺史刘平叛乱，于谨率兵讨伐平定了他。
因功任大都督、恒并燕肆云五州诸军事、大将军、恒州刺史，入任太子太师。
大统九年，于谨又跟宇文泰东出征讨，进攻柏谷坞，大胜。
同年，东西魏爆发邙山之战，西魏军失利，于谨率领他手下的兵马假装投降东魏，站在路旁。
高欢的军队乘胜追击逃兵，不曾戒备。
等追击的骑兵过完了，于谨就从后面攻击他们，东魏军惊慌失措。
独孤信又聚集兵士在后奋力冲杀，高欢的军队就乱了起来，因此西魏军得以保全。
大统十二年，于谨任尚书左仆射，领司农卿。
到侯景归附西魏时，请求西魏派兵作为支援，宇文泰命李弼带兵接应他。
不久宇文泰又让于谨兼任大行台尚书、丞相府长史，带兵镇守潼关，加授华州刺史。
不久任司空，增加食邑四百户。
大统十五年，于谨升为柱国大将军。
大统十六年，高欢之子高洋篡位称帝，建立北齐，宇文泰出兵征讨，任命于谨为后军大都督。
另封他的一个儿子为盐亭县侯，食邑一千户．西魏恭帝元年，任雍州刺史。
当初，南朝梁元帝萧绎平定侯景之乱，在江陵继位，秘密与北齐通使，打算侵犯西魏。
梁元帝兄长的儿子岳阳王萧詧当时任雍业刺史，因为梁元帝杀死了萧詧的哥哥萧誉，双方就结下怨仇。
萧詧占据着襄阳前去归附西魏，并请求西魏派兵支援。
西魏恭帝元年，西魏朝廷就命于谨率兵出征，宇文泰在青泥谷为他饯行。
于谨于是派中