这时魏帝正打算攻打北齐神武帝，便又派人来要求发兵。宇文泰便命令前秦州刺史骆超为大都督，率领轻骑兵一千人前往洛。魏帝又加封宇文泰为尚书左仆、关西大行台，其余官衔如故。宇文泰便传檄文到各方镇，历数齐神武之罪。

宇文泰对大家说“：虽智谋不足而诈有余，如今他声言西征，其实意在洛。我要让寇洛带一万多名步兵从泾州向东，王罴带领军队一万，先占领华州。如果西来，王罴足以和他对抗；如果他敢于犯洛，寇洛立即兵袭击汾州和晋州。我立即领兵直到京城，让有内顾之忧，退有被蹑制的顾虑，大事一举可定，这是上策。”众人都认为很好。

七月，宇文泰带领军队从平发，他的前军已经到达弘农。这时，的队近京都洛。魏武帝亲自统率六军屯守河桥，命令左卫元斌之、领军斛斯椿镇守武牢关。宇文泰对旁边的人说：“几天之内行军八九百里，这是通晓兵法的人所忌讳的事，正应该乘机袭击他。而皇上是万乘之尊，不能渡河决战，正在沿岸防守。黄河长达万里，防御困难，只要有一渡过，就大势已去。”他当即让大都督赵贵作为别行台，从蒲坂渡河，直攻并州；派遣大都督李贤领锐骑兵一千奔赴洛。可是，由于元斌之和斛斯椿争权夺利，防守不严，魏武帝只得轻骑关。宇文泰安排仪仗队和卫队前来迎接，在东驿拜见魏孝武帝，并脱下帽着泪向魏帝谢罪。

于是，宇文泰奉魏帝定都长安，开辟荒地，建立朝廷。从此，军队和国家要务，都由宇文泰作决定。仍加封宇文泰为大将军、雍州刺史，兼尚书令，晋封为略郡公，又另设立两位尚书，随时置有关事务，除去尚书仆官职，其余照旧。起初，魏孝武帝在洛时，已经答应把冯翊长公主嫁给宇文泰，但还未成亲而魏帝西迁长安。到这时下诏成亲，宇文泰被封为驸都尉。

八月，齐神武帝攻克潼关，侵华。宇文泰领着众军驻守霸上严阵以待。但只是留下将薛瑾防守潼关，带军队退回洛。宇文泰便军潼关，斩了薛瑾，俘虏了士兵七千人。回兵长安时，他被封为丞相。

十一月，派仪同李虎和李弼、赵贵等讨伐曹泥，攻打灵州，李虎引黄河城。第二年，曹泥投降，所有豪门首领被迁徙到咸。

闰十二月，魏孝武帝驾崩。宇文泰和众大臣议定，立魏南王宝炬为皇帝，称文帝。

大统元年(535)正月初二，魏文帝晋升宇文泰为都督中外诸军、录尚书事、大行台，改封安定郡王。宇文泰决辞去王爵和录尚书事，魏文帝答应了，便改封他为安定郡公。当东魏将领司如犯潼关时，宇文泰领兵屯守霸上。司如回军从蒲津攻华州，被刺史王罴打退。

三月，宇文泰让有关门制定二十四条新规定，上奏皇帝并实行。

二年(536)五月，秦州刺史、建忠王万俟普拨带领本人投往东魏，宇文泰以轻骑追赶，一直追过黄河北面一千多里远，因未能赶上而回。

三年(537)正月，东魏犯龙门，屯兵在蒲坂，建造三座浮桥渡河。又派将军窦泰往潼关，昂围洛州。宇文泰军广，他召集众将说：“敌人从三个方向牵制我军，又建造桥梁，显示一定要渡河，目的是拖住我军，让窦泰得以顺利西。况且起兵以来，窦泰每次都当先锋，下大多是兵，屡次获胜必定骄傲。如今突袭就一定能打败他，打败窦泰，那么就会不战而退了。”众将都说“：敌人就在近，舍近而袭远，如果有失误，就后悔不及了。”宇文泰说：“前次再攻潼关时，我军不过在霸上防御。如今他大军前来，一定认为我们也只是防守而已。他又正是得意的时候，有轻视我们的想法，乘此机会兵，有什么攻不下的？敌人虽然在造桥，却未能立即渡河。在五天时间里，我一定能战胜窦泰。”十三日，宇文泰回军长安，声称将兵陇右。十四日，谒见魏文帝后立即暗地把军队带到小关。窦泰突然听说西魏军队到达，还没来得及列阵，宇文泰便带兵猛攻，把窦泰的军队全俘虏，斩了窦泰，将首级传到长安。昂听到消息，便烧掉辎重品慌忙撤退。也撤下浮桥退军。宇文泰这才回军长安。

六月，宇文泰奏请免去行台职务，魏文帝重申上次的任命，授宇文泰录尚书事，宇文泰决推辞后才停止。