有了决一死战的斗志，四面八方攻打敌人。尔朱兆谴责神武叛逆。神武称：“戮力同心，为的是共同辅佐王室，如今皇帝在哪？”尔朱兆答：“永安皇帝冤杀天，我只不过是替他报仇罢了。”神武：“我往昔亲耳聆听了天的大计，当时你就站在门前，难能讲不反的话吗？再说君杀臣，有何仇可报，今天我们就断绝关系吧。”言毕，双方战，神武大胜。尔朱兆对着慕容绍宗拍打着脯说：“我不听您的话，终于得到了如此下场。”说着就想轻装逃跑。绍宗将前军旗帜移后，响鼓角，收聚残兵，组成军队的阵势向西撤去。季式率七骑追击，翻过野岗，碰到了尔朱兆。昂在很的地方都看不到季式，哭泣着说：“我失掉了亲弟弟啦！”夜很了，季式才回来，血满衣。斛斯椿兼程而行先占据了河桥。当初，即普泰元年(531)十月，岁星、荧惑、镇星、太白相聚于觜，亮灿灿的。太史占卜后说：“这是王者兴起之兆。”此时神武从信都起军，到这个时候便打败了尔朱兆等。四月，斛斯椿捉住天光、度律解送到了神武那里。长孙承业派遣都督贾显智、张洛，活捉了世隆、彦伯，并开刀问斩。尔朱兆逃到并州。仲远跑往梁州，很快就死在了这里。是时凶暴已除，朝廷喜悦。当初战事未起的前一个月，章武人张绍半夜里突然被几位骑士挟持翻过城墙，来到一大将军面前。大将军命令张绍向导，领兵往邺，为的是辅佐朝廷除去残贼。张绍回过来看时，士卒极多，但却异常整肃没有一声响。快到邺城了，才放他回家。到战这天，尔朱氏军人见军阵外神武的骑兵步卒四面近，大概是得到了天神的帮助。

接着神武就了洛，废掉节闵帝和中兴主而立孝武。孝武即位，授神武大丞相、天大将军、太师、世袭定州刺史，增加封地连前累计十五万。神武不接受天大将军之职，还请求减少五万封。过了几天，还邺，魏帝在乾脯山摆设宴席，同神武手拉手相互别。

七月，神武率北伐尔朱兆。封隆之说：“侍中斛斯椿、贺胜、贾显智等人以前服侍尔朱氏，都是忘恩负义之徒，现在住在京城，受遇，一定会制造事端的。”神武很是赞同这一看法，押解天光、度律来京师后，就死了他们。于是神武从滏。尔朱兆大肆抢掠晋，北保秀容，平定并州。神武认为晋四周阻，就将大丞相府安置到了这里。尔朱兆已经到了秀容，分兵把守险要之，时常派兵去抢劫扰。神武公开宣言讨伐，却是打雷不下雨，因此尔朱兆便放松了警惕。神武估摸到新年时尔朱兆要宴会，就派遣窦泰率领最锐的骑兵急奔秀容，一天一夜跑了三百多里，接着神武又派主力随其后。二年正月，窦泰悄悄地到了尔朱兆的院之中。尔朱兆的兵士由于大吃猛喝十分庸懒，猛然看到窦泰的骑兵，都惊慌而逃，追赶到赤洪岭，打垮了他们。尔朱兆上吊自杀，神武亲临丧场，用厚礼安葬。慕容绍宗带着尔朱荣的妻、和剩余的众固守乌突城，投降后，神武认为他有义，待其十分厚重。

神武占据洛后，尔朱仲远下都督桥宁、张期从台赶来归附，神武认为他们助纣为，而且反复无常，就杀掉了他们。斛斯椿因此内心恐惧，就与南王宝炬及武卫将军元毗、魏光、王思政在魏帝面前诬陷神武。舍人元士弼又奏报神武接受诏书时极不恭敬。先前魏帝对贺岳有疑心。孝明帝时，洛城中两互相搏击，谣言说：“铜打铁，元家将败亡。”好事者附会二为拓、贺，讲的是这两家都即将衰败的征兆。此时司空乾密函告知神武，称魏帝贰心，神武就将此密信上呈。魏帝就杀了乾，又遣东徐州刺史潘绍业密令长乐太守庞苍鹰杀掉乾的弟弟昂。昂早就听到兄遇害的消息，用长矛刺，在路旁埋伏壮士活捉了潘绍业，并从其上搜到了魏帝的敕书，然后前来投奔神武。神武抱着乾的颅，哭着说：“天冤枉杀了我们的司空！”上让人用白武幡安其家属。这时乾的另一个弟弟慎在光州，为政严猛，又纵容下巧取豪夺，魏帝撤了他的职。慎听到这不好的消息，打算逃亡梁州。其将劝：“您有大功于国，不一定受株连。”慎就穿着破衣推着小车回到渤海。路上遇到使者，就跟着投奔了神武。于是魏帝与神武有了隔阂。

阿至罗人正光年前常对魏称臣，自从朝廷多事，都叛变了。神武派遣使者招纳，他们就归顺了。先前，魏帝诏令平定贼寇后，罢除行台。到那个时候，异族纷纷归附，又授神武大行台，给予相机事的权力。神武送给异族人粮衣服，旁人认为这是浪费，得不到益，神武不听，一如既往地行安抚。酋帅吐陈等人恩不尽，都愿意听从指挥，救曹泥，取万俟受洛，起了极大作用。河西费也人纥豆陵伊利盘踞于河池，拥众恃险，神武虽多次派遣长史侯景招附，但他却不顺从。