兵近唐军，祖说“：敌人将要逃跑了。”于是请求明宗让士兵带好盔拉开阵势包围敌军。命令左军三百人奔跑发箭击，逐渐收束包围圈，再用几千骑兵合行动。到了夜晚，敌军旗帜倒下，一个角落首先溃败，其他三面也随之溃败，兵仗撞击，像火炮的声音连绵不断，尸横遍野，甲胄满地，不可胜数。由此后梁势力削弱，庄宗兵在德胜渡扎营。

天祐十八年(921)十月，祖又跟随明宗在德胜渡与梁军作战，打败梁军将领思远，杀死两万多人。十九年(922)在胡卢作战，后唐军队逐渐败退，祖迎着敌军锐，长剑，杀开血，用保护明宗撤退，敌人望着他，无人敢上前阻击。

天祐二十年(923)十月，跟随明宗观察梁军阵地杨村寨，下都没有披甲，突然敌军其不意，用武掩袭明宗，兵刃将要刺到明宗背，祖手持战戟冲上前，用力一击，几个凶悍的敌人从上落下来，明宗才免于一死。这一年，庄宗在邺城继承皇位，改年号叫同光。派明宗越过黄河，孤军以袭取郓州。郓人开始没有发觉他们，祖率领五十个骑兵跟随明宗渡过济，突袭东门到了城内，郓兵前来阻击，祖被刀刺中，仍像羽翼那样保护明宗，把士兵署在大上，守不移，等到后续骑兵接连不断地到来，才攻取了郓城的中心地带，而占据了郓城。接着平定汴，灭掉了后梁宗室，成就了庄宗一统天下的局面，促成明宗建立不朽的功绩，其中祖与后唐末帝功劳最大，庄宗时祖官位不显赫是因为祖不喜自我夸赞的原因，这只有明宗心里明白。

同光四年(926)二月，赵在礼凭借邺州作，朝廷派遣元行钦去招降而未成功，大家议论纷纷，认为非明宗不能招降赵在礼，庄宗于是任明宗为统帅。当时，祖跟随前去，到了魏地，各军发生变故，拉住缰请求明宗在河北称帝。明宗接受了霍彦威的劝谏，准备亲自向庄宗陈述，于是假装答应下来，各军也担心事情不成而散逃的非常多，明宗所保全完整的，只有常山一路军队罢了。向西发驻扎在魏县，祖私下秘密对明宗说“：迟疑不决是用兵的一大忌讳，如果一定要去，应果敢地行动。我愿率领三百骑兵先赴汴，去虎探听，如能实现愿望，请你率大军迅速前。夷门这地方，是全国的要害位置，凭借它可以洗刷自己的耻辱。哪能让大将和三军变，其后谁来平定呢！危险将在片刻发生，不能无动于衷。”明宗到了相州，就分给祖三百名骁勇善战的骑兵，派遣祖在黎渡过黄河，从汴城西门城，接着占据了它。等到明宗汴城，庄宗也亲自率领军队到达离汴城五里路的西北，庄宗登上城叹息说：“我不能成就大事了！”因此跟随庄宗的士兵大量溃散，前来归顺明宗。明宗上派遣祖率领士兵担任前锋，奔赴汜关，不多久，庄宗遇内而亡。

同月，明宗了洛，嘉奖祖的功劳，从总府都校暂任陕州府兵留后。明宗继承皇位，改年号为天成，五月，加封祖为光禄大夫、检校司徒，担任陕州保义军节度使，不到一年，那里的军事民政都得到了很好的治理。天成二年二月，加封检校太傅兼六军诸卫副使，爵位封为开国伯，增邑四百。同月，祖京，是因为兼任了六军诸卫副使的缘故。八月，又增邑八百，实封一百，以表彰他治理政务的成效。十月，明宗驾临汴州，以祖担任御营使。御驾到京，有飞骑报告汴州节度使朱守殷叛，明宗命祖率亲军兼程夜行，两天两夜就到了浚城，一次攻就夺取了浚城。接着任命祖为宣武军节度使、侍卫亲军步军总指挥使兼六军诸卫副使，加封爵位为开国公，增邑五百，赐耀忠匡定保节功臣名号。

天成三年(928)四月，明宗回到洛，又诏令加封祖为检校太傅、同中书门下平章事、兴唐尹、邺都留守、天雄军节度使。五月三日加封驸都尉。长兴元年(930)二月，明宗到南郊圆丘祭天行礼完毕，加封祖为检校太尉，增邑五百，随即令祖回去就任。当时邺都是全国最繁荣富庶的地方，而当地的风俗犷剽悍，老百姓多有纠纷诉讼，祖令他们到官府衙门投诉，逐件阅览，一年后，案宗堆满了几案，收审在狱中的人非常多，当时的舆论因此不满。九月，东川董璋叛，朝廷令祖为东川行营都招讨使，兼理东川行府事务。十月，祖从魏博到任，率军西征。第二年天，因蜀险要艰难，粮运输不能供上，明宗下令班师回朝。四月，又兼任六军诸卫副使。六月，改任河节度使，仍兼握兵权。