，明宗又对侍臣说“：云州报告，契丹从幽州移帐南下，说是就草放牧，冬天完了也不退回，其祸患严重了。”枢密使范延光上奏说“：已经商议由石敬瑭与康义诚北征，然而这件事要决定下来，还得等皇上下旨。”祖上奏说“：我虽然不才，但怎敢回避事情，退唯命是听。”明宗说：“您替我前去，很切合大家的商议。”因此就定下来了。十一月四日，加封兼任侍中、太原尹、北京留守、河东节度使，另兼职大同、振武、彰国、威等地军队蕃汉步军总，改赐竭忠匡运宁国功臣名号。第二天，在中兴殿宴饮，祖捧杯为明宗祝寿，趁便上奏说“：我虽微小怯懦，想到边陲大事，岂能不竭力尽忠，只是我远离京都，长久见不到皇上，不能随时申报。”祖再拜告辞，明宗泪打了衣襟，左右近臣奇怪皇上过度悲伤，后来果然从此与祖永诀，没能再度相见了。十二月，明宗去世，祖听到消息，像丧失父母一样悲痛不止。应顺元年(934)一月，闵帝继承王位，加封祖为中书令，又增邑领地。

祖情俭朴，不曾经常享受声乐甘味，每次从官府回家，必召集幕僚宾客讨论民间利害和刑律政治上的得失，明了而难犯过错，事情大多亲自裁决。曾经有一店铺妇人与一士兵打官司，妇人说：“我在门曝晒的粟米，被他的吃掉了。”然而那士兵则恳切申辩，但没有办法使自己清白。祖对审问的官吏说“：两人讼词不能分辨，凭什么裁决？可以杀掉剖开，看里面有没有粟米，如果有，则诛杀兵士，如果没有，则死妇人。”于是杀剖，里没有粟米，因此杀了那妇人。治区内人民因此肃然，没有谁敢欺骗诈坑人了。三月，调任镇守常山，经他治理的方镇，都以孝为先，看到民间有父母在世而兄弟分居的人，必依法死。勤于政事，官衙没有滞留的诉讼案。常山的属邑九门，有人把土地卖给分居了的兄长，价格谈不好，于是转卖给他人。那人要他兄长帮助订立契约，兄长持压低土地价格，因而诉讼到县令那里，县令认为弟兄都不仁义，送到了府衙。祖督察此案说“：人的不仁义，是由于州里长官我才到，教化还没有达到，我很是惭愧啊。如从大理上讲，兄长要良田，弟弟求好价，顺应弟弟是正确的，阻止弟弟是错误的。兄长更不仁义，应该重重地鞭笞他，用价买田的人应得到那块土地。”官吏百姓都佩服他的明察。

到岐发生兵变，推举潞王为天，闵帝急令祖奔赴京都，打算将国家命运托付与他。闵帝从洛逃往卫州，与祖在途中相遇，于是一起卫州。当时闵帝近臣将对祖采取不利行动，祖察觉到了，因而抓获了随从闵帝的一百多骑兵。闵帝知事情不能成功，与祖长恸而别，祖派刺史王弘贽安置闵帝在公家的房舍后就离去了，不久，闵帝被潞王杀害，祖后来为此长期到内疚。

末帝清泰元年(934)五月，又任祖为太原节度使、北京留守，充大同、振武、彰国、威等军蕃汉步总。清泰二年(935)夏天，祖把军队驻扎在忻州，朝廷派遣使者送来夏季服装，传达了抚三军的诏谕，军人立即多次山呼万岁，祖恐惧，诛杀挟将李晖以下三十多人示众，才制止下来。

三年(936)五月，改任郓州节度使，封赵国公，又改赐扶天启运中正功臣名号。接着降诏促祖前往郓州就任，祖怀疑这件事，于是召集幕僚们商议说：“我第二次接受太原节度使的那天，皇上当面宣布说：‘让你掌北方边大门，一生不再除官改任。’现在忽然下达这命令，莫不是因为去年忻州被军迫，事后相猜疑吗？又今年千寿节，公主觐见皇上，当告辞时，皇上对公主说：‘你归心如此之急，想与石郎谋反吗？’怀疑我的迹象，确凿而明显了。如今皇上任用妻党，委权邪僻之臣，沉湎于荒惑之中，各政务停废堆积，既不罚佞，也不奖赏功臣，不灭亡还等待什么！我从顺应年间少主奔那天起，就看人心已去，不能扶正危难挽住倾覆，心中的烦闷已有三年了。如今我没有异心，而朝廷自启祸端，我不能安然死在路途中。况且太原是个险要固的地方，储积的粮又非常多，如果还能宽容我，我自当尊奉朝廷，如果一定要以兵相，我就向外告诉邻，向北联合敌，谁胜谁败，昭然如同天日。现我想上表推说有病，以此等候朝廷的意见，大家认为怎么样？”掌文书的桑维翰、都押衙刘知远赞成密计，于是拒绝了末帝的命令，朝廷以祖不奉命行事，传下圣旨削除官职、爵位，立即诏令晋州刺史、北面副招讨使张敬达率军把祖围困在晋。祖上命令桑维翰到各地请求援救，契丹派人回信答应他，约定在中秋赶来救助。

六月，北方招收指挥使安重荣率领他的曲几千人晋城。七月，代州屯将安元信率领一支军队与西北面先锋指挥使安审信率领的五百骑兵一起到达。八月，怀州彰德军派张万迪等人分别率领一千多骑兵来投降。这个月里，城外围军攻得非常激烈，祖亲自抵挡飞箭石，人心虽然定，但仓里的粮却逐渐匮乏。