骑的给石敬瑭骑，自己骑上石敬瑭断了铠甲的，不慌不忙地留在后面断后，石敬瑭激他，认为他很勇敢壮。明宗登上帝位时，石敬瑭任北京留守，因为祖从前有保护援救自己的功劳，奏请明宗将祖调到自己帐下，担任牙门都校。后唐应顺初年，石敬瑭镇守常山，唐明宗传召他到京师来，碰上闵帝逃奔，与石敬瑭在路上相遇，于是一同到卫州，在传送文书的人所住的邮亭中歇息。闵帝旁的人想谋害石敬瑭，祖悄悄派卫士石敢在袖里藏着铁锤站在石敬瑭后面，到发生变时，石敢拥着石敬瑭躲一间屋里，用大木将门住，石敢不久被杀害了，祖率领众人全杀死闵帝边的人，才使石敬瑭免于被害。

后唐末帝清泰元年(934)，石敬瑭再次镇守河东。三年夏天，调任镇守汶。祖劝石敬瑭起义称帝，辅佐他成事，密谋策划，改朝换代的初期大事，里里外外都依靠他。晋祖任他为北京步军都指挥使。契丹动全兵力同晋军一起与后唐末帝决战，在晋城下大败唐军张敬达队，有投降的士卒一千多人，石敬瑭将他们给自己的侍卫队理，祖全杀掉了他们。晋国初建时，加封祖为检校司空，兼任侍卫步都指挥使，暂时理随驾六军和负责侍卫工作，不久改任陕州节度使，兼任侍卫亲军步军都虞候。契丹国主送别晋祖到上党时，指着祖对晋祖说：“这位都军特别勇猛，没有大的缘故不可遗弃他。”晋祖洛，委任祖巡逻警戒，大城小邑秩序井然，没有人敢于违背法令。

天福二年(937)夏四月，加封检校太保。八月，改任许州节度使，像以前一样主军队。三年夏四月，加封检校太傅。冬十月，授任侍卫亲军步军都指挥使。十一月，调任宋州节度使，加封检校太尉。十二月，加封同平章事。这时祖与杜重威一同接受晋祖施恩加职的诏命，祖以与杜重威同列为耻而烦闷不乐，恳切推辞不接受诏命，几天闭门不。晋祖生了气，传召宰相赵莹等人商议罢免祖兵权，让他回家。赵莹等人认为这样不妥，于是派端明殿学士和凝到祖的住宣读谕旨，祖才接受诏命。五年三月，改任邺都留守兼侍卫亲军步军都指挥使。九月，接受诏令到京师，晋祖驾临他的住所。六年七月，任北京留守、河东节度使。七年正月，加封侍中。这时天下发生大蝗灾，而蝗虫偏偏不河东境内。六月，晋祖在邺驾崩，晋少帝即皇帝位，加封祖为检校太师。八年三月，提升为中书令。

开运元年(944)正月，契丹南下，契丹国主率领大军直抵澶州，派蕃将伟王领兵雁门关。朝廷以祖为幽州行营招讨使，祖在忻大破伟王。旋即又接受诏令移兵奔赴土门，军队到达乐平时，契丹已经退兵，于是就回来了。三月，封为太原王。七月，兼任北面行营都统。二年四月，封为北平王。三年五月，加封太尉。同月，祖诛杀吐谷浑白承福等五支族，共四百人，以另一族的王义宗统领五族中其余的人。九月，契丹犯边，祖亲自率领牙兵到朔州南的武关，大破契丹军队。十一月，契丹国主率领蕃族汉族大军从易州、定州抵达镇州，杜重威等将领在中渡桥驻军以抵御契丹大军。十二月十日，杜重威等人带着全军投降契丹。十七日，相州节度使张彦泽接受契丹命令，攻陷京城洛，将少帝掳掠到汴州。祖得知后大为震惊，分兵把守边境，以备敌寇犯。

天福十二年(947)正月一日，契丹国主东京汴州城。十九日，晋少帝在封禅寺被褫夺了帝位。二十九日，少帝被挟持到北方。二月一日，契丹国主办汉族的礼制衣服，登上崇元殿接受朝拜，诏令改晋国为大辽国，大赦天下，称年号为会同十年。同月，祖派牙将王峻持降表到契丹，契丹国主赐给诏令褒扬嘉奖，称祖为儿。又赐给一木拐。契丹礼法，贵重的大臣才能得到这赏赐，就像汉族礼仪赐给几杖一样。王峻拿着木拐，契丹人望见他都纷纷到路边避让。当王峻回到太原后，祖得以知悉契丹政治混，于是商议建立国号。同月，秦州节度使何建将秦州土地人民归降蜀国。十二日，河东行军司张彦威与他的文武将吏等，认为中原没有主人，祖的威望日益隆盛，众心所归，写信劝他登上帝位，祖谦让不答应，此后众官三次上书，诸军将吏、贵臣耆老，一个接一个地恳切陈请，才发布文告应允。