开皇六年(586)，炀帝改任淮南行台尚书令。

这一年，又征召任命他为雍州牧、内史令。

开皇八年冬，祖大举军攻打陈国，委任炀帝行军元帅。

平定陈国后，拘捕了陈国湘州刺史施文庆、散骑常侍沈客卿、市令慧朗、刑法监徐析、尚书都令史暨慧。

因为他们邪谄佞、祸害人民，在陈皇门前右边望楼下面将他们斩决，借此向三吴人民谢罪。

于是封官库，资财无所取，天下称贤。

晋升为太尉，祖赐给他大车，四匹，绣龙的礼服和礼帽，黑玉、白玉各一块。

又任命他为并州总。

不久江南智慧等人聚众叛，祖调炀帝任扬州总，坐镇江都，每年京朝见天一次。

祖祭祀泰山的时候，炀帝兼任武侯大将军。

次年回到江都。

其后数年，突厥侵犯边境，炀帝再次任行军元帅，率兵灵武，没有遇到敌兵而回师。

等到太杨勇被废黜后，祖立炀帝为皇太。

这月，应当接受封立太的策命。

祖说：“我凭借大兴公的爵位成就帝业。”于是令炀帝在大兴县居住。

那天晚上，狂风大雪，地动山塌，居民房屋大多损坏，压死一百多人。

仁寿初年(601～605)，奉祖命令巡抚东南地区。

此后祖每逢在仁寿避暑时，就令炀帝留守，代行理国政。

仁寿四年(604)七月，祖逝世，炀帝于仁寿即皇帝位。

八月，护送祖的灵柩回京城。

并州总汉王杨琼起兵谋反，诏令尚书左仆杨素率兵讨伐平定了叛。

九月十二日，任用备将军崔彭为左领军大将军。

十一月初三，驾临洛。

初四，征调成年男数十万人挖掘壕沟，从龙门向东连接长平、汲郡，抵达临清关，渡过黄河后，再延伸到浚仪、襄城，最后到达上洛，用以设置关卡加防卫。

二十一日，下诏令营建东都。

十二月初三，任命右武卫将军来护儿为右骁卫大将军。

初六，任命国李景为右武卫大将军，任命右卫率周罗睢为右武侯大将军。

大业元年(605)正月初一，实行大赦，更改年号，立妃萧氏为皇后，改豫州为溱州，洛州为豫州，废除各州的总府。

初五，立晋王杨昭为皇太。

初六，任命上国宇文述为左卫大将军，上国郭衍为左武卫大将军，延寿公于仲文为右卫大将军。

初八，任命豫章王杨日柬为豫州牧。

十七日，派遣八位使臣巡回视察各地风俗。

下诏书说：从前贤明的君王治理国家，关键是在于护百姓吧？既使人民富裕又而施行礼教，家家丰裕、人人富足，所以能使风尚淳朴，习俗敦厚，远方的人前来归顺，近的人安定。

凡政治稳定、事业成功的，大都经由这条路。

朕恭敬地承继了帝王之位，安抚培育黎民百姓，日夜恐惧戎慎，好像面临大河谷。

虽然努力遵奉前辈的功业，不敢现差错，从长远来看，理政事的策略、手段还有许多缺欠。

况且国家幅员辽远，人众多，朕未得亲临各地，询问民间的疾苦。

常常忧虑那些隐居不仕的人尚未被举荐，受冤的人还不曾申冤，一失所，就会损害谐和的气氛，四方有作恶犯法的事，责任在朕上，所以日夜增多叹息，戎慎恐惧充满怀。

现在刚刚开始施行政教，应实行宽大政策。

可以分派遣使臣，巡视各地风俗民情，宣扬风俗教化，举荐选那些沉抑下层、不得升的人才，为无辜被囚的人申冤。

孝顺父母、敬兄长、努力耕田的人，要给予优抚。