力令说：“仆是朝廷的辅政大臣，不可亲自理那些细小的事务，只须三五天到官署一次，讨论一些国家大事就行了。”表面上显示对他的尊崇、优待，实际上剥夺了他的权力。

直到仁寿末，杨素不再理事务。

祖曾赏赐王公以下的人箭，杨素名列第一，祖亲将外国贡来的金盘，价值万两，赐给了杨素。

仁寿四年(604)，杨素跟随祖驾临仁寿，祖又多次赏赐宴席。

等到祖病重，杨素和兵尚书柳述、黄门侍郎元岩等人侍候。

当时皇太杨广住在内的大宝殿，怕祖有什么不好的消息须要预先防备，于是亲自写了一封信，封好送来问杨素。

杨素记下外的形势，来报告太。

人却将回信误送到了祖的住，祖见信大怒。

这时，祖的陈贵人又说太对她无礼。

祖于是大发脾气，要召见已废的皇杨勇。

太与杨素谋划对策，杨素假传圣旨派东的士兵守卫，都由宇文述、郭衍决定，又命令张衡守候皇上的病情。

祖就在这天去世了，因此朝廷内外有很多非议。

汉王杨谅谋反，派蠕蠕天保占领蒲州，烧断了河桥，又派王耳冉率领几万人与他合力防守。

杨素率领五千轻骑前去偷袭，他先隐蔽在渭，夜间悄悄渡河，黎明时发动攻，蠕蠕天保大败而逃，王耳冉因害怕而开城投降。

炀帝下诏书召回杨素。

起初，杨素发之前就计算过几天可以打败敌人，结果不所料。

炀帝又拜杨素为并州行军总、河北安抚大使，率领几万人讨伐杨谅。

当时晋州、绛州、吕州州城都被杨谅守住，杨素各派两千人去牵制他们。

杨谅命令赵开拥十余万之众，占领了所有的路，盘踞在，摆开五十里的战阵。

杨素命令将带兵正面对敌，自己则率领一支队伍潜霍山，沿着悬崖谷前，直捣叛军老巢，一举击败了他们，杀死杀伤的数以万计。

杨谅所任命的介州刺史梁修罗驻守在介休，梁修罗听说杨素来了，非常害怕，弃城而逃。

杨素继续前，到达清源，离并州还有三十里。

杨谅率领将王世宗、赵开、萧诃等将近十万人，前来迎战。

杨素又打败了他们，活捉了萧诃。

杨谅退守并州，杨素兵包围了他，杨谅无计可施，非常窘迫，只好投降，其余党羽也都一一铲平。

炀帝派遣杨素的弟弟修武公杨约携带亲笔诏书劳杨素，杨素见诏后也上表陈述了自己的谢意。

这个月杨素回到京城，跟随炀帝驾临洛。

炀帝任杨素为营建东京的大监。

因杨素平定杨谅有功，炀帝拜他的儿万石、仁行，侄玄都为仪同三司，并赐给他们织五万段、绮罗一千匹，赐杨谅妾二十人。

隋炀帝大业元年(605)，又升杨素为尚书令，赏赐给他东京上等府第一，织两千段，不久又拜为太太师，其他职务不变。

前后赏赐给他的东西不知有多少。

第二年，炀帝拜杨素为司徒，又改封他为楚公，邑两千五百。

这一年，杨素死在任上。

谥号叫“景武”，追封他为光禄大夫、太尉公、弘农河东绛郡临汾文城河内汲郡长平上党西河十郡太守，赐给他载丧的鍂车、为他执斑剑的仪仗四十人，以及鍂车前后的仪仗队和乐队，还赐给谷小麦五千石、织五千段，派鸿胪卿专门监督办理丧事，并且下诏书表示哀悼。

杨素曾经作了一首共七百字的五言诗送给番州刺史薛衡，气势非常宏大，风韵众，堪称一时的上乘之作。

写后没几天，杨素就死了。

薛衡叹息说：“人快要死的时候，他的话语也变得很友善了，难就是像这样的吗？”杨素留有文集十卷。

杨素虽然有辅佐祖建国立业的谋略，并且有平定杨谅的功绩，然而却为炀帝所忌。

炀帝表面显对他特殊的礼遇，实际上恩情却很淡薄。

太史官说隋地所属的分野将有重大的丧事发生，炀帝因而改封杨素为楚公，因为楚地和隋地属同一分野，炀帝想借杨素来拦挡遭丧的运气。