惧怕智慧的兵力盛而向他投降。智慧将元契的下全杀死，元契自杀。智慧有战舰船只一千多艘，占据了要害地方，军队十分劲。杨素领军向他攻，从清晨到下午申时，经过艰苦战斗，打败了贼兵。智慧逃大海。杨素追赶他，从余姚渡海直趋永嘉。智慧抵抗，杨素又将他击败逃走。贼帅汪文自称为天，占据东，任命他的同党蔡人为司空，驻守乐安。杨素领兵讨，全平定。又攻破永嘉贼首沈孝彻。隋军从这里步行向天台发，直指临海郡，逐一捕获漏网的贼兵，前后打了一百多仗。智慧又逃到闽越守。文帝因杨素长时间在外面征战，所以下诏派人骑快传命令他还朝，给他的儿玄加上开府衔，赐给绸缎八千段。杨素因余寇没有扫除，恐怕成为后患，又请求发。朝廷下诏命他为元帅，他又率军来到会稽。

先前，泉州人王国庆是南安一带的豪门大族，杀死了刺史刘弘，占据州城发动叛。他认为海上艰难险阻，不是北方人所习惯的，所以不设任何防备。杨素率军渡海，突然前来，王国庆十分惊慌，忙弃城逃走。杨素分别派遣各路将领，从上和陆地分追击。此时，南海原有五六百人家，居住在上成为亡命之徒，号称为游艇，智慧、王国庆想去投靠他们。杨素便秘密派人劝说王国庆，让他杀死智慧以立功，王国庆在泉州杀死智慧，余党全投降，江南彻底平定。文帝派左领军将军独孤陀到浚仪迎接劳杨素。他回到京城，问者天天不断。朝廷授杨素的儿杨玄奖为仪同，赐给黄金四十斤，又加上银瓶，里面装上金钱；细绢三千段、二百匹、羊三千只、田地一百顷、住宅一。

杨素代替苏威为尚书右仆，与赹一起掌朝政。杨素情疏懒而又好计较，大事小事都放在心上。朝臣之间，他只推崇赹，敬重弘，厚待薛衡，看待苏威好像不存在一样。其他朝臣，大多受他轻慢排斥。他的才情风度超过赹；至于诚心国，待人接的公平恰当，宰相应有的识见气度，与赹差得太远了。

不久，文帝令杨素监造仁寿，杨素便平山填谷，督责工役十分严厉急，工役们死了很多，墙旁边常常听到鬼的哭声。等到仁寿建成，文帝命赹前去视察，赹奏称殿过于绮丽豪华，损伤人丁太多，文帝不兴。杨素害怕，便在皇北门启奏独孤皇后说“：帝王法规定应该有离别馆，现在天下太平，建造一座殿怎么能算浪费？”皇后将这个理告诉文帝，文帝的情绪才缓和下来。于是赐给他钱一百万、锦绢三千段。

开皇十八年(598)，突厥达可汗犯边，文帝命杨素为灵州行军总监，率兵讨伐，赐给他绸缎二千段、黄金一百斤。原来的边疆守将与突厥打仗，因为担心他们的骑兵来回冲突，因而将战车、步兵、骑兵互相错合，用鹿角布置成方阵，骑兵屯扎在里面。杨素说：“这是自我束缚的办法。”于是，他将旧的战法全抛弃，命令全军变为骑兵的阵势。达听后十分兴，认为是天赐的良机，下对天祝拜，然后率领数十万锐骑兵杀来。杨素挥军奋击，将敌人打败，达受重伤逃跑，敌人哭喊着四散而去。文帝下诏赏赐给他细绢二万匹和一万钉宝带，封他的儿杨玄为大将军，杨玄奖、杨玄纵、杨积善都被封为上仪同。

杨素于权谋韬略，利用机会攻敌人，战术变幻没有定则，然而，总上，治军严肃整齐，有违犯军令的，立即斩首，毫不宽待。每次将要与敌人开战，往往寻找将士的过失而将他们死，多的死一百余人，少的也不下数十人，他面前满了鲜血，却谈笑自若。等到与敌人开战，先命一二百人攻敌人，如能攻破敌阵就算了；如不能攻破而失败回来，不剩下多少人，全斩首；再命二百人攻，方法同前面一样。将士们个个心惊，下定了必死的决心，所以战无不胜，他被称为名将。杨素受到文帝的，他说的话隋文帝没有不听从的，与他一起作战的将士，就是立有很小的功劳也会被记录奖赏。至于别的将领，虽然立有大功，也多被文官们阻止不报。所以，杨素虽然严酷残忍，将士们也愿意跟从他。

开皇二十年，晋王杨广为灵、朔的行军元帅，杨素他的长史。晋王屈尊与他往。杨广被立为太，自杨素的计谋。

仁寿初年，他代替赹为尚书左仆，朝廷赐给他好十匹、母二百匹、婢一百。这年，又命杨素为行军元帅，至云中击突厥，连续把敌兵打败。突厥逃走，他追到夜里赶上了他们，将要再战，恐怕他们逃跑，便令其他骑兵走在后面，自己亲率两名骑兵和两名投降的突厥人，悄悄地与敌兵一起行走，对方没有觉察。等到他们驻扎时还没稳定下来，他指挥后面的骑兵突然掩杀过来，将敌人打得大败。从此，突厥人远远地逃去，沙漠以南再也没有他们踪迹。因立战功将他的儿杨玄晋位为国，玄纵为淮南郡公，赏赐品二千件。

献皇后驾崩，丧葬制度多于杨素之手。文帝很是赞赏他，下诏说：“君主如人的脑，大臣好比人的与肱。共同治理百姓，职责同为一。上国、尚书左仆、仁寿大监、越国公杨素，志向气度恢宏宽阔，对事变化的鉴透彻远大，怀辅助时事的韬略，包涵治理国家的才。我朝王业初开，称霸天下的宏图刚刚奠基，他一仕就被委以重任。受命师，擒获和消灭凶恶的贼首，平定了虢和郑。多次秉承朝廷制定的谋略，指挥大军纵横江南；常常接受朝廷颁布的军令，率军长驱于北疆要。大军南指，吴越之地便被肃清；王师北临，匈族的军队就被摧垮折服。位居尚书省长官，参与军国大事的计谋筹划，在朝廷端正严肃，不谄不骄；说话直抒意，毫不隐瞒。谈文学则词气纵横，语言华丽；论武功则谋虑远，奇招迭。既能文，又能武，对朕惟命是从。凡委以职责，从早到晚都不怠懈。献皇后气息奄绝，驾离六，远别日月，白云。坟茔的选择，灵柩的厝置，都委托杨素来料理。皇后的丧事可以依照定礼，但占卜风，趋吉避凶，却不于此。杨素对朝廷义重，为国家情，想使生者和死者都安康泰然，永远无穷。他认为阐释的书虽然都是圣人所作，但察其中祸福的理，尤其需要慎重。便踏遍山川原野，亲自占卜选择，为了寻求最大的吉利，孜孜不倦，奔波不已。终于在京城附近找到一块福地，用以营建陵墓。论起杨素的这心情，对朝廷实在至诚至孝。他平定贼寇，建立丰功伟业，如不给予奖赏，怎么能申张劝勉奖励功臣的风气！可再封他的一个儿为义康郡公，邑一万，孙孙继承不断，其余赏赐仍旧章。”同时赐给他田地三十顷、绢一万匹、米一万石；金钵一个，里面装满黄金；银钵一个，里面装满珍珠。又赠给绫罗锦缎五百段。

这时，杨素受文帝越来越重，他的兄弟杨约、从父杨文思、兄弟杨纪以及族父杨异都被封为尚书、列卿。所有的儿没有任何汗功劳，都位至国、刺史。家里僮仆数千人，后宅的妻妾歌伎，穿着华丽的绸衣的数以千计。府第豪华奢侈，形制有如皇。有个叫鲍亨的善于写文章，一个叫殷胄的工于草书和隶书，都是江南的读书人，因为受智慧牵连沦为仆。杨素的亲友故旧，都地位显要。他权势的兴盛，近古以来从未听闻，炀帝杨广初为太时，猜忌蜀王杨秀，便与杨素密谋，构陷他的罪状，后来竟被废黜。朝臣有违逆他的，虽然忠诚国有如贺若弼、史万岁、李纲、柳。。等人，杨素也暗中中伤他们。如果有人趋附他和他的亲友，虽然没有才，也一定提。朝廷上下都成了这个样，人们无不因畏惧而依附他。惟有兵尚书柳述，凭借他是文帝女婿的特殊地位，多次在文帝面前抨击杨素；大理卿梁毗上表说杨素作威作福。文帝渐渐疏远并忌讳杨素，后来诏谕说：“仆，是国家的辅政大臣，不可以亲自理细小的事务。只需三五天到尚书省议论一下大事就行了。”表面表示优崇，实际是在削弱他的权力。直到仁寿末年，不再让他全面负责尚书省的事。文帝赐王公以下的大臣箭，杨素的术为第一，文帝亲手将外国贡献的价值数万的金盘赏赐给他。仁寿四年(604)，跟随文帝到仁寿，赏赐给他的酒宴十分丰盛。

文帝不好，杨素与兵尚书柳述、黄门侍郎元岩等侍奉他的疾病。这时，皇太杨广居住在大宝殿，担心文帝会有不测，必须早作防备，便亲手写信，封上送给杨素。杨素便将文帝的情况记录下来，报告给太，人将他的信悄悄送给文帝，文帝看后十分恼怒，文帝的陈贵人也说太对她轻狂无礼。文帝发怒，想要召回被废为庶人的长杨勇。太与杨素谋划，杨素假借文帝的诏命，让东的兵士来中守卫，门禁止，让宇文述、郭衍来指挥。又让张衡侍奉文帝的病。文帝就在这天驾崩，因此颇引起不同的议论。

适逢汉王杨谅反叛，派茹茹天保向东至蒲州，烧断黄河上的桥；又派王冉率军与天保合力守。杨素率轻骑五千人袭击，埋伏在渭渡，乘夜渡过，天明发动攻，天保兵败，王冉惧怕，献城投降。炀帝下诏将他征还。杨素最初将要发时，计划着破贼的日，实际发展都和他估计的一样，炀帝于是命杨素为并州行军总、河北安抚大使，去讨伐杨谅。当时，晋、绛、吕三州州城都被杨谅把守，杨素每地各用二千人引他们。杨谅派赵开率军十余万，修筑险绝的路，屯据在，布下五十里大阵。杨素命诸将领兵近敌营，自己用奇兵霍山，攀缘悬崖，越过谷，急速前，直捣杨谅的大营，一战将其攻破。杨谅任命的介州刺史梁修罗驻扎在介休，他一听说杨素率军到来，害怕得弃城逃走。杨素领兵至清源，离并州三十里，杨谅率他的将领王世宗、赵开、萧诃等迎战，又被打破，俘获了萧诃，杨谅退守并州，杨素兵将并州包围，杨谅境困窘，被迫投降，他的余党全被平息。炀帝派杨素的兄弟修武公杨约拿着他亲手写的诏书劳杨素，杨素上表谢。这一月，他回到京城，又跟随炀帝到洛，炀帝命他为营造东京大监。因为平定杨谅的功劳，朝廷授予他的儿万石、仁行，侄玄为仪同三司，赏赐布帛五千段、罗绮一千匹，杨谅的歌二十人也赏赐给他。

大业元年(605)，他升为尚书令，朝廷赏赐给东京的住宅一、布帛二千段。不久，又被授予太太师，其他官职和过去一样。朝廷前后给他的赏赐无法计算。第二年，又被授予司徒，改封为楚公，实授给邑二千五百。这一年因病去世，谥号景武，赠为光禄大夫、太尉公和弘农、河东、绛郡、临汾、文城、河内、汲郡、长平、上党、西河十郡太守；送给。。车京丧车一、手执木刻班剑的仪仗三十人，前后手执羽葆的仪仗和鼓手，谷和麦五千石、布帛五千段，鸿胪寺负责料理丧事。炀帝又下诏为他立碑，以表彰他的丰功伟业。杨素曾将一首长达七百字的五言诗赠给番州刺史薛衡，词意新颖警，风格秀雅超群，成为一时难得的佳作。诗写成不久，就去世了。薛衡叹息说“：人之将死，其言也善，果然是这样啊！”杨素有文集十卷。