并平了他所筑的城墙。

周宣帝登基后，杨素继承了父亲临贞县公的爵位。

宣帝又封他的弟弟杨约为安成公。

不久跟随韦孝宽巡行淮河以南，杨素又单独攻下了盱眙、钟离两地。

祖当丞相时，杨素便与祖好，祖很看重他，派他汴州刺史。

赴任途中，走到洛，恰逢尉迟迥叛，荥州刺史宇文胄占据虎牢和尉迟迥相应，杨素不能前行。

祖拜杨素为大将军，调发河内之兵攻宇文胄。

打败宇文胄后，杨素升为徐州总，又位为国，加授清河郡公，邑二千。

他的弟弟杨约也被封为临贞县公。

祖受禅后，加封杨素为上国。

开皇四年(584)，拜他为御史大夫。

杨素的妻郑氏情凶暴蛮横，杨素曾怨恨地说：“我如果当了天，你一定不能作皇后。”郑氏把这话奏给祖，他因此被免官。

祖正想谋取江南，这之前，杨素曾多次献夺取陈国的计策，没多久，祖就拜杨素为信州总，赏赐给他钱一百万、锦一千段、两百匹而派他去信州。

杨素住在永安，造了一大船，名叫五牙，上面建了五层楼，达一百多尺，前后左右共置了六名为“柏竿”的战，都五十尺。

船上可容纳八百多名士兵，旗帜放在上边。

另外一船，稍稍小一些，起名黄龙，可置士兵一百来人。

其余的平乘船、舴艋舟，各有不同。

等到大举伐陈时，祖封杨素为行军元帅，率领军奔赴三硖。

大军行至滩，陈将戚欣凭借一百多艘青龙船，屯兵几千人驻守在狼尾滩，阻挡大军去路。

那里地势峻峭险要，将领们都忧心忡忡。

杨素说：“成败在此一举。

如果我们白天乘船而下，他们就会看见我们，滩险急，天制不由人力，那么我们就失去了有利的条件。”于是决定在夜里攻其不备。

杨素亲自率领上千艘黄龙舰，命令士兵把枚衔在中，悄悄顺而下，并派遣开府王长袭率领步兵从南岸攻戚欣另外的营寨，命令大将军刘仁恩率领披甲持械的骑兵攻白沙北岸。

天快亮的时候，队伍都抵达了目的地。

攻敌军，戚欣大败而逃，他的下全被俘。

杨素安抚俘虏后送走了他们，秋毫无犯，陈国人非常兴。

杨素率领军继续东下，大小战船铺满了整了江面，旌旗盔甲在光下鲜艳耀。

杨素端坐在平乘大船之上，容貌魄雄健魁伟，陈国人望而生畏，都说：“清河公就是长江之神啊！”陈国南康内史吕仲肃屯兵岐亭，正好占据了江峡。

他在北岸凿穿岩石，连接了三条铁锁链，横断长江上游，用来阻挡战船前。

杨素和仁恩先登陆攻打吕仲肃的营寨，吕仲肃的队伍夜里溃逃，杨素从容地除掉了那些铁链。

吕仲肃又占领荆门的延洲。

杨素派。。之地的士兵一千人，分乘四艘五牙船，用船浆击碎了十多艘敌舰，于是大破敌军，俘虏敌兵两千多人，吕仲肃一人逃脱。

陈后主派信州刺史顾觉镇守安蜀城，荆州刺史陈纪镇守公安，他们都因害怕杨素而退走。

从此，陵以东无人敢守。

湘州刺史、岳王陈叔慎派使节恳请投降。

杨素顺而下，直抵汉，和秦孝王会合。

班师回朝后，祖拜杨素为荆州总，晋封郢国公，邑三千，实长寿县的一千。

祖又封他的儿玄为仪同，封玄奖为清河郡公。

并赏赐绵绢一万段，粮一万石，还有一些黄金、珠宝，又把陈后主的妹妹和女乐十四人也赏赐给他。

杨素对皇上说：“乡里名叫‘胜母’，孝曾就不去；叛逆之人王谊，以前曾分封于郢地，我不想和他一样。”于是祖改封他为越国公，不久又拜纳言之职。

一年多后，转任内史令。

不久，江南人李棱等聚众叛，多的达几万人，少的也有几千人，互相响应，杀害官吏。

祖任命杨素为行军总，率众讨伐。

叛贼朱莫问自称南徐州刺史，以重兵占据京。

杨素率领军从扬津攻，而击败了他们。

晋陵的顾世兴自称为太守，和他的都督鲍迁等又来拒战。

杨素迎战破敌，活捉鲍迁，俘虏敌兵三千多人。

杨素又而攻打无锡叛贼叶略，又铲平叛军。

吴郡的沈玄憎、沈杰等人派兵包围了苏州，刺史皇甫绩屡战不利。