业劝他的国主刘继元投降，以保全百姓的生命财产。刘继元投降后，宋太宗派宦官传旨召见杨业，一见大喜，任命他为右领军卫大将军。班师后，授杨业郑州刺史之职。皇帝认为杨业对边疆事务很有经验，又升他任代州兼三驻泊兵都署，密封珠宝玉，赏赐给他极丰厚。正赶上契丹侵雁门关，杨业率领下数千名骑兵从西陉发，由小赶到雁门北，再转向南下从敌人背后攻击，契丹大败。杨业因战功升任云州观察使，仍兼郑州和代州的刺史及驻泊兵都署。从此，契丹军队一望见杨业的旗帜，就退去。守边的主将大多妒忌他，有的人暗中向皇帝写诬告信指责他的缺，皇帝见了都不追问，反把这些奏章封好给杨业。

雍熙三年(986)，宋军北征，以忠武军节度使潘为云、应路行营都署，命杨业为他的副职。派西上。。门使、蔚州刺史王亻先，军库使、顺州团练使刘文裕监护这支军队。各路宋军接连攻下云、应、寰、朔四州，大军驻桑乾河，恰逢曹彬这路军战事不利，各路宋军只得撤退，潘这些人回到代州。

没过多久，宋廷下诏迁移四州的百姓到内地，命令潘等人以所统领的士兵护送他们。这时，契丹国辽圣宗的母亲萧太后与她的大臣耶律汉宁、南北室和五押惕隐领兵十多万，又攻占了寰州。杨业对潘等人说“：现在辽兵更加盛，不可与他们对战。朝廷只命令我们移取几个州的百姓，只须领军从大石路，先派人暗中告诉云州、朔州的守将，等大军离开代州的日，命令云州的百姓先。我们的军队驻在应州，契丹兵必定来抵抗，此时立即命令朔州的百姓城，直接石碣谷。我们派弓箭手一千人列在谷，用骑兵增援中路，这样，三州的百姓，可确保安全了。”王亻先反对这个建议说：“率领数万兵却害怕、弱到这样程度。我军只直奔雁门北川中，击鼓前。”刘文裕也赞成这个意见。杨业说：“不能这样，这是必定失败的形势。”王亻先说：“君侯你向来号称无敌，如今看见敌人就停止不前、屈服不战，莫非你还有别的打算吗？”杨业说：“我杨业不是躲避死，只因为此时对我们有不利之，白白地被人杀伤士卒而得不到成功。现在你用怕死来责备我杨业，我应当在各位的前面作战。”快要发时，杨业哭着对潘说：“此次行动必定不利。杨业，是太原的降将，死应是分内的事。皇上不杀我，信任地任我为连帅，授给我兵权，我并不是放掉敌人而不打，只是为了等待便于攻敌的条件，将立尺寸之功以报答国恩。今天各位用躲避敌人的名义来责备我杨业，我杨业应当先战死在敌人中。”于是杨业指着陈家谷说“：各位在那里摆下步兵弓箭手，作为左右翼用来增援，等我杨业转战到这里，立即用步兵夹击敌人救援我，不这样，就没有活着的人了。”

潘与王亻先率领下的士兵在谷布战阵势。从凌晨寅时到上午巳时，王亻先派人登上托逻台。。望，以为契丹已经逃跑，想争这场战争的功劳，就领军离开谷。潘没能制止，于是沿灰河往西南走二十里。不久听说杨业战败，潘立即领兵退走。杨业奋力战斗，自中午杀到日落，果然到达谷。看到这里没有人，就拍着脯大哭，再率领帐下的将士奋力战斗，受数十创伤，而边的士兵都快战死，杨业还亲手杀死几十人到上百人。他的受重伤不能前，于是他被契丹兵捉住，他的儿杨延玉也战死在这里。杨业因而叹息说“：皇上对我很看重，我本打算用讨伐贼寇保卫边疆来报答他，却反被臣所迫害，致使国家的军队战败，还有什么脸求活着呢！”于是杨业绝三日而死。

宋朝皇帝听说这事，十分痛心惋惜，不久下诏书说：“执戈而保卫社稷，听军鼓而思念将帅。竭全力战死敌寇，树立气节超过同类，不给以追悼而推重，怎么能够表彰忠义英烈呢！已故的云州观察使杨业忠诚定如金石，浩气可激风云。所选的陇上英才，本是山西的望族。自从委任他军旅之事，他就一心思立战功，最先率领勇猛的军队，以作为效力边陲的力量，然而将领们毁坏了协约，援救的军队没有上前。杨业独自率领孤军，被困在沙漠；其猛烈之状，果然像暴风一样迅疾，将士作战，只有死战，不想生还。探求古代的人，怎能到这地步！所以，我们应大举善典，借以表彰后世的忠心，魂魄若有灵，会明白我的意。可追赠杨业为太尉、大同军节度使，赏赐他家里布帛一千匹，粮一千石。大将军潘降官三级，监军王亻先解除官籍，隶金州；刘文裕解除官籍，隶登州。”