侍从官奉事世宗。到周世宗即帝位后，补任潘为供奉官。平之战，潘因为战功升迁为西上。。门副使。后任陕州监军，改任引使。周世宗准备用兵于陇、蜀二地，命潘统率永兴的屯兵，理西战事。

先前，太祖对潘待遇很优厚，受禅即位后，命令潘先去见执政大臣，宣谕圣旨于中外。陕州主将袁彦凶悍，信任佞小人，喜杀人贪财，而且修理兵，太祖怕他变，派潘监视他的军队准备置他。潘一人骑前去宣谕，认为天命既定，应当克守臣职，袁彦于是朝。皇上兴地说：“潘不杀袁彦，能让他来晋见，实现了我的愿望啊。”

李重叛，太祖亲自征伐，任命石守信为招讨使，潘为行营都监他的助手。扬州平定后，潘留任为巡检，以行使镇抚之事，因功授为泰州团练使。当时湖南叛将汪端平定后，人心不安，于是任命潘为潭州防御使。岭南刘钅长几次侵犯桂、江华等地，潘把他们都赶跑了。溪峒蛮獠等少数民族从唐朝开始，时常侵犯内地，成为百姓的一大祸患。潘追剿到他们的老窝，诛杀俘获了很多人，对其余的人加以抚，这些少数民族地区才安定下来。乾德二年(964)，潘又随从兵都监丁德裕等人率领军队攻克郴州。

开宝三年(970)，朝廷下令征伐岭南，任命潘为行营诸军都署、朗州团练使，尹崇珂为他的副手。军队克富州，刘钅长派其将领率领军队一万多人来增援，潘与他们作战大败敌军，于是攻克贺州。十月，又攻下昭、桂、连三州，西江各州相继投降。潘因为战功移任南面都署，驻韶州。

韶州是广州的北面门，敌军十余万人聚结在这里。潘指挥军队乘机攻，韶州于是被攻下，斩杀俘虏敌军数万人。刘钅长穷愁急迫，派遣他的大臣王王圭到军营来请求和好，又派他的左仆萧氵崔、中书舍人卓唯休奉表请降。潘对他们宣谕皇上的意思，认为能战就与他们战，不能战就让他们守，不能守就让他们降，不能降就让他们死，不能让他死就赶走他们，除这五结果外其他不得接受。潘就命令殿直冉彦衮指挥押送萧氵崔等人到朝廷。

刘钅长又派他的弟弟刘保兴率领军队抵抗，潘就率领军队兼程行军赶到栅，离广州一百二十里远。刘钅长的军队十五万人凭借山谷固阵地等待宋军，潘于是构筑垒休整队，与将领们计议说“：敌军用竹木编为栅栏。如果用火攻，敌军一定溃，趁机用锐队夹击敌人，是万全之策。”于是分派丁夫几千人，每人拿着两个火把，秘密地行军到达敌军的栅栏。到了晚上，万余火把一齐发攻，正好天气刮着大风，火势很。刘钅长队惊动来犯，潘指挥军队急忙迎击，刘钅长军队大败，潘军队斩敌数万人。潘指挥军队长驱直攻到广州，刘钅长把他的府库都焚烧了，潘军队于是攻克广州，擒俘刘钅长押送到京师，并向朝廷报捷。当天，朝廷任命潘与尹崇珂同知广州兼市舶使。五月，任命潘为山南东节度使。五年(972)，潘兼任岭南转运使。土豪周思琼纠聚民众依仗海域叛，潘讨平他们，岭南于是安定下来。

七年(974)，朝廷计划征伐江南。九月，派遣潘与刘遇等将领率领军队先到达江陵。十月，任命潘为升州行营都监，与曹彬一起发，驻秦淮。当时船只没有准备好，潘下令说：“潘接受诏令，指挥骁勇善战的军队数万人，期望能够一定获胜，怎能因为一条浅所限而不敢直接渡过去呢？”于是指挥军队渡江，吴军被打败。到采石矶浮桥成时，吴人用二十多艘战船敲响战鼓溯而上乘机来攻。潘指挥军队奋勇而战，夺取敌军的战舰，擒获敌军将领郑宾等七人，又攻破吴军城南的营栅栏，分派师驻守。上奏朝廷，太祖派遣使者赶快迁移战船，以防变故。潘接到诏令上迁移队。这天夜晚，吴人果然来攻营，未能成功。潘军金陵，江南军、陆军共十万人在城下摆下阵势，潘率领队袭击，把吴军打得大败。李煜非常危急，派徐铉来请求迟缓作战，皇上没有答应，仍诏令诸将促令他归附。李煜迁延没有结果，连夜派队数千人，手持火把击鼓来攻宋方军队。潘率锐军队与敌军短兵相接，趁机与大将军曹彬率领军队黎明攻城，分多一齐攻。金陵平定后，因为战功潘被封为宣徽北院使。

秋季，朝廷命令潘辅佐党攻太原，在汾河上战，大破敌军，而且俘虏敌军很多。太平兴国初(976)，改任南院使。三年(978)，加封潘为开府仪同三司。四年(979)，朝廷任命将领征伐太原，潘任北路都招讨，判太原行府事。潘署诸将讨，并州于是平定。接着征伐范，任潘为知幽州行府事。到班师的时候，朝廷任命他兼任三都署，留下来驻守保卫北边境。在三西北方三百里，有个地方叫固军，地势险阻，是北边的咽之地。潘秘密袭击，于是占有这个地方。于是贮积粮驻扎兵守，从此以后北边得以安定下来。潘曾经巡视到代州，整顿军备，不久辽国一万多骑兵来侵犯，靠近边，潘誓师后静悄悄地军与敌作战，大破敌军。朝廷封他为代国公。八年(983)，改任忠武军节度使，升封为韩国公。