探到这个情报，就没有设防准备。

裴行俭从容地召见兹、于阗、疏勒、碎叶四镇的酋长，假装邀约打猎，对他们说“：我好打猎的兴趣从来都没有忘掉，谁愿意跟我去打猎？”愿意跟随的当地年轻人有上万名，于是暗地带着队伍发。几天之内，加速前，离阿史那都支的营帐十多里，先派他亲近的人去向他问安，外表显得清闲无事，不是来袭击的，又派人急速召见阿史那都支。阿史那都支本来和李遮匐商量好，到了秋天再迎战护送波斯王的队伍，后来听说唐军到了，仓促之间想不对策，只得率领五百多个下属人员到裴行俭的军营拜见，于是捉拿了他。当天，传递阿史那都支符契用的弓箭，召集各族酋长都来为他祈求保全生命，一同将他们押送到了碎叶城。挑选悍的骑兵，轻装简从，袭击李遮匐。半路上抓住了李遮匐的使者，释放了他，叫他回去告知李遮匐，阿史那都支已被捉拿，李遮匐就投降了，全押送到了长安。军官们在碎叶城为裴行俭镌刻石碑来记述功劳。宗亲自设宴问，说：“裴行俭率领孤立无援的军队，到万里以外，不用作战就捉拿了叛党，平息了叛，可以说是文韬武略集于一了，可得同时授予文臣武将两官职。”当即任命他为礼尚书，兼检校右卫大将军。

宗调元年(679)，突厥的阿史德温傅背叛唐朝，匈的单于辖的二十四个州造反响应他，有几十万人众。都护萧嗣业征讨没有成功，死伤失败接连发生。宗诏令裴行俭任定襄行军大总讨伐。他统率太仆少卿李思文、营州都督周务的队十八万人，会合西路军的程务、东路军的李文日柬等人，总共三十多万人，军旗连绵上千里，全由裴行俭指挥。

在这以前，萧嗣业运输军粮，多次被敌人抢走，士卒饥饿而死。裴行俭说：“可以用计战胜敌人。”于是准备了三百乘假粮车，每乘车里埋伏五名骁勇的士卒，带着斩的长刀、劲的弓弩，用瘦弱的士卒拉车前，还派兵秘密地跟在后边。敌人果然来抢粮车，拉车的瘦弱士卒假装逃脱险境，敌人用把车迅速拉到有草的地方，解下鞍，让吃草。正要从车里拿粮，骁勇的士卒猝然冲，后边的伏兵恰好赶到，差不多将敌人杀死或俘虏光了。从此没有哪敌人敢于走近粮车。

唐朝大军暂时驻扎在单于的北边，傍晚，已经扎好了营帐，战壕已全挖好，裴行俭改变命令迁移到冈上扎营。

军官们说：“将士们已经安顿下来了，不能扰他们。”裴行俭不听这些，促迁移。到了夜晚，狂风暴雨突然来了，原来扎营的地方，积一丈多，将士们没有谁不惊叹，询问怎么知会有风雨的，裴行俭说“：从今以后只我的指挥办事就行了，别问我怎么知的。”

敌军在黑山抵御，连打几仗都失败了，裴行俭让将士们尽情厮杀，前后杀死的敌人无法统计。突厥未经唐朝封赐的可汗泥熟匐被他的下杀死，下提着他的首级前来投降；又活捉了他们的大首领奉职班师回朝，突厥的残余队逃往狼山。裴行俭回朝以后，阿史那伏念非法地自称可汗，又同阿史德温傅会合。

第二年，裴行俭重新统率各路军队，驻扎在代州的陉，派遣间谍大搞离间活动，劝说阿史那伏念，使他跟阿史德温傅互相猜疑。阿史那伏念害怕了，秘密送来降书，并请求让他亲自捆来阿史德温傅表示诚意。裴行俭保守秘密没有公开，而呈递密封奏表报告了朝廷。几天之后，尘土冲天向南来，哨兵们惊恐，裴行俭说“：这是阿史那伏念押送阿史德温傅来投降，没有别的情况。不过接受投降如同接受挑战。”于是命令严加防备，派遣一名使者前去问。事情果然是这样。到这时，突厥残全被消灭。宗十分兴，派尚书崔知悌劳队。

当初，裴行俭曾向阿史那伏念许诺不杀他们，侍中裴炎妒忌他的功劳，向宗陈述意见：“阿史那伏念被程务、张虔曰助威胁追赶，又遭碛北回纥的迫，没有办法才投降的。”结果在都城的大街上斩杀了阿史那伏念和阿史德温傅。裴行俭的功劳也不予记载。只是封他为闻喜县公。裴行俭叹息说“：西晋的王浑忌妒王浚平定吴国功劳的事，从古至今人们认为可耻。只怕杀掉降将以后就没有再愿归顺的人了！”于是借生病不再面。永淳元年(682)，十姓突厥的车薄叛，裴行俭又任金牙行军大总，还没有发就去世了，享年六十四岁，追认为幽州都督，谥号为“献”宗诏令皇太派遣官员理他的家事，直到孙能够自立才止。中宗李显登位，又追认他为扬州大都督。

裴行俭善长草书隶书，是位书法名家。宗曾经给他白绢命令书写《昭明文选》，观赏之后，珍他的法度，赏赐丰厚。裴行俭常常说“：褚遂良如果不是的笔和墨，还不曾叫写就写，不选择笔和墨的好坏而能写得机灵捷的，只有我和虞世南而已。”他撰写《选谱》、《草字杂》好几万字。还就安置军营、阵势摆列、预料胜负、识别人才等问题编写了四十六条经验诀窍，武后命令武承嗣上门拿走了，没有传。