命到岭南视察，没有动却暴发了智慧、汪文等人的叛，吴、越间的路被阻隔。文帝难于促他发，他却请求上动，文帝同意了。走到南康，得到数千名士兵。这时，当地的俚帅王仲宣带兵广州，命将周师举围攻东衡州。裴矩与大将军鹿愿率兵赴援。贼兵设立九栅栏，驻扎在大庾岭，与犯广州和东衡州的两支人互相声援。裴矩挥师击，大破贼兵。贼兵害怕，撤离东衡州，据守原长岭，裴矩又将他们打败，并斩杀周师举。又从南海军救援广州，王仲宣闻风丧胆，下四散溃逃。裴矩共收复二十余州，又秉承皇帝旨意，任命贼兵的各级目署理刺史、县令。还朝后文帝十分兴，命他升殿以问他的劳苦。并对赹、杨素说：“韦氵光率领二万军队，不能早日越过南岭，经常忧虑自己的兵太少。裴矩只带三千疲弊的士卒就直接到达南海。有这样的臣僚，我还忧虑什么。”因功勋显赫封他为开府，赐爵为闻喜县公，赏赐二千多匹绸缎，又授予侍郎，迁为内史侍郎。

这时，突厥日益盛起来，都蓝可汗的妻大义公主是宇文氏家的女儿，因而多次引起边患。后来，因为公主与跟从的一个胡人私通，长孙晟先揭发了这件事。裴矩请求使突厥，劝说都蓝公开死大义公主。文帝同意这个意见，事情的发展竟和裴矩说的一样。大义公主被杀后，都蓝与突利可汗发生冲突，屡次犯边境上的堡垒。文帝命太平公史万岁为行军总，从定襄发，命裴矩为行军长史，在外打败达可汗。史万岁后来被诛杀，裴矩的功劳竟不记录。文帝因启人可汗刚刚归附，命裴矩前去安抚劳。归来，升为尚书左丞。

这一年，文献皇后驾崩，太常寺过去没有治丧的礼节制度。裴矩与弘、李百药等人据北齐的礼仪参酌修订。他又转为吏侍郎，很能胜任职守。炀帝即位，营建东都洛，裴矩担任修建官署的职务，九十天就完工了。

当时西域诸蕃大都到张掖与中国互市易，炀帝让裴矩负责这件事。裴矩知炀帝正致力于异域的方略，所有来的胡人，裴矩都诱导他们叙说本国的风俗及山川的险易情况，据此撰写成《西域图记》三卷，朝献给炀帝，书的序言说：

“我听说大禹定天下为九州，疏导黄河不超过积石山；秦兼并山东六国，设立边防只到临洮。所以，由此可以知西域各国地偏远，礼教不能施加，经典也很少传播。自从汉代兴立基业，开拓黄河以西的地区，开始立有名号的国家有三十六个。以后又分裂建立新国，便现五十五个王国。汉室设置了校尉、都护等职对他们行招安抚。然而，他们时而臣服，时而背叛，引起多次征讨战。后汉一代，不断废除这些官职，虽然从大宛国建立以来，大略了解西域的民数目，但各国的山川河，却没有名称。至于如姓氏、风土人情、服饰制度、产情况，都没有编纂记录，举世都不了解。又因为秋代谢，年代久远，互相兼并讨伐，各有兴盛和败亡。或者土地是原来的故地，却改为今天的叫法；或者人已不是过去的族类，却仍袭用过去的名字。再加上内地人和边人不断错，疆域不断变动，西的戎族和北的狄族说话又不一样，事情很难清楚。于阗以北，葱岭以东，考察前代历史，有三十多个国家。以后相互攻伐杀戮，仅剩下十来个，其余的都已消失，什么都不存在了，只剩下一片废墟，无法记载和认识它们。

“皇上顺应天意，抚育万，不论华族和夷族，所有土地上的人民，没有不向慕教化的。风气所及，一些时候以来，各国争相贡品，不多远没有不送来的。我因安抚各国，监督关市，搜寻有关书籍，采访各少数民族，遇有疑问，便博采众，依照他们本国的服饰形状，王公和百姓们的形貌举动，用丹青描摹成为《西域图记》，共有三卷，包括四十五个国家。另外，又绘制地图，将要害全画。从西海以北，北海以南，纵贯横亘，将近两万里。采访是据富商大贾们的周游跋涉，所以各国的情况没有不详细了解的。又有那些荒远偏僻的地方，难于访问明白，不可凭空虚造，所以空缺。而两汉以来，西域就有习惯，拥有数十人家就自称国王，徒有虚名，与实际大相乖违。现在所编的，皆是拥有千余，产在西海数得着，大多产珍财异宝的国家。那些住在山里，没有国名，以及规模小的落，多不记载。

“从敦煌发到达西海，共有三条路，各有自己险要的地势。北从伊吾经蒲类海、铁勒、突厥可汗，渡过北河，到达拂蘂国，直通西海。中从昌、焉耆、兹、疏勒，越过葱岭，又经过钹汗、苏勒沙那国、康国、曹国、何国、大安国、小安国、穆国，经由波斯，到达西海。南从鄯善、于阗、朱俱波、喝盘陀，越过葱岭，经过护密、吐火罗、挹怛、忄凡延、漕国，由北婆罗门到达西海。这三路中的各国，也各自有自己的路，南北贯通。它的东面有女国、南婆罗门国等，凡是所需要去的地方，各都能畅通。所以知伊吾、昌、鄯善共为西域的门；各方总汇的敦煌，是它的咽之地。

“凭借国家的威望德义，将士的骁勇雄健，渡过氵蒙汜而扬起战旗，越过昆仓而腾起战，攻城夺地，易如反掌，没有不能去的地方。但是，突厥、吐谷浑分别控制西域各国，受它们的阻挠，所以各国给我国的贡品不能通过。现在各国依靠商人，秘密表示真诚通好的心愿，引颈翘首，愿意向我国臣服。圣恩厚，泽被天下，让各国服从并而驾驭他们，务必要安辑抚绥。所以，先朝派遣使臣通好，不靠武力征服。西域各国既已服从，悍的突厥就能消灭。使华夏与西戎统一，就在于此啊。不对此有所记录，就无法表达我国威信的广远。”

炀帝看了十分兴，赏赐给他五百匹绸缎，每天招裴矩到御座前，亲自询问西域的事情。裴矩极力陈说西域有很多奇珍异宝，吐谷浑容易吞并，炀帝听了甚为称心，将通好西域、经略夷族的重任都委托给了他。