，复以淮为司。文帝即王位，赐爵关内侯，转为镇西长史。又行征羌护军，护左将军张郃、冠军将军杨秋讨山贼郑甘、卢叛胡，皆破平之。关中始定，民得安业。

黄初元年，奉使贺文帝践阼，而路得疾，故计远近为稽留。及群臣会，帝正责之曰：“昔禹会诸侯于涂山，防风后至，便行大戮。今溥天同庆而卿最留迟，何也？”淮对曰：“臣闻五帝先教导民以德，夏后政衰，始用刑辟。今臣遭唐虞之世，是以自知免于防风之诛也。”帝悦之，擢领雍州刺史，封亭侯，五年为真。安定羌大帅辟氾反，讨破降之。每羌、胡来降，淮辄先使人推问其亲理，男女多少，年岁长幼；及见，一二知其款曲，讯问周至，咸称神明。

太和二年，蜀相诸葛亮祁山，遣将军谡至街亭，详屯列柳城。张郃击谡，淮攻详营，皆破之。又破陇西名羌唐氾于枹罕，加建威将军。五年，蜀卤城。是时，陇右无谷，议关中大运，淮以威恩抚循羌、胡，家使谷，平其输调，军用足，转扬武将军。青龙二年，诸葛亮斜谷，并田于兰坑。是时司宣王屯渭南；淮策亮必争北原，宜先据之，议者多谓不然。淮曰：“若亮跨渭登原，连兵北山，隔绝陇，摇民、夷，此非国之利也。”宣王善之，淮遂屯北原。堑垒未成，蜀兵大至，淮逆击之。后数日，亮盛兵西行，诸将皆谓攻西围，淮独以为此见形于西，使官兵重应之，必攻遂耳。其夜果攻遂，有备不得上。

正始元年，蜀将羌维陇西。淮遂军，追至中，维退，遂讨羌迷当等，抚柔氐三千馀落，徙以实关中。迁左将军。凉州休屠胡梁元碧等，率落二千馀家附雍州。淮奏请使居安定之平，为民保障，其后因置（西川）〔西州〕都尉。转拜前将军，领州如故。

五年，夏侯玄伐蜀，淮督诸军为前锋。淮度势不利，辄军，故不大败。还假淮节。八年，陇西、南安、金城、西平诸羌饿何、烧戈、伐同、蛾遮等相结叛，攻围城邑，南招蜀兵，凉州名胡治无复叛应之。讨蜀护军夏侯霸督诸军屯为翅。淮军始到狄，议者佥谓宜先讨定枹罕，内平恶羌，外折贼谋。淮策维必来攻霸，遂沨中，转南迎霸。维果攻为翅，会淮军適至，维遁退。讨叛羌，斩饿何、烧戈，降服者万馀落。九年，遮等屯河关、白土故城，据河拒军。淮见形上，密于下渡兵据白土城，击，大破之。治无围武威，家属留在西海。淮军趋西海，掩取其累重，会无折还，与战于龙夷之北，破走之。令居恶虏在石山之西，当大止，断绝王使。淮还过讨，大破之。姜维石营，从川，乃西迎治无，留平太守廖化于成重山筑城，敛破羌保质。淮分兵取之。诸将以维众西接胡，化以据险，分军两持，兵势转弱，不制维，退不化，非计也，不如合而俱西，及胡、蜀未接，绝其内外，此伐之兵也。淮曰：“今往取化，贼不意，维必狼顾。比维自致，足以定化，且使维疲于奔命。兵不远西，而胡自离，此一举而两全之策也。”乃别遣夏侯霸等追维于沓中，淮自率诸军就攻化等。维果驰还救化，皆如淮计。封都乡侯。

嘉平元年，迁征西将军，都督雍、凉诸军事。是岁，与雍州刺史陈泰协策，降蜀牙门将句安等于翅上。二年，诏曰：“昔汉川之役，几至倾覆。淮临危济难，功书王府。在关右三十馀年，外征寇虏，内绥民夷。比岁以来，摧破廖化，禽虏句安，功绩显著，朕甚嘉之。今以淮为车骑将军、仪同三司，持节、都督如故。”封曲侯，邑凡二千七百八十，分三百，封一亭侯。世语曰：淮妻，王凌之妹。凌诛，妹当从坐，御史往收。督将及羌、胡渠帅数千人叩请淮表留妻，淮不从。妻上，莫不涕，人人扼腕，劫留之。淮五叩血请淮，淮不忍视，乃命左右追妻。于是追者数千骑，数日而还。淮以书白司宣王曰：“五哀母，不惜其；若无其母，是无五；无五，亦无淮也。今辄追还，若于法未通，当受罪于主者，觐展在近。”书至，宣王亦宥之。正元二年薨，追赠大将军，谥曰贞侯。统嗣。统官至荆州刺史，薨。正嗣。咸熙中，开建五等，以淮著勋前朝，改封汾。晋诸公赞曰：淮弟，字仲南，有重名，位至城太守。斐秀、贾充皆女婿。展，字泰舒。有度幹用，历职著绩，终于太仆。次弟豫，字泰宁，相国参军，知名，早卒。女適王衍。弟镇，字季南，谒者仆。镇奕，字泰业。山涛启事称奕简有雅量，历位雍州刺史、尚书。