长大，劝文帝斥退他。文帝不采纳，而让荀勖陪乘，待他如同先前一样。这以前，荀勖陈述“讨伐蜀，应任命卫璇为监军”等到蜀地战，全靠卫璇维持。钟会之被平定，回洛，舆裴秀、羊枯共同掌机要门。

当时将派使者去吴国访问，并且让当时的文人给孙皓文书，文帝选用荀勖写的文书。孙皓答覆同意和亲，文帝对荀勖说：“你以前写的文书，使吴国心想归顺，胜过十万军队。”文帝登上晋王位，任命荀勖为侍中，封为安，邑一千。武帝接受禅让，改封济北郡公。荀勖因为羊祜谦让，决推辞而为侯。官拜中书监，加侍中，兼著作，与贾充共同制定律令。

贾充将去镇守关右，荀勖对冯鱿说：“买公被派往远，我们这些人失去势力。太婚事还没定，如果使买充的女儿作太妃，那么贾充不用挽留而自己就走不成了。”荀勖与冯鱿趁皇帝有空时都说“买充的女儿才能容貌举世无双，如果娶到东，必定能辅佐太，有《关雎》中后妃的德行”于是成婚。当时很是被正直的人厌恶，而被讥讽为谄媚。很久之后，升为光禄大夫。

掌礼乐之事后，又修定乐律，都在世上行。当初，苟勖在路上听见赵商人的铃。记住了声音。等到掌礼乐，音韵未和谐，就说：“得到赵的铃就和谐了。”于是下令各郡国，都送铃，音乐果然和谐了。又曾在皇帝座前吃饭，对在座的人说：“这饭菜是用车脚烧成的。”都不信他的话。皇帝派人间厨师，回答说：“确实用的是旧车脚。”大家都佩服他的明识。

不久兼任秘书监，与中书令张华依照刘向《别绿》，整理簿记典籍。又设置书博士，安排弟教授学习，效法钟繇、胡昭。

咸宁初年，与石苞等人一同因为是辅佐功臣，在刻石飨之列。王浚上表请求伐吴时，荀勖与贾充决劝谏反对，皇帝不听从，而吴国果然被减。因为荀勖专诏书，论功封一个儿为亭侯，邑一千，赐绢一千匹。又封孙荀显为颖亭侯。

得到汲郡墓中古文竹书后，下诏荀勖撰编，作为《中经》，列内藏书。

当时讨论派遣王公去封国，皇帝问荀勖，荀勖回答说：“各位王公已是都督，而让他们去封国，就废弃了地方长官之职。再说分割郡县，人心依恋原状，必定会发不满之声。封国都设置军队，还要提供官兵给封国，而使边防守备受到损害。”皇帝让荀勖重新考虑此事，荀勖又陈书说：“诏令探究古代诸侯挑选人才，使军队封国各随所在地为都督，那的确如同圣明的诏书所言。至于分割封疆，使亲疏关系在封地上有所区别，也的确是好事。然而分裂旧有的郡县，仍怕产生不安定，必定使人心慌，我的看法还如同先前。假如据实际不得不随时有所转封，而不至于分割地域，。有所变动的话，可以时调度。五等爵位封国，其实不成制度。然而仅是虚名，究其实质，大致和旧的郡县乡亭无差别。如果轻易改变，恐怕产生遣憾。如今大的方面已定制，五等爵位可以等以后再裁定。凡事虽然有谋划越久越好的情况，如果一时有的不明白，也不能忽视。”皇帝认为荀勖的话对，多依从他的意见。

当时又讨论减州郡县半数吏人去从事农业，荀勖认为：省吏不如省官，省官不如省事，省事不如无为而治。过去萧何、曹参作漠丞相，无为而治，百姓歌唱他们的法度划一，这是清心的本。汉文帝无为而治，几乎使刑罚搁置不用，造就是省事。漠光武帝合并吏员，县官国邑减十分之一，逭就是省官。魏太和年间，派遣使臣去各地，削减天下吏员，正始年间也曾合并郡县，造就是省吏。如果一定要从本解决，就应该从省事开始。凡是居官位的人，务必效法萧何、曹参之所为，来辅佐国家。行仁义，重和睦，使贪忘本的人不被宽容，那么虚伪的行径自然止息，浮华的人到惧怕。重视恭敬谦让，崇尚知止知足，让贱不害贵，少不欺长，远不离亲，新不离旧，小不凌大，奢不失义，这就上下安心，远近信任。官位不能靠趋附得到，名誉不能靠朋党营求，这样就是非分明，任官不被视听所迷惑。废除歪门邪，压制异端邪说，对喜好改变现状从而求取不正常利益的人加以责罪，公务就会稳定，人心就会安定。拖延就会停滞，停滞就会荒废。居官的人孜孜不倦，有职的人昼夜不懈，那么虽然官位低微也能谨慎守职。使信义像金石一样固，小的失误不伤害大政，任劳任怨而宽容。简化公文案卷，省略细碎繁杂，发布的命令，一定要使人容易理解。盼望政令如盼，畏惧政令如避雷震。不要让隐微不明的文辞烦扰，被百官所轻慢，不要让反覆无常的政令，被百姓讨厌，这样官吏就十分尽忠，下级乐于接受上司的命令。设置官员划分职权，付事情责求完成。君争胜而不以势相争，据能力授官，思虑不超越权位，这样官吏就不本职以外的事，法典制度就不会败坏。上述都是我心中想到的省事之本。假如没有上面提到的，即使不减省官吏，天下也一定认为已减省了。如果想减省官吏，我认为九寺可以与尚书合并，兰台应减归于三府。然而已经施行了几代，被世人习惯，因此早有这个想法而不敢说。至于省事，实在是好事。假如仅仅制定大的条例，凡事都减省一半，恐怕文武百官郡国职事，以及事务的兴废。不能一概而论。凡发号施令，符合法度并且公允就安定，假如杂无章，会导致阻。凡职权内所的事，先审得失。让忠信之官，明察之长，各自裁决取其中，先分条上报。然后再综合意见，详细列应减省的事，那么命令一下必定执行，不能动摇。如果不这样，恐怕会迷惑人们的视听。考以前所减省的，都在短期内恢复，或许因而更繁杂，也不能不恢复。荀勖议论利弊大多属这一类。