帝斥退他。文帝不采纳,而让荀勖陪乘,待他如同先前一样。这以前,荀勖陈述“讨伐蜀,应任命卫璇为监军”等到蜀地战乱,全靠卫璇维持。钟会之乱被平定,回洛阳,舆裴秀、羊枯共同掌管机要部门。
当时将派使者去吴国访问,并且让当时的文人给孙皓文书,文帝选用荀勖写的文书。孙皓答覆同意和亲,文帝对荀勖说:“你以前写的文书,使吴国心想归顺,胜过十万军队。”文帝登上晋王位,任命荀勖为侍中,封为安阳子,食邑一千户。武帝接受禅让,改封济北郡公。荀勖因为羊祜谦让,坚决推辞而为侯。官拜中书监,加侍中,兼管著作,与贾充共同制定律令。
贾充将去镇守关右,荀勖对冯鱿说:“买公被派往远处,我们这些人失去势力。太子婚事还没定,如果使买充的女儿作太妃,那么贾充不用挽留而自己就走不成了。”荀勖与冯鱿趁皇帝有空时都说“买充的女儿才能容貌举世无双,如果娶到东宫,必定能辅佐太子,有《关雎》中后妃的德行”于是成婚。当时很是被正直的人厌恶,而被讥讽为谄媚。很久之后,升为光禄大夫。
掌管礼乐之事后,又修定乐律,都在世上流行。当初,苟勖在路上听见赵商人的牛铃。记住了声音。等到掌管礼乐,音韵未和谐,就说:“得到赵的牛铃就和谐了。”于是下令各郡国,都送牛铃,音乐果然和谐了。又曾在皇帝座前吃饭,对在座的人说:“这饭菜是用车脚烧成的。”都不信他的话。皇帝派人间厨师,回答说:“确实用的是旧车脚。”大家都佩服他的明识。
不久兼任秘书监,与中书令张华依照刘向《别绿》,整理簿记典籍。又设置书博士,安排弟子教授学习,效法钟繇、胡昭。
咸宁初年,与石苞等人一同因为是辅佐功臣,在刻石配飨之列。王浚上表请求伐吴时,荀勖与贾充坚决劝谏反对,皇帝不听从,而吴国果然被减。因为荀勖专管诏书,论功封一个儿子为亭侯,食邑一千户,赐绢一千匹。又封孙子荀显为颖阳亭侯。
得到汲郡墓中古文竹书后,下诏荀勖撰编,作为《中经》,列入宫内藏书。
当时讨论派遣王公去封国,皇帝问荀勖,荀勖回答说:“各位王公已是都督,而让他们去封国,就废弃了地方长官之职。再说分割郡县,人心依恋原状,必定会发出不满之声。封国都设置军队,还要提供官兵给封国,而使边防守备受到损害。”皇帝让荀勖重新考虑此事,荀勖又陈书说:“诏令探究古代诸侯挑选人才,使军队封国各随所在地为都督,那的确如同圣明的诏书所言。至于分割封疆,使亲疏关系在封地上有所区别,也的确是好事。然而分裂旧有的郡县,仍怕产生不安定,必定使人心慌乱,我的看法还如同先前。假如根据实际不得不随时有所转封,而不至于分割地域,。有所变动的话,可以按时调度。按五等爵位封国,其实不成制度。然而仅是虚名,究其实质,大致和旧的郡县乡亭无差别。如果轻易改变,恐怕产生遣憾。如今大的方面已定制,五等爵位可以等以后再裁定。凡事虽然有谋划越久越好的情况,如果一时有的不明白,也不能忽视。”皇帝认为荀勖的话对,多依从他的意见。