下，就让荀伯玉占卜。荀伯玉说不能成行，而帝终于恢复了本来的职务。由此他很受亲待。帝原来有个旧吏东莞人竺景秀曾因过错被囚禁在作，帝对荀伯玉说：“您近来看过竺景秀没有？”回答说：“多次前去看他，对他备加责斥，他说‘如果允许我自新，一定要吞刀刮，饮灰洗胃’。”帝很满意他的答话，便把竺景秀放了，后来终于成为忠信之士。

后来他跟随帝回京，被任命为奉朝请。帝让他主持家事。武帝免去了广兴的职务回京，建了一座别宅，派人从大宅中去掘几棵树，荀伯玉不给，驰报告了帝。帝很称赞他。

帝了南兖州刺史，荀伯玉随从转为镇军中兵参军，兼广陵令。起初，帝在淮，荀伯玉请假回到广陵，梦中登上了广陵城的南楼，上面有两个青衣小童告诉荀伯玉说：“草中肃，九五相追逐。”荀伯玉看城下人都有草。泰始七年(471)，又梦见帝乘船在广陵北面的小洲，两腋下面有翅膀而不能舒展。荀伯玉问怎么才能舒展，帝说：“推后三年。”荀伯玉在梦中自称是咒师，共六次唾咒他，有六条龙来，两腋下的翅膀都舒展开了，又都合上。元徽二年(474)，帝攻破了桂，威名大震，五年而废掉了苍梧王，他对荀伯玉说：“您的梦现在就要生效了。”

升明初年，他仍然担任帝的骠骑中兵参军，兼济太守。霸业建立以后，荀伯玉忠诚尽心，常常在边警卫，加任他为前将军，大受信任。齐朝建元元年(479)，被封为南丰县，担任豫章王司空咨议，太守职务依旧。

当时武帝在东，自以为年长，与帝同创大业，朝廷的事情不论大小，全专断，有很多都违背制度。边人张景真被他偏狭地信任，又非常奢侈。武帝拜陵回来，张景真穿着白衣服乘坐着彩绘的小舟，坐在胡床上。观看的人都怀疑是太，内外都很害怕，没有人敢说话。骁骑将军陈胤叔事先已经陈述了张景真和太前后的得失，荀伯玉趁着武帝拜陵之后，秘密启奏，皇上大怒。豫章王萧嶷平素就受到幸，正因为武帝是长嫡，又南郡王兄弟并列，所以以武帝为太，到现在有了改换的意思。武帝东还，派文惠太、闻喜公萧良宣读敕令行诘责，并且把张景真的罪状给他看，让他用太的命令把张景真抓起来杀掉。陈胤叔于是告诉武帝，都说是荀伯玉告诉皇上的。武帝担忧恐惧，称病一月有余。皇上的怒气不消，白天躺在太殿，王敬则直接叩，启请前往东以安太。帝没有说话，王敬则于是大声宣读圣旨前往东，命令人们行装束。又敕令太官设下肴馔，秘密派人报告了武帝，让他奉迎。于是呼左右的人找好车，帝一也没有行动的意思。王敬则找衣服让帝穿上，便拉着他坐上车。于是便去了东，召见诸王宴饮，接着游了玄圃园。长沙王萧晃抓住了华盖，临川王萧映手拿着雉尾扇，闻喜公萧良拿着酒枪，南郡王行酒，武帝与豫章王萧嶷以及王敬则自己捧着肴馔。帝大饮一通，赐给武帝以下的人喝酒，都大醉尽，傍晚才离开。这天如果没有王敬则，则东差不多就要被废除了。

帝很看重荀伯玉的尽心，越发受到信任，让他掌军国秘密大事，权力超过了朝中大员。每次暂时休假，车盈门。他曾经遭到母亲的丧事，穿上丧服的那天，左率萧景先、侍中王晏同车前往吊唁。五更的时候便乘上了有车衣遮盖的巾车，离荀伯玉的宅院还有大约二里地，王侯朝士已经站满了巷，到了打鼓结束的时候还没有走到跟前，司徒褚彦回、卫军王俭都从后方陆续走到了前面，又倚在厅堂里呆了好久。中下诏派中书舍人徐希秀断哭止客，过了好久才得以吊唁。等来以后，二人又饥又乏，气息细弱，切齿愤恨于外表。第二天，便说：“我们所见的二门和斋门跟荀伯玉家相比，正可以张罗捕雀。”接着又说：“外面议论说，千敕万令，不如荀公一命。”

武帝怨恨荀伯玉，帝临死的时候，指着荀伯玉嘱托给武帝。武帝即位，荀伯玉担心害怕。皇上听说了，因为他和垣崇祖要好，垣崇祖的田业在江西，担心他们互相煽动作，加意抚他们，荀伯玉才安心了。永明元年(483)他与垣崇祖一齐受到诬告而被死，而陈胤叔为太左率。吕文显慨叹说：“荀伯玉能为太祖谋划而不能自谋，难不是天意么！”