族迁到冀州。此时袁绍已夺了韩馥的官位，以上宾之礼待荀彧，荀彧的弟弟荀谌及同郡人辛评、郭图，都得到袁绍任用。荀彧预料袁绍最终不会成就大业。当时魏太祖任奋武将军，驻在东郡。

初平二年(191)，荀彧离开袁绍而随太祖。太祖很兴，说：“你是我的张良啊！”任他为司，这时荀彧才二十九岁。

当时董卓以其权势威慑天下，太祖以此事询问荀彧，荀彧说：“董卓肆意暴，必将以亡告终，不会有什么作为。”董卓派李莈等关东，所到之大肆掳掠，直到颍川、陈留才返回。荀彧家乡留下来的大多遭到杀掠。第二年，太祖兼任兖州牧，后又任镇东将军，荀彧常作司跟随。

兴平元年(194)，太祖征讨陶谦，任命荀彧主持留守事宜。适逢张邈、陈在兖州反叛，暗中迎奉吕布。吕布到后，张邈就派刘翊告诉荀彧说：“吕将军来帮助曹使君攻打陶谦，应赶快供他军粮。”众人将信将疑。荀彧知张邈已经反叛，当即整肃军队，设置防务，速召东郡太守夏侯惇，而兖州各县已纷纷响应吕布了。其时太祖全军围攻陶谦，留守兵力少，而将领们多与张邈、陈通谋。夏侯。。来到，当夜杀了谋反者几十人，将士们这才平定下来。豫州刺史郭贡率兵数万来到城下，有人说他与吕布是同谋，大家都很害怕。郭贡求见荀彧，荀彧准备前往。夏侯惇等人说：“您是一州的镇守者，前去必定危险，不能去！”荀彧说：“郭贡与张邈等人，本不是平素就有勾结，现在他来得很急，准是主意还没打定。趁他未定去说服他，即使不能为我所用，也可让他保持中立；如果先猜疑他，他将会被激怒而与张邈合谋。”郭贡看到荀彧毫无惧意，认为鄄城不易攻下，因此领兵离去。荀彧又与程昱计议，让他去说服范和东阿二县，最终保全了三座城，以等待太祖。太祖从徐州回师，在濮击败了吕布，吕布向东逃去。

兴平二年(195)夏天，太祖驻军乘氏县，发生饥荒，竟现了人吃人的事。这时陶谦已死，太祖想趁机夺取徐州，回师再平定吕布。荀彧说：“先代汉祖保守关东，光武帝占据河内，都是先巩固基地以控制天下，这样可以制胜，退可以固守，所以虽有困难曲折却终于完成大业。将军本来是凭兖州起事，平定山东祸，百姓无不心悦诚服。况且兖州跨黄河、济，是天下要冲，现虽残破，但还容易自保，此地就是将军您的关中、河内，不得不先稳定它。现在已击溃了李封、薛兰，如果分兵东击陈，陈必定不敢西顾，我们趁机组织队伍收割麦，节约粮，储备谷，可以一举打垮吕布。然后向南联合扬州的刘繇，共讨袁术，以控制淮、泗一带。如果舍弃吕布不打而东攻徐州，多留守兵则攻城不够，少留守兵就会征百姓也来守城，不能打柴拾草。吕布乘机侵扰杀掠，民心将更恐惧，只有鄄城、范、卫三可以保全，其余的地方都不为我们所有，这样就等于失去了兖州。要是徐州攻不下，将军将安于何？何况陶谦虽死，徐州也不易攻破。徐州已鉴于往年的失败，将会因畏惧而密联合，内外相应。现东方都已收麦，必会清野以防将军；将军久攻不下，抢掠又无收获，不十天，十万人尚未开战自己先已困乏了。上次讨伐徐州，实行了以暴力相惩罚，徐州弟想到父兄被杀的耻辱，必定会誓死奋战，没有投降之心，即使能攻下徐州，还是不能占有它。

天下确实有舍这取那的事，以大换小，是可以的，以平安换危险，是可以的；权衡一时的形势，不顾忌基不稳固，也是可以的。现今三者无一有利，希望将军对这情况细细权衡。”太祖这才打消了攻徐州的念，大力收割麦，再次与吕布战，分兵平定各县。吕布败走，兖州因此而平定。

建安元年(196)，太祖击败黄巾军。汉献帝从黄河以东返回洛。太祖想迎献帝迁都许县，有人认为山东尚未平定，韩暹、杨奉新近迎天到洛，北面联合张杨，尚不能即刻控制他们。荀彧劝太祖说：“从前晋文公迎周襄王返回而诸侯服从，汉祖东征项羽，为义帝穿素服发丧而天下归心。自从天蒙，将军您首先倡导义兵勤王，只是因为山东地区纷扰战，还不能远赴关右，但还是分派将领，冒险与朝廷通使节，虽挽救国难于朝廷之外，而心无时不系于王室，这是将军诚扶天下的一贯志向。现今天已返回京城，而洛又狼藉不堪，一片荒芜，义士有保朝廷的想法，百姓念旧主而更增哀伤，如能趁此机会，拥天以顺从民心，这是大顺；秉持大公无私之心以使天下豪杰归服，这是大略；主持正义以纳英才俊杰，这是大德。这样，天下虽有人叛逆，必定不会成为我们的忧患，这是很清楚的。韩暹、杨奉岂敢为害？如不及时扶正朝廷，天下将生叛离之心，以后即使考虑此事，也来不及了。”于是太祖到了洛，迎接天迁都许昌。天任命太祖为大将军，提升荀彧为汉侍中，代理尚书令。经常居于朝中理朝政，太祖虽征战在外，军国大事都要与荀彧筹划。太祖问荀彧：“谁能替代您为我谋划策？”荀彧说：“荀攸、钟繇。”原先，荀彧谈到谋划策之士，曾举荐了戏志才。志才死后，又推荐了郭嘉。太祖认为荀彧知人善任，他所推荐的人大多是称职的，只有严象为扬州刺史，韦康为凉州刺史，后来兵败亡。