荀彧家乡留下来的大多遭到杀掠。第二年，太祖兼任兖州牧，后又任镇东将军，荀彧常作司马跟随。兴平元年(194)，太祖征讨陶谦，任命荀彧主持留守事宜。适逢张邈、陈宫在兖州反叛，暗中迎奉吕布。吕布到后，张邈就派刘翊告诉荀彧说：“吕将军来帮助曹使君攻打陶谦，应赶快供他军粮。”众人将信将疑。荀彧知道张邈已经反叛，当即整肃军队，设置防务，速召东郡太守夏侯惇，而兖州各县已纷纷响应吕布了。
其时太祖全军围攻陶谦，留守兵力少，而将领们多与张邈、陈宫通谋。夏侯..来到，当夜杀了谋反者几十人，将士们这才平定下来。豫州刺史郭贡率兵数万来到城下，有人说他与吕布是同谋，大家都很害怕。郭贡求见荀彧，荀彧准备前往。夏侯惇等人说：“您是一州的镇守者，前去必定危险，不能去！”荀彧说：“郭贡与张邈等人，本不是平素就有勾结，现在他来得很急，准是主意还没打定。
趁他未定去说服他，即使不能为我所用，也可让他保持中立；如果先猜疑他，他将会被激怒而与张邈合谋。”郭贡看到荀彧毫无惧意，认为鄄城不易攻下，因此领兵离去。荀彧又与程昱计议，让他去说服范和东阿二县，最终保全了三座城，以等待太祖。太祖从徐州回师，在濮阳击败了吕布，吕布向东逃去。兴平二年(195)夏天，太祖驻军乘氏县，发生饥荒，竟出现了人吃人的事。
这时陶谦已死，太祖想趁机夺取徐州，回师再平定吕布。荀彧说：“先代汉高祖保守关东，光武帝占据河内，都是先巩固基地以控制天下，这样进可以制胜，退可以固守，所以虽有困难曲折却终于完成大业。将军本来是凭兖州起事，平定山东祸乱，百姓无不心悦诚服。况且兖州跨黄河、济水，是天下要冲，现虽残破，但还容易自保，此地就是将军您的关中、河内，不得不先稳定它。
现在已击溃了李封、薛兰，如果分兵东击陈宫，陈宫必定不敢西顾，我们趁机组织队伍收割麦子，节约粮食，储备谷物，可以一举打垮吕布。然后向南联合扬州的刘繇，共讨袁术，以控制淮水、泗水一带。如果舍弃吕布不打而东攻徐州，多留守兵则攻城不够，少留守兵就会征百姓也来守城，不能打柴拾草。吕布乘机侵扰杀掠，民心将更恐惧，只有鄄城、范、卫三处可以保全，其余的地方都不为我们所有，这样就等于失去了兖州。
要是徐州攻不下，将军将安身于何处？何况陶谦虽死，徐州也不易攻破。徐州已鉴于往年的失败，将会因畏惧而紧密联合，内外相应。现东方都已收麦，必会坚壁清野以防将军；将军久攻不下，抢掠又无收获，不出十天，十万人马尚未开战自己先已困乏了。上次讨伐徐州，实行了以暴力相惩罚，徐州子弟想到父兄被杀的耻辱，必定会誓死奋战，没有投降之心，即使能攻下徐州，还是不能占有它。
天下确实有舍这取那的事，以大换小，是可以的，以平安换危险，是可以的；权衡一时的形势，不顾忌根基不稳固，也是可以的。现今三者无一有利，希望将军对这种情况细细权衡。”太祖这才打消了攻徐州的念头，大力收割麦子，再次与吕布交战，分兵平定各县。吕布败走，兖州因此而平定。建安元年(196)，太祖击败黄巾军。汉献帝从黄河以东返回洛阳。
太祖想迎献帝迁都许县，有人认为山东尚未平定，韩暹、杨奉新近迎天子到洛阳，北面联合张杨，尚不能即刻控制他们。荀彧劝太祖说：“从前晋文公迎周襄王返回而诸侯服从，汉高祖东征项羽，为义帝穿素服发丧而天下归心。自从天子蒙乱，将军您首先倡导义兵勤王，只是因为山东地区纷扰战乱，还不能远赴关右，但还是分派将领，冒险与朝廷通使节，虽挽救国难于朝廷之外，而心无时不系于王室，这是将军诚扶天下的一贯志向。
现今天子已返回京城，而洛阳又狼藉不堪，一片荒芜，义士有保朝廷的想法，百姓感念旧主而更增哀伤，如能趁此机会，拥戴天子以顺从民心，这是大顺；秉持大公无私之心以使天下豪杰归服，这是大略；主持正义以纳英才俊杰，这是大德。这样，天下虽有人叛逆，必定不会成为我们的忧患，这是很清楚的。韩暹、杨奉岂敢为害？如不及时扶正朝廷，天下将生叛离之心，以后即使考虑此事，也来不及了。
”于是太祖到了洛阳，迎接天子迁都许昌。天子任命太祖为大将军，提升荀彧为汉侍中，代理尚书令。经常居于朝中理朝政，太祖虽征战在外，军国大事都要与荀彧筹划。太祖问荀彧：“谁能替代您为我出谋划策？”荀彧说：“荀攸、钟繇。”原先，荀彧谈到出谋划策之士，曾举荐了戏志才。志才死后，又推荐了郭嘉。太祖认为荀彧知人善任，他所推荐的人大多是称职的，只有严象为扬州刺史，韦康为凉州刺史，后来兵败身亡。
