建安十四年(209),曹操返回故乡谯县度假，重新思考今后的整体战略。临行时，他嘱咐荀攸及程昱、于禁等智慧型将领，加强水军编组和集训。他认为赤壁之战主要败因在于北方军不习水战，这一次指示强化水军的作战，大有卷土重来、报仇雪耻之意。
赤壁之战后，孙权和刘备军声势暴涨。周瑜军团镇守江陵，程普军则在江夏布局，吕蒙军驻屯江阳，整个长江流域附近的荆州，一直延伸到下游的扬州广大地区，已客观上完全纳入孙权的势力范围。另一方面，刘备也在赤壁之战后乘机攻占长江以南的荆州地区，并在刘琦去世后，由孙权推荐出任荆州牧，在长江南岸的公安设立指挥中心。
曹操看在眼里，心里不是味道，但北方水军训练未成，关中地区和北方诸郡形势未定，也不宜发动大规模战争。但为了鼓舞士气，曹操亲率水军南下，由涡水转淮水，进入泥水的沿岸合肥布阵。孙权见曹操亲自南下，而江陵的周瑜又病情严重，乃亲自率大军到合肥附近布防。曹操见孙权态度坚决，不愿交战，在视察前线东吴军的布局后，便率军返回北方训练基地了。
建安十五年(210),虽然没有大规模的军事行动，但双方进入冷战，南北形势仍然非常紧张。尤其在第一线直接和曹军对峙的周瑜江陵军，更是丝毫不得松懈。不幸的是，这年春天在江陵之役受重伤的周瑜，病势恶化后去世，遗言推荐鲁肃接任江陵军主帅，并兼东吴西军总指挥。
周瑜死后，南军士气遭到空前的打击。幸好继任的鲁肃气度恢宏，老成持重。他是当代名将中少数具有远见及政治头脑的军事家，因此他决定再度联合刘备，共同对抗曹军的冷战威胁。
在他的斡旋下，孙权特将荆州以北三郡(包括江陵)全借给刘备，并由刘备军分担西方前线的防备。曹操虽派人数度南下视察，但在审慎评估下，认为无机可乘，短期内绝对无法破孙刘联军，乃决定暂时放弃南下统一中国的努力，全力转向北方和关中地区的经营。
建安十六年(211)春，曹操以世子曹丕为五官中郎将，并授任副丞相。
此时并州太原人商曜占据太原造反，曹操派遣他一向非常喜爱的猛将夏侯渊为主将，并以对并州较熟悉的徐晃军配合，渡河平乱。夏侯渊勇猛忠诚，又富行动干才，在曹操有意培植下，指挥作战的能力更超过其兄夏侯惇。
叛乱平息后，曹操下令这两个军团驻守汾阳城，以着手西方地区——特别是关中——的经营，这支军团后来很自然的成为西征关中的先遣部队。三月，曹操下令司隶校尉钟繇出兵征讨汉中的张鲁，并要求夏侯渊也带军进入关中，和钟繇会师。参谋高柔认为大军既已深入关中，应严防关中诸将叛变，曹操笑而不语。
果然关中诸将，以马腾之子马超及韩遂为首，联合杨秋、李堪、成宜、侯迁、程银、张横、梁兴、马沅等大小军反叛，集结十万兵马，在潼关建立总指挥部。
曹操下令曹洪代替曹仁驻守襄阳，授曹仁为安西将军，进驻潼关附近对峙，并将夏侯渊、徐晃、钟繇军团归属曹仁指挥，或令坚壁清野，不得出战。
秋七月，曹操在邺城召集军事会议，留曹丕守邺城，井指派经验丰富的智将程昱为参谋，配合荀攸驻屯冀州。自己准备亲率大军西征。
军事会议中，不少人表示： “关中军骁勇善战，尤其擅长使用长矛，我方的前锋军需特别精选，否则恐难抵挡。”
曹操却轻松地表示： “这次战争，主控权将在我们，我会使敌军完全陷入被动，就算他们有长矛也刺不到我们。”
诸将半信半疑，也不知曹操又有什么“怪招”了。
曹操的征西军编组并不大，显然他仍打算以在前线的曹仁及夏侯渊军为作
战主力；第三批军力方面只有张郃及乐进两个作战军及许褚率领的亲卫部队；总参谋却是赤壁之战前和曹操意见相反而被留置江陵的贾诩，显然曹操对他仍保有完全的信任。
八月，曹操的军队抵达潼关，双方积极备战，但谁也不愿主动出击。
闰八月，曹操不顾贾诩反对，首先发动总攻击，但马超闭关坚守，曹军毫无成效，士气严重受损。
徐晃在考察敌方布局后，秘密晋见曹操说： “目前敌我对方都集结在潼关，进入山西境界的蒲阪津渡口竟无人防守，显示敌将对整个战局未作深远策划，请由末将率领一支精兵渡过蒲阪津，抢攻入敌军后方，必可击溃敌军。”
曹操深为赞同，立刻批准此一偷袭计划。由徐晃配合朱灵率一支步骑混合军四千人，趁夜色偷偷地渡过蒲阪津，进入太原郡，随即西渡黄河，到达河西地区布防。徐晃军行动火速，很快在当地构筑防御工事。等马超发现时，曹军已由东西包围关中军集结在潼关的部队了。为减轻压力，马超下令梁兴率五千兵马，攻打徐晃军，但反被徐晃打得落荒而逃，马超只好全力坚守潼关进入关中的通道。
眼见徐晃的偷袭成功，曹操突发奇想，准备也顺着蒲阪津，由渭水北岸进入关中，直接攻打马超的后方。他下令曹仁军团由东方监视关中军举动，自己在闰八月初，率军由潼关北渡黄河，打算和徐晃军会合，直接由西北方攻入关中。张郃和乐进军先行，曹操和许褚的近卫军断后。想不到马超的探马，探得曹军北移的军情，马超当机立断，亲率轻骑兵万余名，也不管曹仁军可能的夹击，以疾如风之势扑向蒲阪津。
护卫的近卫军一下便被冲散，仅余虎士百余人死守曹操大本营。马超下令以箭雨攻击曹营，情况危急。渡河中的张郃闻讯，将部队交由乐进带领，自己和少数近卫急忙返回南岸，会同许褚的虎士保护曹操进入渡口。张郃的校尉丁斐情急智生，将殿后的物资队牛马驱散，以阻断追兵。许褚亲扶曹操上船，马超的骑兵顺着河岸，以箭雨攻击曹操坐船，船工中箭纷纷落河。许褚右手操桨，左手举马鞍护卫曹操，直驶向河中，逐渐甩开马超的箭雨攻击。
张郃率领少数部队在南岸死战，使马超的骑兵队无法接近渡口，曹操船队顺利进入安全地区，才逐步向北岸撤退。对岸的乐进跟着曹操犹未渡河，不禁心惊胆战，恐有不测。等到曹操安然抵达对岸，有不少将领纷纷喜极而泣，曹操反而笑着安慰说：“太大意了，差点就被小贼们逮到了呢!”