时曹操从宛城下令紧急撤退到舞阴城，各部队分道行动。夏侯惇率领的青州军，军纪一向松散，便乘机下乡打劫民家。平虏校尉于禁带本部兵马紧急撤退时，得到这个消息，立刻下令前往围剿，安抚乡民。青州军缺乏组织，溃散后拼命逃回曹操的大本营，并控告于禁造反，屠杀自己阵营的人马。曹操未明就里，乃下令先到达的李典、乐进、曹洪的部队整编，以备紧急应变，一方面派出细作，探询于禁军动向。
于禁部队到达舞阴城时，张绣的追军已相当接近，于禁下令先布阵，并进行防御工事，有人告诉他，青州兵已在曹操面前告他叛乱，不赶快面见曹操以辩是非，却在此建筑防御工事，岂不再引起曹操疑心。
于禁正色表示： “如今敌人就在后头，随时会到，不赶快建构防御工事，如何抵抗敌人?分辩事小，拒敌事大，何况曹公聪明，是非曲直，自会察明。”
果然，部署刚完成，张绣追军已到，于禁一马当先奋力抵挡，曹操军乘机由舞阴城杀出，大败张绣军。事后曹操召见于禁，问明原因后，曹操非常高兴地表示： “这次战役，我们输得相当凄惨，将军在一片纷乱之中，尚能严整军纪，讨伐暴兵，匆忙之间，又能整兵坚垒，任谤任怨，让我们得以反败为胜，虽古代名将，也不一定能做得到。”
除了在众将之前褒奖一番，并赐予金器一副，封于禁益寿亭侯。
曹操退回许都时，连南阳、章陵诸县也都倒向张绣阵营，曹操几乎完全丧失对豫州的统治权。虽然其间曹洪曾不断向张绣军进行突击战，但成效不大。由于粮草供应困难，曹操下令东撤到邺城，张绣也经常派军队威胁并骚扰邺城的守军。
建安二年(197)十二月，曹操再度西征。这时候张绣的大本营仍然设在宛城，其前锋部队则部署在东北八十里处的舞阴城，张绣的盟军荆州牧刘表则派遣支援军，部署在宛城东南约九十里处的湖阳城，互为掎角，阻止曹军向豫州西半部入侵。
曹操这次不再急着占领豫州，他采取中长期策略，着重在豫州东半部的稳定经营。他派遣压倒性的大军，阻挡在宛城大门口，让张绣根本出不来，并且完全遮断舞阴城及湖阳城的联系。舞阴城离兖州较近，取之较易，因此曹操根本不予理会，而直接派曹仁率军攻打湖阳。
舞阴城的张绣前锋军，本来以为会最早受到攻击，因此他们做的是完整的防御工程，想不到曹操军居然理都不理，舞阴城反而“东线无战事”;尤其与宛城间的联系被切断后，舞阴城的守军完全失去了主见，进也不是，退也不是。相反，湖阳城的荆州军本来是来看热闹的，没想到却首先挨打，因此在准备不够的情况下不得不弃城撤入荆州。
曹仁军队在攻下湖阳城后，立刻回师攻打舞阴；舞阴城的军队原本不多，眼见宛城及湖阳已不可能驰援，不久便弃械投降了。
前后不到一个月，曹操军已收复消水以东的豫州领地，又回复到一年前的局面了。
由于宛城守备严密，加以年节即到，天气又日渐寒冷，不利用兵。曹操乃下令由曹洪率兵守住清水以东，其余班师返回许都。
建安三年(198)三月，曹操再度亲临淆水东岸。
这次曹操仍留下荀或及程昱这对最佳拍档驻守许都，自己带领荀攸、郭嘉、曹仁、曹洪、于禁、吕虔、许褚等人浩浩****地出发。一路上，麦田已成熟，因听到军队路过，居民吓得四处逃散，没有人敢留下来。
曹操有感于汉末以来战祸连连，军纪太坏，平民受苦最烈，听说有军队到来，无不谈虎色变，逃之夭夭，因此，向各军团及区域守军下达指令：
“我去奏请天子明昭(建安三年，曹操已拥立汉献帝于许都),出兵讨伐叛逆，与民除害。方今麦熟之时，不得已而起兵，大小将校，凡过麦田，但有践踏者，并皆斩首，军法甚严，尔民勿得惊疑。”
官兵闻知，经过麦田时，无不小心翼翼，皆下马以手扶麦，递相传送而过。偏偏只有下命令的曹操，不料马到之处，麦田里突然飞出一只鸠鸟，曹操的坐骑吓了一跳，窜入麦田中，践坏一大片麦子。曹操紧急之下，脑筋一动，立刻找主簿议处。
主簿很为难地表示： “军令怎可用在丞相身上呢?”
“我自己下的命令，怎可先不遵守，这样如何让别人心服呢?”曹操说完，便装出一副准备自杀的模样。
郭嘉看出曹操的心意，立刻阻住，并表示说： “古者春秋之义，法不加于尊，丞相统领大军，怎可自戕?”
曹操想了很久，面带严肃的说： “既然春秋有法，不加于尊，我姑且暂免死刑，但仍以头发代替之。”
说完，拔剑割下发椎，交给主簿，并传送各军营示众：“丞相践麦，本当斩首号令，今割发以代。”
于是全军惊讶，没有人再敢轻忽军令，纪律大整。
曹操大军到达淆水河畔时，张绣以宛城过于突出，不利全线防御，乃战略性地将军队撤守到西南八十里的辕城。这一下，曹操必须连渡过淆水及湍水，才能攻击到穰城，补给线方面增加了不少困难。
这次曹操在荀攸建议下，仍然采用中长期策略，他下令隔着湍水，在穰城的正对岸建筑一座城池，用以长期包围并攻打张绣军队。依荀攸的看法，张绣的军粮全部仰赖刘表，这是不符合刘表一向保守的战略，只要坚持对峙的作战方法，刘表势必无法忍受张绣军的长期浪费，他们之间注定要散伙；如逼得太急，反而会使刘表基于同盟之谊而加入战局。
但曹操实在无法忍受张绣军的耀武扬威，于是派许褚率精锐部队猛攻穰城，使张绣军遭到严重损失。五月初，刘表果然率军来救张绣，穰城对岸的曹军主力反而腹背受敌，曹操才后悔不听荀攸的建议。由于粮草供应困难，曹操决定速战速决，他大胆地选择湍水和湟水汇合处、地势较缓和而且有宽度的安众坡做会战场所。为了诱敌，曹操下令放弃城池，向西北撤军到安众坡。张绣及刘表看到曹操弃城，以为曹军畏惧，便一路追赶。张绣先率军渡湍河，挡住曹军退路，刘表则由西南方向对曹军施压，表面看来，曹军已被逼入死地。
曹操将计就计，置之死地而后生，他故意拖延撤退速度，让张刘联军先占据湛水渡口。其实曹操早下令全军沿着山坡挖掘地道，让辎重先行通过，并将军队埋伏在山棱线的另一边，使张刘军以为曹军已由地道向东南撤离。
果然，天明之际，张绣及刘表各自发现曹操的本阵已成空营，以为曹操连夜逃走，又看到地道上有辎重车痕迹，更确信自己的判断。未加详细的勘察，张刘联军乃顺着地道，全军快速地追赶曹操。
想不到军队刚出发不久，右侧山坡高处突然出现大量曹军骑兵，向张刘军左翼猛攻，当张绣将军队调整到右侧时，地道尽头又出现曹操大量步兵，迅速冲入张刘联军右翼。连续的意外攻击，加上曹操居高临下运用他最擅长的步骑混合战，一下便将张绣及刘表的主力部队打得大败，不得不退回穰城。虽依赖贾诩在穰城仍部署坚固防御工事，曹操的追击部队无法作有效的攻击，但张刘联军主力严重受创，已没有力量再向曹军作任何攻击了。
双方僵持到当年七月，曹操以农期已到，便下令主力部队撤回兖州，这次西征，仍无法击垮张绣。
建安四年(199)的十一月初，曹操和袁绍间决定天下大势的“官渡大战”即将展开。贾诩便力劝张绣投靠力量较弱的曹操，如此曹操必会较珍惜张绣的友情。
张绣认为刘表虽未出兵，但明显倾向于袁绍，而且自己又杀害了曹操的儿子、侄子及爱将典韦，彼此结怨太深，曹操可能不会接受自己的投诚。所幸贾诩坚持居中调和，曹操终于不念旧恨，坦然接受张绣的归降。
张绣日后在曹操讨灭袁氏的集团的战役中，做了很大的贡献，终张绣一生，曹操也一直厚待有加。张绣军团的加盟，使曹操阵营的作战力增加不少，日后曹操能轻易地顺利讨平荆州，张绣替他进行的情报搜集工作帮助最大。特别是得到了绝世智囊贾诩，更使曹操大为庆幸。