唐朝时，江南地区是其重要的财富来源之地，安禄山意欲切断唐廷的经济命脉，在夺得洛阳之后，马上开始向江淮和江汉地区进兵，河南南部的官民同叛军展开了激烈的战斗，力阻叛军南下。
睢阳(今河南商丘南)是南北大运河的枢纽，是进入江淮的重要门户，安禄山占领洛阳不几日，就任命张通儒弟张通晤为睢阳太守，与陈留长史杨朝宗率数千胡骑向东攻城略地。不少郡县官吏望风而逃，只有东平郡太守嗣吴王李祗、济南太守李率起兵抵抗，其他各地的抵抗组织也打起吴王的旗号。单父(今山东单县)尉贾贲挺身而出，率吏民南击睢阳，杀了叛军太守张通晤，使东进的叛军胆战心惊。叛将李庭望受安禄山派遣，正准备东下攻略郡县，中途听到张通晤被杀十分震惊，吓得他连忙退兵，不敢出战。
至德元年(756)正月初一，安禄山暗中唆使洛阳耆老、僧道，搞了一场假劝进之后，遂粉墨登场，登上宝位，自称大燕皇帝，改元圣武，并任命达奚珣为侍中，张通儒为中书令，高尚、严庄为中书侍郎，组成了伪朝廷。
安禄山称帝之时，原济南太守李随进至睢阳。玄宗为了加强东南部的抗敌斗争，任命李随为河南节度使，前高要尉许远为睢阳太守兼防御使。濮阳客尚衡也自动组织起来，起兵讨伐安禄山，任命同郡人王栖曜为衙前总管，并攻破了济阴城(今山东定陶西),杀死了安禄山部将邢超然。
二月，玄宗又任命吴王李祗为灵昌太守，河南都知兵马使，在河南北部组织官民抗敌，与南部的李随呈掎角之势。这时，贾贲杀死了张通晤之后，进至雍丘(今河南杞县),拥有二千人马。
投降了安禄山的谯郡太守杨万石逼迫真源令张巡为本郡长史，命他西去迎接叛军。张巡到了真源，率吏民到玄元皇帝庙哭祭，决定起兵讨叛，吏民纷纷响应，很快达到数千人。张巡从其中精选了千余人，遂率领着这支队伍去雍丘与贾贲会师。
张巡从小博览群书，聪颖有才干，读书不过三遍即终身不忘。他善于写文章，从来不打草稿。而且又通晓兵法战阵，文武兼备。他认为雍丘虽小，但地处汴河要冲，是叛军南下江淮的必经之地，因此与贾贲会师后立即加强战备，准备阻击叛军。
不久，叛将令狐潮很快兵临城下。令狐潮原是雍丘令，毫无气节，叛军一到，即举全县之地拱手送与叛军，反过来又充当叛军爪牙，率叛军东击淮阳，俘虏了百余名官兵。他们拒不降敌，令狐潮将他们反绑起来，正要动刑处死，正巧叛将李庭望来到城下，在令狐潮出城会见叛将时，这些淮阳兵自解其缚，一哄而起，杀死了看守，关闭了城门，拒绝令狐潮入城。
正巧贾贲来到这里，即迎入城中主持军事。贾贲杀死令狐潮妻小，并枭首示众。吴王李祗闻知此事，承制拜贾贲为监察御史。令狐潮怨恨贾贲，遂领来叛军围攻雍丘。贾贲率兵出战，进城时不幸被踩死。张巡驰骑出城，与叛军决战，身受数伤，打退了叛军，间道向朝廷奏表，并报告了吴王李祗，吴王将兖州以东军事委托给张巡主持。
四月，令狐潮又与叛将李怀仙等率四万多叛兵再次兵临雍丘城下。城中只有二千多士兵，敌众我寡，相差十分悬殊，人们多惊恐不安，张巡却泰然自若，并胸有成竹地对诸将说：“贼知城中虚实，有轻我心，今出不意，可惊而溃也，乘之，势必折。”
于是，张巡分出一千人守城，把另一千人分成若干队，开门突出，他身先士卒，直冲敌阵。对这突如其来的冲击，叛军一时措手不及，立时溃退下来。
第二天，叛军以人多势众，开始攻城。他们以炮石轰城，城上楼堞皆被击毁。张巡立即让兵士于城上树起木栅，叛军像蚂蚁一样攀附木栅而上；张巡又命兵士捆上一束束蒿草，浇上油脂，点燃后投去，叛军不敢靠前。张巡有时乘敌人松弛之机，主动出战，打他个冷不防。就这样相持了六十多天，大小战斗有三百多次。
张巡仅率二千多名士卒，与二十倍于己的叛军巧妙周旋，他们几乎是穿着盔甲而食，和衣而睡，裹疮而战，最后终于迫使叛军丢下几千具尸体，败阵而归。在叛军撤退时，张巡又乘胜追击，险些活捉了令狐潮。
五月，接连败北的令狐潮再次率兵围攻雍丘。他感到只凭武力并不能使张巡屈服，便想利用与他的一面之交劝他投降。令狐潮一到城下，即甜言蜜语地劝他说：“唐廷垂危，王师不能出关，天下大势已去，足下羸兵守城，危若累卵，又忠无所立，何不随我以求富贵呢?”张巡听后轻蔑地笑了笑说：“古代臣为君死，在于义而不在于报答。你降敌连累了妻子，又借叛军之势而图富贵，我看你不久将人头高悬通衢，被后世唾骂嗤笑。”令狐潮本意来劝降，不料反被张巡奚落一通，羞愧交加，遂不战而退。
雍丘和朝廷的联系已中断很长时间了，张巡手下有六员大将对他说，我们势孤力单，难以抗敌，而且朝廷存亡不知，不如投降。这六人俱有开府、特进之类的高级爵位，张巡怕他们动摇军心，就假装同意了。第二天，他在堂上挂了天子画像，率军士“朝拜”,人人唏嘘不止。然后召来了六将，当众责备他们意志不坚，欲出降叛军，当场斩首示众，向大家表示了誓死不降的决心，兵士也同仇敌忾，决心同叛军血战到底。
张巡坚持已久，内无粮草，外无援兵，形势越来越恶化。这时，听说令狐潮押送的盐米船几百艘沿汴水经过这里，张巡乘夜在城南修筑壁垒，令狐潮率军来拒战，在双方打得难解难分时，张巡暗中派遣的勇士奇袭了船队，运走了盐米千余斛，不能运走的即放火烧掉。
城中箭射完了，张巡扎了一千多个草人，穿上黑衣，夜间用绳子吊到城下。黑夜里令狐潮难辨真假，以为官兵偷袭营垒，命军士用箭射敌，轻易地得到了数十万支敌箭。
后来，张巡又夜间缒下五百名敢死队，敌人又以为是草人，怕中计而一箭不发，又不设警备。令狐潮连做梦也不曾想到这次却弄假成真，五百名敢死队霎时冲进敌营，挥刀砍杀，叛军猝不及防，顿时军营大乱，四散溃逃，追杀了十余里才回城。
叛军又气又恼，把雍丘围得水泄不通。城内烧柴用尽，张巡欺骗令狐潮说，我欲引兵退去，请退兵二舍，给我让开出路。叛军不知是计，遂后撤几十里。张巡发动士卒把城四周房屋梁檩拆下，运回城中使用。令狐潮知道上当受骗十分恼火，再次发兵围城。
相持几日，张巡又对令狐潮说：“君须此城，归马三十匹，我得马即出奔，请君取城以借口。”令狐潮信以为真，如数送给他战马。张巡把三十匹战马分给骁将，并约定叛军一到各取一将。第二天，令狐潮见张巡迟迟不出城，责备他失信。张巡准备好出城，对他说：“吾欲去，将士不从，奈何?"令狐潮知又上当，大怒，欲与张巡决战，还未摆好阵势，三十骑突然冲出，当即擒获了十四名叛将，杀死一百多人，并缴获了不少牛马。张巡与令狐潮巧妙周旋，迫使他逃回陈留，不敢出战。
张巡只有两千兵士扼守睢阳郡雍丘县城，同数十倍于己的叛军斗勇斗智，如中流砥柱，阻止叛军不得越过睢阳南下江淮，使江淮地区免遭叛军**，保障了唐朝的江淮财富基地，对平定安史之乱有重大的意义。
河南南部的官兵也同叛军进行了艰苦斗争，阻止叛军南下江汉。至德元年(756)正月，玄宗设置了南阳节度使，由南阳太守鲁灵充任，统率岭南、黔中、襄阳子弟五万人屯兵叶县(今河南叶县)之北。鲁灵上表请薛愿任颍川太守兼防御使，庞坚为副使。四月，玄宗又任命左赞善大夫来琪为颍川太守，与南阳鲁灵呈犄角之势。
来琪为将门之子，其父来曜曾任安西四镇节度使，后为右领军大将军，威震西陲。来琪少年时颇涉书传，慷慨有大志，曾在四镇任职，有胆有识。他上任时，城中储粮很多，他又缮修守备，叛军每到城下他都亲自出战，以箭射敌，无不应声而倒。
叛军使降将毕思琛招降，毕思琛乃其父故将，于城下拜倒泣吊，来琪不应。前后杀死叛军将士多人，敌军都称他为“来嚼铁”。虽然叛军多次进攻，而颍川郡城始终巍然屹立，成为叛军无法逾越的钢铁长城。
驻守在叶县的南阳节度使鲁灵，在溃水之南树立木栅，还在四周挖了深沟。五月，安禄山命其将武令珣、毕思琛率军南下，进至叶县。官兵将士欲出战击敌，鲁灵不许。
叛军在军营西顺风烧火，滚滚浓烟立时充斥了军营，将士无处藏身，就横着门扇及木板争先出营，叛军箭如雨下，鲁灵与监军薛道挺身出走，退守南阳(今河南南阳),其余将士皆陷于敌军之中。
这时，岭南节度使何履光，黔中节度使赵国珍、襄阳太守徐浩还没赶到，只有各镇裨将及岭南、黔中、荆襄子弟一半在军中，他们多怀揣金宝作为资粮，在溃逃时，军资器械金宝都扔在途中，俯仰即是，也都落入叛军之手。
鲁灵在叶县战败后退到南阳，叛军接着追至，很快把南阳包围起来。在这危急关头，经太常卿张增推荐，玄宗新任命有勇有谋的夷陵太守虢王李巨为陈留、谯郡太守、河南节度使，兼统岭南节度使何履光、黔中节度赵国珍、南阳节度使鲁炅。虢王李巨奉命从兰田出发，直奔南阳。叛军听说来了救兵，遂解围而去。
官军扼守南阳同固守雍丘、睢阳有着同样的意义。洛阳失守，江淮财富只能改由南道汉水北入关中，南阳是保证汉水漕运的屏障。阻止叛军南下江汉，对于保证唐王廷的财富来源也是至关重要的。