张巡心生一计，便上城与令狐潮答话，要求令狐潮后退两舍（一舍为30里），张巡可撤兵让城，令狐潮不知是计，就答应了。令狐潮退兵后，张巡带城中军民拆毁叛军帐篷房舍，将其遗留的物品、补充物质收拾干净，并将木料砖石运往城内。令狐潮转来，指责张巡言而无信，张巡则答说，不是言而无信，而是被困日久，不少伤病无法走动，需要30匹马运送，若先送来就撤走。
令狐潮急于得到城池，就答应了。张巡将这些战马分给骁勇将士，第二天一大早，张巡亲率轻骑杀出城外叛军大营，生擒敌将14人，斩杀百余人。同时，接应人马收获粮草。牛马牲畜数百头。令狐潮无奈，只好撤围、驻守陈留（今属河南开封）。张巡因此名声大振，吴王李祗闻之，举荐张巡为委巡院经略。不久，唐玄宗任命张巡为吏部郎中，河南节度副使。
令狐潮当然不甘心失败、就此罢手。先是派手下大将瞿伯玉再次攻城失败。后又派四个亲信，伪装成朝廷使者的模样，说是皇帝要诏见张巡，要求张巡立即前往长安，被张巡识破，经逼问招供后被杀。其余随从被押往吴王李祗处处置。后叛军李庭望率领蕃汉兵二万余人，被张巡截杀大半；令狐潮、王福德率领步、骑兵一万余人进攻雍丘。再次被张巡打败，损失千余人。
令狐潮一败再败，失去了攻取雍丘的信心，基本不敢来攻城了。这年（756年）底，叛军转攻鲁郡（今山东兖州）、东平（今山东东平西北），两地陷落。济阴郡（今山东定陶西南）太守又高承义献郡率众投降。燕军气势大盛，叛将首领杨朝宗率步、骑兵2万余人打算攻取宁陵，用以切断张巡后路补给。张巡主动放弃雍丘，率马300匹、将士3千余人移师向东，与睢阳太守许远、城父令姚訚等合兵，坚守宁陵（今河南商丘）。
杨朝宗率兵进至宁陵城西北，张巡、许远率部将雷万春、南霁云领兵迎战，经过一昼夜激烈厮杀，大破杨朝宗部，杀叛将二十员，斩首万余级。杨朝宗遁去。唐肃宗下敕书正式任命张巡为河南节度副使。虢王李巨只发给委任状，没有什么奖励，部将似有怨气。张巡给李巨写信申述：“宗社尚危，围陵孤外，渠可吝赏与赀”？但李巨却不予以理睬。
至德二载（757年）二月，安禄山部发生内讧，安禄山被其子安庆绪刺死，安庆绪自任大燕“皇帝”。安庆绪派遣部将尹子琦率同罗、突厥、奚等部族精锐兵力与杨朝宗汇合，共有兵马10余万人，重点进攻睢阳（今河南周口）。张巡奉命增援，与许远共守睢阳，双方交战20余次，胶着对峙。许远自认为军事指挥才能不及张巡，主动推举张巡为主帅，自己分管粮草筹集和后勤物资供应。
张巡任主帅后首先清除了内部奸细田秀荣，然后主动率军出城袭击叛军，叛军大败而逃，张巡缴获了大批车马牛羊。张巡将这些战利品都分给了将士，自己分毫不要。睢阳大捷后，朝廷封张巡为御史中丞；许远为待御史；姚訚为吏部郎中。敌将尹子奇打听到张巡准备袭击陈留，抢先一步，兵围睢阳，在一个没有月亮的夜晚，张巡做出了鸣鼓整队、准备出击的样子，尹子奇见状急忙加强警戒，列阵待战，张巡却息鼓不动。
如此再三，尹子奇叛军深感疲惫，于是放松警惕，不少人卸甲休息。就在这个时候，张巡率军突然杀到跟前，叛军大乱，四散逃窜。张巡大杀一阵，缴获不少物质器械，回到城中。天明后，尹子奇收拢兵马，损失了不少人马和武器装备，懊恼一番。张巡想射杀尹子奇，苦于不知谁是正主，无法具体实施。于是心生一计：在双方对峙中，张巡命弓弩手用芦苇杆箭射向敌营，叛军以为城中箭矢已经用尽，就拿这这种箭回去报告，尹子奇大喜，亲率叛军攻城，张巡部将南霁云瞧得真切，一箭射去，正中尹子奇左眼，尹子奇疼痛难忍，回马便走，十几个亲兵护将一见，跟着就走。
这时，城门洞开，张巡等人在呐喊声中冲杀出来，叛军那敢恋战，转身就逃。这一仗杀得叛军大败，很长一段时间只是将睢阳围住，不敢再来攻城。期间，也就是五月麦收季节，双方又打了一仗，其他零星磕碰倒是常见。睢阳地处睢阳渠要冲，是通往宁陵（商丘）、浚仪(今河南开封)、谯郡（今安徽亳州）、淮阳的重要门户。尹子奇当然不肯放过，为报左眼之仇，伤口愈合后，为尹子奇增派数万人马，带来大批云梯、钩车、木驴等攻城器械对睢阳进行强攻。
