曾国藩带着湘勇到了衡州之后，湘勇没有训练和上阵的武器，怎么办呢？他写信给好友江忠源寻求帮助，当时的江忠源任湖北按察使，但他被咸丰皇帝派去江西一带和太平军作战。江忠源在信中让曾国藩抓紧时间成立一支劲旅，奔赴江西消灭太平军，他说，现在的绿营军是扶不起的阿斗，不堪一击。
半个月后，一批武器到了衡州。
曾国藩把随身带来的千余名团勇安置好之后，觉得自己需要一些交心而有才的将领，他便想起了郭嵩焘、刘蓉、李元度、陈士杰等人。于是，曾国藩马上写信让他们前来相助，共成大事、立大业。收到信的郭嵩焘正在湘阴筹备练勇的资金，得信后并没急于赶到曾国藩处，而是等资金筹备得差不多时才去;刘蓉在曾国藩的眼里是诸葛亮一般的人物，缺他不可，因此他在信中对刘蓉说，无论如何一定要前来相助。而其余几人也是被曾国藩视为知己或得意的弟子。
李元度是接到信后第一个来曾国藩处的，他还给曾国藩带来了一个意外的惊喜——五百名新募的平江勇。经过一个月的时间，李续宾、曾国葆、金松龄就招募来了两千五百名湘丁。另外，江忠济和邹寿漳也从新宁、宝庆等地招募了一千余人。这样，曾国藩手下共有五千多人，便于训练和管理，于是他把这些人按营划分，每五百人为一营，共有十个营。
随着郭嵩焘、刘蓉、陈士杰等人的相继到来，曾国藩很高兴，而最让曾国藩高兴的还是郭嵩焘筹到的二十万两军饷。曾国藩把人才都汇集到自己门下，看到眼前这些得力干将他突然想到了还缺几人。于是他写信先向骆秉章客气了一番，报告了团丁的情况，然后请他视察，同时向他借调塔齐布、杨载福、周凤山三人。没几日，这三人便兴冲冲来到了曾国藩的“署衙”。
此时的曾国藩门下，云集了众多人才，称得上是文武齐备。兵也有了，将也有了，接下来便是商议如何把这些人训练成一支让敌人闻风丧胆的劲旅了。曾国藩和郭嵩焘、刘蓉、塔齐布等人经过仔细商量之后，制定了一套军事条例及训练办法。塔齐布、罗泽南等人统带这十营兵勇。至此，曾国藩心中的那支劲旅已初步成形。
当地知府陆传应见到这阵势，也不敢怠慢，加之曾国藩经常和他商量一些事情，两人非常投缘，于是便取出十万银两资助练勇之事。曾国藩很是感激，他明白，与太平军作战，最重要的不是在岸上，而是在水中，于是拿到钱之后，开始打造水师战船，组建水师，并学着刘备三顾茅庐的诚心，请彭玉麟帮忙管理水师，另外还有一个杨载福的能人，帮着彭玉麟一起训练水师。
训练和招募兵勇要用大量的钱财，原来募到的那些钱，很快就花得差不多了。曾国藩心知重赏之下才有勇夫的道理，所以给湘勇的饷银，高出绿营兵好几倍。正因为这一点，才有很多人过来投奔。
朝廷不给钱，曾国藩将眼光瞄向了当地的士绅，他奏请朝廷劝捐总局。派人四处劝捐筹饷，回报是由国家授予他们一些荣誉性的虚职。
咸丰皇帝一看，只要不花国家的钱：同意。
在劝捐的过程中，曾国藩为了对付那些铁公鸡一般的士绅，用了一点手段，类似于“逼”捐。于是有人闹到皇帝那里，说曾国藩“为祸乡里”，且四处“封官”，并将一些人入祀乡贤祠。乡贤祠是乡里的大贤之人死后才能进去的地方，那是千古留名的场所，捐几个钱就能进去，那还了得？这不是违背祖制吗？
咸丰皇帝不是蠢人，也清楚非常时期，曾国藩那么做，是没有办法的办法，但为了给满朝大臣一个交代，将曾国藩降为三品，这已经是很大程度上的维护了。
曾国藩也知道咸丰皇帝的苦心，所以对于降职这事，并未放在心上，该怎么着还怎么着。
咸丰三年(1853年)夏，当时的太平军已进攻南昌，负责和太平军交战的是江忠源。由于势力单薄，江忠源便写信给曾国藩，让他派军队前去援助。而曾国藩也想试试自己一手编练的湘军在战场上的威力到底如何，于是他便派罗泽南、朱孙贻、金松龄率领三千多人赶往前线进行增援。不久就传来了让曾国藩异常高兴的消息：派去的各营均有战功，杀敌无数。初战告捷让曾国藩沾沾自喜，但一会工夫又传来了让曾国藩非常恼火的消息:罗泽南带领的一营中了敌人的埋伏，有几十人伤亡，其中包括罗泽南的几位得力战将。对此，曾国藩有些不解，按说有后面的部队进行援救，不应该有如此大的伤亡。部队都撤回之后，曾国藩开始详细调查，最后他得知一重大情况:当罗泽南遭到敌人伏击时，以金松龄为首的后面部队看到此情景，不但没上前相救反而趁机逃脱，罗泽南一营由此而损失惨重。
得知情况的曾国藩很是生气，他总结了此次教训，说:“今日兵事最堪痛哭者，莫大于‘兵不相救’四字。虽此军大败奔北，流血成渊，彼军却袖手而旁观，哆口而微笑。”曾国藩也说中了绿营军的要害，在绿营军和太平军的作战中，绿营军经常当逃兵，见死不救是常有的事。
“见死不救”是兵加大忌，为了整顿军务，曾国藩学着诸葛亮的样子，痛下决心，含泪斩杀了金松龄及相关湘勇，以实际行动为湘军立下了铁的规矩。
湘军要想独树一帜，成为一支铁军，必须彻底废除绿营兵的制度。绿营兵是“吃粮当兵”、“子承父业”。曾国藩要“赤地立新”、“扫除陈迹”。他对湘军军官的要求:其一必须是文化人:其二会治军、不怕死、能吃苦、不急功近利；其三要公、明、勤、义。在对湘军士兵的招募上也有规定:不收绿营兵，不收油腔滑调之人。他所招募的大部分是贫困家庭出身的农民，因为他们忠厚、朴实，身体素质好，便于管理。一营之兵在一地选拔，利用各种关系，并对应募者的情况进行详细的登记。
湘军规定大帅选统领，统领选营官，营官选哨官，哨官选什长，什长选士兵，层层选拔。而他们之间的关系是下级绝对服从上级的命令。这种举措使湘军具备了上下一心的团结精神，为日后击败太平军打下了坚实的基础。
在违抗命令上，曾国藩其实做了表率，他为了保存湘军的实力，数次违抗咸丰皇帝要他出兵的圣旨。
换作别人，早被杀头了。可他是曾国藩，就算违抗圣旨，也能找一大堆理由。
就在曾国藩于衡州练兵的时候，英国对太平天国表达了中立的态度。
咸丰皇帝盛怒之下，下令调集军队组成江南和江北大营，要进攻江宁。别看两座大营有十几万人马，可别说进攻，能够站稳脚跟就不错了。
洪秀全自封天王后，针对清军的围困，下令北伐和西征。
太平天国的北伐军一路摧枯拉朽，西征军直指武汉。这个时候，咸丰皇帝手中已经没有什么兵力。南方各省的军队大多溃败，或者集中于江南江北大营不能动用。这时，咸丰皇帝想起曾国藩来了，虽然他没对书生练兵的曾国藩抱多大希望，但起码这支军队可以拿来救救急吧?
于是一道圣旨飞了下来，要曾国藩北上增援湖北。
曾国藩这下可犯了难。初战告捷但属于出师不利，正在整顿呢！军队技能还处于半生不熟的状态，与一般的小股农民武装战斗是没有大问题的，但是如果要与身经百战的几十万太平军作战，无异于以卵击石。特别是湘军水师，现在船才造了一半，威力强大的洋炮还没安上，根本没法出兵。
他如实上奏之后，咸丰皇帝逼他出兵的第二道圣旨就下来了。皇帝怕曾国藩再次拒绝，先给曾国藩戴了个高帽，说曾国藩团练乡勇，甚为得力，剿平土匪，业经著有成效，着即酌带练勇，驰赴湖北，合力围攻，以助兵力之不足”。谕旨中还有“两湖唇齿相……自应不分畛域，一体统筹”之语，意思是曾国藩如果不出兵，就是不顾大局……”
曾国藩没有办法，只好以“拖”字诀来解决。于是他精心上了一道奏折，说我积极准备出兵，现在正在筹集饷银和购买洋炮，等大炮安上，军饷到手，就马上出发。
“拖”字诀发挥了作用。这道奏折上了没多久，军势形势发生变化，太平军离开湖北，开赴安徽，曾国藩这才放下心来。
湖北没事了，安徽却倒霉了。咸丰三年(1853年)十月底，太平军进攻安徽庐州，兵势凶猛，安徽不支。咸丰皇帝第三次下令曾国藩火速率兵救援，与安徽巡抚江忠源会合，收复安徽失地。和上次一样，咸丰皇帝怕说不动曾国藩，在上谕结尾又加了这样几句:“该侍郎忠诚素著，兼有胆识，朕所素知，谅必能统筹全局，不负委任也。”
江忠源上次在南昌，得曾国藩派兵相助，击溃了太平军，升任安徽巡抚。
太平军到达安徽后，江忠源一面抗敌，一面写信给曾国藩请求支援。
曾国藩接到江忠源的求救信，已是十一月中旬，他不是不想去救江忠源，可庐州比不得南昌，路途遥远不说，而且要经过太平军控制下的江西，一路上不知会发生什么变故。
他急忙去信，陈述整个战局的情况，并劝江忠源暂且避开太平军的锋芒，先设法撤离，与江北大营汇合，待时机成熟再设法反击。
去信没多久，就传来噩耗，原来江忠源属下胡元炜私通太平军，太平军攻入庐州城，江忠源自杀殉清，时年四十二岁。
曾国藩闻之，放声大哭。不仅仅是因为失去了一位良师诤友，更多的是对清朝贪生怕死官员的愤怒。若没有胡元炜的背叛，太平军不可能那么快攻破庐州。就算江忠源不走，只要熬上三个月，只待洋炮来到，他的水师战船顺江而下，庐州就安全了。
然而，事实没有如果两个字。
曾国藩与江忠源的私交关系不是一般的深，他做京官时，江忠源拜倒在他的门之下，执弟子之礼。曾国藩在送他出门的时候说过: “是人必立功名于天下，然当以节义死。”咸丰皇帝登基时，命曾国藩举荐人才，他向咸丰推荐了六位干才，江忠源就名列其中。
庐州一战，除了江忠源外，曾国藩还失去了另一位好友兼儿女亲家的陈源兖。
咸丰皇帝下旨斥责曾国藩没有及时出兵，可是谁知道他的痛苦呢？
他是冷静分析了所有战局之后，才不敢轻易出兵的。无论是亲情还是友情，难道他不想去救吗？可是如果冒然出兵，千里奔袭，不但无事无补，而且会葬送他费尽心血组织起来的湘军。所有他只有忍，把所有的悲伤和痛苦全憋在心里，还要忍受别人对他“拥兵自重不顾朋友”的误解。
这种苦楚，只有他自己才清楚。
咸丰皇帝只知道下旨骂他，却不下旨从距离庐州最近的江南大营调配一点兵力过去，哪怕只要数千兵勇也行，庐州也不至于那么快沦陷。
对于咸丰皇帝的下旨斥责，曾国藩做了一件所有大清官员都不敢做的事情。（预知后事，请看下一节）