曾国藩在家守孝，却心系天下之事。
局势对大清非常不利，太平军起义以来，势力扩张得很厉害，所到之处，势不可当，连克州县。和太平军比起来，清军则是不堪一击，一触即溃，实在是丢尽了咸丰帝的脸面。
（咸丰二年）4月5日，太平军自永安突围，北上围攻省城桂林，不克，继续北上，在全州蓑衣渡遭遇清军江忠源部拦截，冯云山被清军炮火击中，后伤重死亡。5月19日离开广西进入湖南省，克道州、郴州。
各地的地主富豪及湘中名宦也纷纷带着家眷四处逃难。其中，郭嵩焘兄弟和左宗棠兄弟也逃到了玉池山梓木洞。
太平军西王萧朝贵闻长沙兵力空虚，率偏师进攻长沙，9月12日在攻城时战死。曾国藩得知太平军围攻长沙的消息，急忙写信派人日夜兼程送给江忠源等几个朋友，要他们带兵前来救援长沙。当洪秀全、杨秀清率主力来到长沙城下时，长沙周边已经是重兵云集，而且都是能打战的“募勇”（招募的兵勇，不属于朝廷正规军），太平军在长沙纠缠了近三个月仍未能成功，于是撤围，一窝蜂北上，攻克岳州和武昌，势力发展到近三十万人。水陆并进，“帆帜蔽江，所过城镇，望风披靡”。
对各地的军事战况，曾国藩当然是非常关心的。武昌陷落，曾国藩的朋友、湖北巡抚常大淳在城门上吊死，他的妻子、长子和大孙女一并自杀，二儿子儿媳皆被太平军掠去。常大淳也是湖南人，和曾国藩很熟，两家来往很密切，八年前曾国藩还一度想和他结为儿女亲家。因此曾国藩闻听这个消息自然不胜惊悼，说:“恐常氏遂无遗类矣。惨哉!”湘乡虽然地处偏远，但覆巢之下安有完卵，如果王朝覆灭，曾氏家族也不可能独完。
按理他应该挺身而出。
他的好友郭嵩焘到了湘乡，郭嵩焘与他相识多年，相知甚深，力劝他出山:公素具澄清之志，今不乘时自效，如君父何?
郭嵩焘说得很清楚：你以前总在信里抱怨在朝廷按部就班，死气沉沉，没法兴革，你的政治理想没法实现。乱世出英雄，现在天下大乱，岂不正是你建功立业，施展自己的才华，实现人生理想的大好时机？你成天抱怨上天不给机会，现在 ，不正是上天给的机会吗？
曾国藩也想出山啊，可是他不能冒然出山，因为皇帝批准了他守孝，如果他就这么出去，一旦皇帝追究责任，说他抗旨不遵，等于把自己的头往皇帝的刀下去凑，作死！
他可没有这么笨，要出山也要师出有名，要皇帝特准才行。
所以当天就开始起草奏折，对太平军的发展和清军作战不利的事情，洋洋洒洒说了一大通，接着学诸葛亮隆中对的样子，提出了几条建议：一、允许地方官员和豪绅办团练，以抵挡贼寇；二、调派能征善战的官员；三、改革吏治；四、重用汉官；五、适当时机，对贼寇进行招抚，而后图之；六……
曾国藩的这几点，切中了大清朝廷的要害，特别是第一和第五条，如果实施得好，确实能够剿平太平军。日后他围攻南京，正是用了第五条，先假意招抚，等人家放下刀之后，再择机屠杀以绝后患。不得不说，曾国藩确实是个心狠手辣的人。
对于曾国藩的奏折，咸丰皇帝看了一眼就扔到一边去了：朕知道大清八旗军队不行，也用不着你来指手画脚的。
肃顺和端华他们也看了曾国藩的折子，哥俩向咸丰皇帝出主意：他们要办团练，就让他们去办好了，反正朝廷不出钱，由着他们去搞，汉人打汉人，保的是我们满人的江山，何乐而不为呢？
咸丰皇帝一听有道理：准了。
咸丰二年(1852)年底，曾国藩终于等来了上谕，是湖南巡抚衙门遣人送来的:前任丁忧侍郎曾国藩，籍隶湘乡 ，闻其在籍，其于湖南地方人情自必熟悉，着该抚传旨，令其帮同办理本省团练乡民、搜查土匪诸事务。伊必尽力，不负委任。
老狐狸要出山了。他在出山的时候，写信给在翰林院中任职的李鸿章，让李鸿章设法回来，一起办团练建功立业。
李鸿章接到老师的信之后，怂恿工部左侍郎吕贤基上奏，并代为捉刀连夜赶写奏章：办团练好啊，替皇上分忧解难。咸丰帝诏谕工部左侍郎吕贤基前往安徽，任安徽团练大臣，办理团练防剿事宜。
咸丰皇帝在同意曾国藩办团练的同时，任命刑部尚书陈孚恩为江西团练大臣，第二年，任命广西巡抚周天爵为团练大臣。让人吃惊的是，在1853年初的一个月之内被任命团练大臣的就多达四五十人。 一时之间，全国上下掀起了一股办团练的热潮。
曾国藩到了长沙与湖南巡抚张亮基商办团练事宜，同时写信给江忠源，希望得到江忠源的支持。江忠源所率领的部队强过清兵十倍，虽然他们没有清兵丰厚的俸禄和先进的武器，但他们却比清兵更勇敢，更善战。可以说，他们是地方武装力量的表率和先导。在江忠源闻听曾国藩准备出山办团练之后，他写信给曾国藩表示大力支持，并会鼎力相助。
要办团练，要得有钱有人才行，曾国藩这才显露出他在北京积攒的人脉出来了，不仅仅是他的老师唐鉴和老友郭嵩焘，还有刘蓉、左宗棠、罗泽南、李续宾、李续宜、蒋益沣等名流。这些人有不少是他的门生和朋友，日后都成为湘军的将领。
特别是左宗棠，在太平军围攻长沙、省城危急之际，他在郭嵩焘等人的劝勉下，应湖南巡抚张亮基之聘出山，投入到了保卫大清江山的阵营。左宗棠在炮火连天的日子里缒城而入，张亮基大喜过望，将全部军事悉数托付给左宗棠。左宗棠“昼夜调军食，治文书、区画守具”，建议大都被采纳并立即付诸实施，终于使太平军围攻长沙三个月不下，撤围北去。左宗棠于是声名鹊起。
他不出山则已，出来就想大干一场，所以一到长沙，就设置了一个“协办团练大臣公馆” ，以个人名义向全省发布公文，要把全省的社会治安工作管理起来。
太平军已经挥师湖北和江西，湖南虽暂获喘息，形势却依然危急。湖南历来是会党之渊薮，太平军一走，串子会、红黑会、半边钱会、一股香会等名目繁多的会党土匪势力不断发难，试图步太平军后尘以求一逞，各地地痞流氓、散兵游勇，也跟着兴风作浪，因此湖南境内风声鹤唳，人心惶惶。稳定社会治安成了当务之急。
所以出山伊始，曾国藩即以剿匪为首要任务。一到长沙，他就展现出雷厉风行的办事风格，他认为治乱世要用重典，就在馆内设了一个审案局，实际上就是成立了一个湖南省社会治安严打指挥中心。他把全省各地民间团练武装召集到一起，加以训练，然后四出搜剿土匪。他在审案局内发布了一道《与湖南各州县公正绅耆书》，宣示除了土匪外还要严办三种人。
第一，素行不法，惯为猾贼造言惑众者。
第二，逃兵、逃勇，“经过乡里劫掠扰乱者”。
第三，匪徒、痞棍，“聚众排饭(即吃大户) 持械抄抢者。
曾国藩说，这几类人，行为恶劣者，可以“格杀勿论”，“就地正法”。这道盖着“钦命帮办团练大臣曾”的紫花官钤的布告，遍布湖南大小城市的大街小巷，曾国藩可不只是吓唬吓唬人，他是真敢动手。每日杖毙者不下数十人，斩首者多达上百人，有时候连小偷小摸的人都给杀了。
一股恐怖气氛在湖南全省曼延开来，杀人太多，他得了一个“曾剃头”的外号。
在给老友冯卓怀(树堂)的信中，曾国藩也解释说:……应杀不杀之人充满山谷，遂以酿成今日流寇之祸，岂复可姑息优容，养贼作子，重兴萌孽而贻大患乎？
也就是说，现在土匪横行，正是因为过去那么多年，地方官杀的人太少。那些应该严惩的人得不到惩处，反而四处游**，所以才酿成了太平军起义。所以他才要对那些人痛下杀手，防止再酿成另一次大祸。
曾国藩对咸丰皇帝汇报说：今乡里无赖之民嚣然而不靖，彼见夫往年命案、盗案之首犯逍遥于法外，又见夫近年粤匪、土匪之肆行皆猖獗而莫制，遂以为法律不足凭，官长不足畏也……臣之愚见，欲纯用重典以锄强暴，但愿良民有安生之日，即臣身得残忍严酷之名亦不敢辞。
但也就是说，现在各地土匪之所以很嚣张，是因为以前的命案 盗案首犯多年逍遥法外，现在太平天国势力又横行天下无法对付，所以乱民们以为法律和官府都不足畏。在这种情况下，要树立官府的威信，就要实行恐怖统治。如果天下能太平，我不怕大家骂我残忍残酷。
咸丰皇帝一想，有道理，只要大清长治久安，朕准你杀。
曾国藩杀到后来，恐怖政策确实收到了一时之效，各地土匪不敢再轻举妄动，社会秩序迅速安定下来。
但是，关于他的非议也渐渐浮起。曾国藩勇于任事，湖南全省的地方官不但不感激他，相反都开始厌恶他，认为他过于残酷。出山几个月后，谤名满城，“曾屠户”、“曾剃头”之类的绰号流传开来。长沙城中“文法吏大哗”，都视他为仇敌。甚至当时的一些老朋友如李瀚章（李鸿章的哥哥）、魁联、朱孙诒、郭嵩焘、欧阳兆熊等都给他写信，表示了对他种种作为的不理解和担心。李瀚章为此专门写信给他，“劝其缓刑”。
曾国藩是为了大清的长治久安，他没有做错，为什么会出现这种情况呢？其实这种情况在他的预料之内，他已经想到怎么应付了。（预知后事，请看下一节）