面對這一突變局勢，曾氏一方面看出這支軍隊的組織性戰(zhàn)斗性遠(yuǎn)不是過去的叛亂者所可比擬，另一方面他也想到，可以打出衛(wèi)道的旗幟來號召讀書人奮起保衛(wèi)孔孟道統(tǒng)。在太平軍高唱民族大義時，曾氏舉起衛(wèi)道的旗幟，作為政治家而言，這是他的高明之處，作為知識精英而言，則是他的必然取向。

正是出于對太平軍的深刻認(rèn)識，曾氏知道，嘉慶年間的那種團練，在今天已無濟于事，而朝廷的正規(guī)軍八旗、綠營又已喪失戰(zhàn)斗力，故而必須“赤地新立”、“另起爐灶”。于是，借團練大臣的欽差身份，曾氏決定組建一支新的軍隊。現(xiàn)在回頭看來，曾氏組建新軍即后來影響甚大的湘軍，有著清晰的三個階段。

首先，曾氏提出在長沙城里成立千人大團。獲得咸豐同意后，曾氏將從湘鄉(xiāng)抽調(diào)上來的一千團丁，按戚繼光的軍制，分為三個營，設(shè)營官、哨官、什長等官職。這些人住營房，穿制服，領(lǐng)軍餉，整天操練，實際上已是一支軍隊的雛型。曾氏利用這支大團，大刀闊斧、雷厲風(fēng)行地推行他的拯時救世的抱負(fù)。為整頓已成混亂的秩序，讓普通百姓有一個安生的環(huán)境，曾氏對趁戰(zhàn)亂而起的各類破壞者予以嚴(yán)厲打擊，尤其對會黨分子嚴(yán)懲不貸。他授予他的部下有就地正法之權(quán)，即凡查明屬實的會黨成員立即杖斃。此舉震懾力大，收效也快，但它既違背司法程序侵奪地方行政官衙的職權(quán)，同時又招來濫殺無辜的惡果。“曾剃頭”的得名即由此而來。但曾國藩不因此而改變。他在給咸豐的報告中說：“臣之愚見，欲純用重典以鋤強暴，但愿良民有安生之日，即臣身得殘忍嚴(yán)酷之名亦不敢辭；但愿通省無不破之案，即剿辦有棘手萬難之處亦不敢辭。”他在給友人的信中承認(rèn)他做了許多越俎代庖之事，也做了不少矯枉過正的事，但這都是為了改變幾十年來“不痛不癢、不白不黑”的官場積習(xí)，希望世人能諒解他。

為了扭轉(zhuǎn)綠營的疲沓之風(fēng)，曾氏以欽差大臣的身份插手軍事，強行命令駐扎在長沙城內(nèi)的綠營士兵與他的團勇一樣地從早到晚操練。此舉遭到綠營官兵強烈反對，他們既不愿吃苦，又羞于與烏合之眾的團練為伍。長沙副將清德公開出面制止曾氏的不合時宜的做法，而曾氏的態(tài)度更為強硬。他搜集清德的種種貪圖安逸、疲玩瀆職的庸劣行為，并毫不留情地揭露清德在太平軍攻長沙時居然自行摘去頂戴，躲進民房的貪生怕死的丑行，請朝廷革去清德之職。很快，清德被朝廷革職查辦。表面看來，曾氏在這次與長沙軍方的較量中勝出，但他因此而更深地得罪綠營，得罪綠營的大后臺湖南提督鮑起豹。綠營與團勇的矛盾更深。團勇屢遭綠營歧視，連曾氏的親弟曾國葆都在城里挨了綠營的磚頭。綠營與團勇之間，經(jīng)常為一點小事而械斗。終于又因一次械斗，綠營吹號集合所有人在曾氏衙門外示威，有幾十個人甚至沖進大門，揚言要殺掉曾氏。此事雖得平息，但給曾氏極大的刺激。他既惱火綠營的猖獗，也為湖南巡撫駱秉章袒護綠營而備感委屈，于是決定離開長沙這個腐朽勢力強大的省垣之地。在得到朝廷同意后，他帶著他的一千團丁來到湘南重鎮(zhèn)衡州府。

此時的太平軍，正處如日中天之時。在前線作戰(zhàn)的湖南團練的最初首領(lǐng)江忠源屢遭重挫，兵員損失嚴(yán)重，朝廷命令曾氏加緊訓(xùn)練團勇予以補充。這顯然是天賜良機。曾氏抓住這個機會，抱著組建一支真正大軍的宏愿，同時也懷有給長沙文武官員一點厲害看看的個人情緒，在衡州府里招兵買馬，轟轟烈烈地大干起來。短短的四個月里，他組建陸師十營共五千人，又富有遠(yuǎn)見地組建水師十營五千人，再加上八千后勤人員，到了咸豐三年底，一支擁有水陸兩個兵種一萬八千人，號稱二萬的湘軍便宣告成立。曾氏完成了從團練協(xié)會主席到民兵團長再到三軍統(tǒng)帥的轉(zhuǎn)化。咸豐四年正月，過了年后，曾氏帶著這支由書生為將、農(nóng)夫為兵的嶄新軍隊，在衡州府誓師北上，正式開始了與太平軍逐鹿東南的軍旅歲月。為壯軍威，也為了宣傳，出兵的時候，翰林起家的曾氏親自撰寫了一篇氣勢雄壯的檄文，聲稱：“本部堂奉天子命，統(tǒng)師二萬，水陸并進，誓將臥薪嘗膽，殄此兇逆。”