在太平天國運動期間，曾國藩創建了湘軍并付出了巨大的努力，在多年的戰斗后成功地消滅了太平天國。曾國藩擁有重兵，他直接指揮的部隊包括曾國荃的五萬嫡系共計十二萬人，并且裝備了當時領先的火炮。太平軍被擊敗后，湘軍成為滿清王朝最大的威脅，因此慈禧對湘軍產生了極大的疑慮。
1864年7月19日，隨著曾國藩、曾國荃率領的湘軍攻陷天京，太平天國宣告滅亡。太平天國滅亡后，曾國藩的湘軍立即成為朝廷的心腹之患。一方面，曾國藩手里的湘軍多達10余萬，不接受朝廷節制，只聽曾國藩一人命令，是從來未有的現象。
另一方面，部分湘軍紀律敗壞，在天京燒殺搶掠;特別是鮑超回四川養病時，他所率領的霆軍被朝廷調集西征途中發生嘩變，產生了極其惡劣的影響。對于朝廷的擔憂，曾國藩心知肚明，他多次表示要將湘軍裁撤，只是因為軍餉等問題沒有解決，暫時沒有動手。怎么辦呢?慈禧太后為了逼迫曾國藩主動裁軍，使出了三個辦法。
一是派遣湖廣總督官文出馬。
官文是滿洲正白旗人，早年在道光皇帝身邊做過藍翎侍衛，后來歷任荊州將軍、湖廣總督等職。官文是一介粗人，不懂處理政事，做什么事靠家奴出主意，因此人們笑稱湖廣總督府有三大：“妾大、門丁大、庖人大。”
官文是滿洲貴族出身，歷來就瞧不起漢人，當他看到曾國藩、胡林翼、左宗棠等人不斷升遷時，心里很不是滋味。胡林翼擔任湖北巡撫時，他就進行掣肘。好在胡林翼會做事，處處讓著他，有事自己做，有功全部推給他，又搞起了裙帶關系，這才得以維持督撫相安的局面。
官文派人潛入湘軍吉字營，偷出花名冊，抄了幾百個士兵的名字，然后找到曾國藩，將這些人誣陷為哥老會成員。曾國藩不知就里，表示要嚴加審訊，依法懲辦這些士兵。官文卻告訴他，此事傳出去后，勢必對曾國藩以及湘軍不利。不如趁裁軍之機，悄無聲息地將這些士兵散去。曾國藩何等聰明的人，他立即就明白了官文的意思。
二是派江西巡撫沈葆楨出馬。
沈葆楨是一代名臣林則徐的女婿，曾經率部擊敗過太平天國名將石達開，名動官場。說起來，曾國藩還是沈葆楨的伯樂。1859年，曾國藩欣賞沈葆楨的才華，邀請他出山，推薦為江西巡撫。不過，沈葆楨似乎并不買曾國藩的賬。他到江西后，多次扣發湘軍的糧餉，把曾國藩氣得吹胡子瞪眼。
沈葆楨是怎么做的呢?他派人來到九江，精確地攔截了一艘船只。這艘船只的主人是曾國藩部將蕭孚泗。1864年，湘軍攻陷天京時，蕭孚泗因擒獲李秀成、洪仁達，賜封一等男爵，賜雙眼花翎。不久，蕭孚泗因父親去世，丁憂回鄉。他在回鄉時，攜帶了在天京搶劫的金銀財寶，以及在江南購買的3名美貌女子，乘船回鄉，沒想到被沈葆楨給扣留了。
蕭孚泗事發，不但讓他自己岌岌可危，還讓曾國藩陷入困境。當初，曾國藩奏報朝廷，稱天京沒有財物，“克復老巢，而全無財貨，實出微臣意計之外，亦為從來罕聞之事。”真是這樣的話，蕭孚泗船上的大量金銀財寶從哪里來?
三是派僧格林沁親王出馬。
僧格林沁親王是蒙古貴族，深得道光皇帝、咸豐皇帝器重，掌握了一支蒙古鐵騎，拱衛京師一帶的安全。僧格林沁親王自視甚高，連八旗、綠營都不入他的法眼，更別說曾國藩率領的區區團練。沒想到，正是他看不上的湘軍，攻破了天京，搶得了第一份功勞。所以，僧格林沁親王對曾國藩猶如眼中釘一般，欲清除而后快。
僧格林沁親王以進剿捻軍之名，揮師南下，駐扎在滁州、泗州一帶，加上駐鎮江的馮子材、駐和州的德興阿、駐揚州的富明阿、駐武昌的官文，對湘軍形成包抄之勢。如果曾國藩有風吹草動，立即合圍聚殲。
這3個辦法，有明有暗，但用意十分明顯，就是逼迫曾國藩盡快裁軍。當然，在使出這3個辦法的同時，慈禧太后又懷柔了一把，沒有追究蕭孚泗的責任。她在上諭中說：“前福建陸路提督男爵蕭孚泗，系攻克江寧首功大員，此次因父逝回籍奔喪，順帶節字營官勇歷次所獲戰利品，系出自袍澤之誼;既在江寧娶妾，自應帶回原籍奔喪，亦在情理之中。著毋庸追究，俾該前提督一行回籍成禮。江西巡撫沈葆楨辦事秉公，執法嚴謹，其節可風，著交部優敘。”
慈禧太后放過了蕭孚泗，表揚了沈葆楨，又將處理結果迅速通知曾國藩。這讓曾國藩對慈禧太后做法深感不滿的同時，又身懷感激。不久，曾國藩就給湘軍吉字營、老湘營、果字營、霆軍、正字營以及長江水師、寧國水師、太湖水師、淮揚水師統領們下達了裁軍的命令。1865年12月底，裁軍任務全部完成。曾經擁有15萬水陸兩支大軍的湘軍，裁撤得只剩下1萬人。
曾國藩裁軍的真正原因主要有三點
第一，裁軍是常例，每一次大戰后，湘軍都有裁掉部分兵勇的做法。
第二，是九弟曾國荃“任性”所為。早在金陵大戰正酣之際的，老九便向阿兄提出一旦金陵城破，吉字營全數裁撤，但遭到了阿兄曾國藩的反對：金陵果克，弟之部曲斷不能全數遣散。一則江西是管轄之境，湖南是桑梓之邦，必派勁旅防御保全。二則四五萬人同時遣散，必無許多銀錢。而坐轎者愿息，抬轎者不肯，其中又有許多人情物理層次曲折。勇退是吾兄弟一定之理，而退之中次序不可凌亂，痕跡不可太露。
從曾國藩的話里，可以看到，一是吉字營不能全撤，湘軍還有用武之地;二是裁軍費用一時難以籌措;三是“坐轎者愿息，抬轎者不肯”，也就是湘軍將士不情愿。曾國藩肯定了老九功成身退的心志，但又擔心退得太快，反而引起各方猜忌。這從一個反面否定了曾國藩裁撤湘軍是為了自保的觀點。
曾國藩迫于老九急退的想法，同治三年十二月最終同意將吉字營最后的二十八營于次年夏秋間全部裁撤，吉字營的名號不復存在。老九之所以這么決絕，重要原因是對戰爭、對官場產生了厭倦心理，打下南京后受到清廷的嚴詞苛責，只是一個助推器。平心而論，老九攻克南京，因疏忽導致太平軍忠王李秀成保護幼主逃出城去，理應受到問責。而根據清朝的問責制度，罰俸、降級、革職，都沒有，僅在諭旨中嚴詞指責，算不上真正的問責，只是一個警告處分而已。
三是出于節餉減稅的考慮。
湘軍本來不是朝廷正規軍隊，只能稱勇，沒有正常渠道的經費，全靠臨時募集。特別是剛開始時，不得己朝廷募捐和攤派。后來，雖然朝廷也出面組織一些軍餉，但對于湘軍也只能稍解一時之急。整個作戰期間，幾乎沒有哪年是不欠餉的。辦法也想盡了，開厘局、倡捐輸，收鹽稅，拔丁銀，提關稅，結果動用了所有的關系網，還是擺脫不了捉襟見肘的尷尬境地。
這樣一來無疑增加了巨大的稅收。像湖南本來也是一個地痟民窮的地區，財賦不足，供給有限，然而，湖南支持東南大局，籌兵籌餉歷久不懈，各軍支用餉糈皆取之湖南，至于府庫幾乎名存實亡。曾國藩開厘局、設關卡，奏請廣東、江西等地輸送厘金等做法，理所當然地要受到地方官員的抵制。
曾國藩認為，如今打下南京，大禍根除，不裁湘軍，再從這些地方要餉恐怕更難了。于是才有了“裁汰兵員，騰出有用之餉，以供最急之需”之舉。而且戰亂初平，淘汰一些士兵，回家耕種，賣劍買牛，也可以促進農業生產。所以裁撤湘軍本來就是一舉兩得的好事，如果真有野史傳說中所說的那些想像的因素在的話，那就不止是一舉兩得，而是一舉多得了。既可以減輕對人民的剝削，撤厘之后更能優化營商環境、促進商業貿易的發展，又可以有利于農業生產，社會穩定。
當然，曾國藩企圖裁撤湘軍的同時撤厘的愿望并沒有實現，減稅的想法并沒有獲得朝廷批準，各地厘金依然照常征收，以應對各地用兵的需要。事實上，曾國藩如果不裁撤湘軍，清廷也不會擔心他有什么不良企圖，畢竟西北、西南都需要用兵，后來奔走于這些地方的都是湘軍。
手握雄兵，為何曾國藩甘愿主動裁軍而拒絕稱帝?
首先，當時的形勢并不利于曾國藩造反。自清廷趁著明朝內亂入主中原之后，歷代統治者對漢族士大夫相當的防范。無論是軍隊指揮權，還是朝廷中重要崗位人員安排，均能看出些蛛絲馬跡。到太平軍起義后，雖然清廷無力對抗太平軍而默許漢族士大夫幫助平叛，但防范之心依然很強。遠的不說，就是曾國藩在咸豐四年幫助清廷收復武漢，咸豐帝大喜的同時不忘給曾國藩加官，讓他代理湖北巡撫。但僅僅七天的時間，咸豐帝收回來此任命，轉而扔給他一個沒有多大意義的兵部侍郎的銜。
后來天京被攻克后，清廷不僅舉朝稱賀，反而不斷的網絡各種理由來削弱曾國藩的功勞。此外，清廷還忙著不斷向天京外圍部署大量滿蒙軍力，特別科爾沁親王僧格林沁被部署到中原腹地。按理說天京的覆滅標志著天下重歸太平，但清廷卻給人一種國家要滅亡的緊張局勢。明眼人都知道清朝擔心正是剛剛建立大功的湘軍，害怕他們鬧事。當然曾國藩也知道自己掌握的30萬雄兵，僅僅有12萬是自己嫡系部隊，而另外的兩個巨頭李鴻章和左宗棠的態度就不好說了，更何況自己的士兵也是歸鄉似箭
其次，曾國藩在起兵之初就打出“保衛儒教”和“忠君愛國”旗號。因此很多人能加入他的隊伍，很大程度上是沖著他樹立的旗幟去的。而一旦決心稱帝，意味著他在打自己的臉，而他的團隊也失去了原有的價值而非常容易被打散。當然曾國藩經過苦心經營才被平定的天下，又要被自己大亂，自己的心血化為泡影是他不愿意看到的。
面對人生中的又一個重要抉擇，曾國藩經過了深思之后，將功勞推給別人，甚至主動上書要求裁減湘軍。當清廷看到曾國藩自斷臂膀之后，才算松了一口氣，曾國藩也平安的逃過了死神的魔爪，而當時的中國老百姓也少經歷了一次動亂之苦。