1928年3月下旬，朱德、陳毅率領南昌起義保存下來的隊伍以及湘南起義組成的農(nóng)軍撤向井岡山革命根據(jù)地；4月下旬，朱毛兩軍會師，合編為工農(nóng)革命軍第四軍，后來又改稱為工農(nóng)紅軍第四軍，朱德任軍長、毛澤東任黨代表、陳毅任政治部主任、王爾琢任參謀長。部隊先編了三個師，后來又縮編為四個團，有6000多人。這支部隊是當時紅軍中人數(shù)最多、建設最好、戰(zhàn)斗力最強的部隊。

無論是秋收起義部隊還是南昌起義部隊，都是通過整頓、整編加強黨的領導和政治工作，才得以保留部隊骨干并生存和發(fā)展起來的。雖然我們黨在建軍初期，對創(chuàng)建新型人民軍隊進行了艱苦的探索，但是在長期的農(nóng)村游擊戰(zhàn)爭環(huán)境中，各種非無產(chǎn)階級思想經(jīng)常反映到紅軍隊伍中來。一些來自舊軍隊的官兵不自覺地延用了舊軍隊的習慣、舊的觀念，對于紅軍建立新制度新規(guī)定缺乏正確認識。部分官兵不習慣于做創(chuàng)建根據(jù)地的艱苦工作，主張走州過府、流動游擊；不習慣黨對軍隊的領導和集權(quán)制原則，這個集權(quán)制就是當時對民主集中制的一種稱呼，認為在搞家長制；不習慣政治工作地位的提高，認為政治部妨礙了司令部工作。這些不同的認識在紅四軍黨內(nèi)引起爭論，1929年6月，中國共產(chǎn)黨紅軍第四軍第七次代表大會召開，但是這次大會沒能夠解決爭論問題，也沒有能夠取得共識，還撤銷了堅持正確主張的毛澤東同志的職務，讓他改到閩西做地方工作。1929年9月，中央政治局召開專門會議聽取和討論陳毅的匯報，決定由周恩來、李立三和陳毅三人組成委員會，負責起草給紅四軍前委的指示信。這封信由陳毅根據(jù)中央的指示精神來起草，最后由周恩審定，到9月28號完成，歷史上把它稱為“九月來信”。“九月來信”指出紅軍的基本任務：“一是發(fā)動群動斗爭、行土地革命，建立蘇維埃政權(quán)；二是實行游擊戰(zhàn)爭，武裝農(nóng)民并擴大本身組織；三是擴大游擊區(qū)域及政治影響于全國”，并且指出：“黨的一切權(quán)力集中于前委指導機關(guān)，這是正確的，絕不能動搖。不能機械的引用‘家長制’這個名詞來削弱指導機關(guān)的權(quán)力。”

1929年10月，中央要求陳毅帶著“九月來信”返回紅四軍，請毛澤東同志復職，糾正紅四軍黨內(nèi)存在的問題，這樣就有了當年12月召開的古田會議。12月下旬，中共紅四軍第九次代表大會即著名的古田會議召開，古田會議確立了思想建黨、政治建軍的原則。會議根據(jù)中央“九月來信”的指示精神，選舉產(chǎn)生了以毛澤東任前委書記的新的紅四軍前委，通過了古田會議決議。古田會議決議強調(diào)，紅軍是一個執(zhí)行革命的政治任務的武裝集團，紅軍絕不是單純地打仗的，它除了打仗消滅敵人軍事力量以外，還要負擔著宣傳群眾、組織群眾、武裝群眾、幫助群眾建立革命政權(quán)，以至于建立共產(chǎn)黨的組織等項重大任務。中國工農(nóng)紅軍必須置于中國共產(chǎn)黨的絕對領導之下，每連建一個黨支部，每班建一個黨小組，這是紅軍中黨的組織的重要原則之一。必須健全連隊以上各級黨的領導中樞，在黨內(nèi)應當例行集中指導下的民主生活，應當嚴肅黨的紀律，反對極端民主化和非組織觀念。紅軍必須建立強有力的政治工作，紅軍必須建立很好的內(nèi)部關(guān)系和外部關(guān)系，實行官兵平等。

古田會議確立的建軍原則，是共產(chǎn)黨建設人民軍隊的根本原則，它解決了在農(nóng)村進行革命戰(zhàn)爭的環(huán)境中，如何將以農(nóng)民為主體的軍隊建設成為無產(chǎn)階級領導的新型人民軍隊這一重大問題。所以古田會議就成為紅軍建設的綱領性文件，對我軍的建設產(chǎn)生了深遠影響。

從“三灣改編”到“古田會議”，人民軍隊初步完成了建軍駐魂的過程，從此我們這支黨領導的人民軍隊就定型了，最根本的東西就立起來了。當然，在我軍發(fā)展的歷程中，黨對軍隊絕對領導這一根本原則和制度還是受到過挑戰(zhàn)的，就是說在這個問題上仍然是有斗爭的。

長征途中，張國燾就仗著人多槍多向黨中央要權(quán)，企圖用槍桿子指揮黨，黨中央與之進行了堅決的斗爭。1927年的10月，中央軍委決定恢復因國民黨干涉而一度取消的政治委員制度，恢復師旅政治部和團政治處。國民黨要康澤到八路軍中來擔任八路軍政治部副主任，被中央堅決頂了回去。為了趕走日本侵略者，我們黨可以同意紅軍改編為國民革命軍的八路軍、新四軍，同意紅軍官兵佩戴青天白日的帽徽，但是絕不允許國民黨人到我軍來當領導。