1926年3月20日，蔣介石利用廣州國民政府海軍局將中山艦派到黃埔軍校附近一事，大做文章，下令逮捕代理海軍局局長兼中山艦艦長（共產黨員）李之龍，派兵包圍省港罷工委員會，收繳工人糾察隊的槍械，解除蘇聯(lián)顧問衛(wèi)隊的武器，拘押保衛(wèi)廣州的國民革命軍第二師黨代表中的共產黨員等。

事件發(fā)生之時，共產國際竟對蔣介石采取了完全妥協(xié)的態(tài)度。共產國際認為，中山艦事件的發(fā)生，是蘇聯(lián)顧問過度越權和對中國將領們的過分監(jiān)督引起的?，F(xiàn)在共產黨人還沒有能力承擔直接領導國民革命的任務，因此應對蔣介石作出讓步以贏得時間。

在上海的中共中央得知中山艦事件的消息后，也于3月29日給廣州黨組織發(fā)來指示：“從黨和軍隊紀律的觀點來看，蔣介石的行動是極其錯誤的，但是，事情不能用簡單的懲罰蔣的辦法來解決，不能讓蔣介石和汪精衛(wèi)之間的關系破裂”，對蔣介石，“我們現(xiàn)在應該全力拯救他，將他從陷入的深淵中拔出來”。這樣一來，蔣介石并未因中山艦事件而受到任何制裁，反而刺激了其野心的進一步膨脹。

同年5月15日至22日，國民黨在廣州召開二屆二中全會。會上，蔣介石打著協(xié)調國共兩黨關系的幌子，以消除疑慮、杜絕糾紛為借口，提出了《整理黨務決議案》，要求中共將加入國民黨的黨員名單交出；中共黨員在國民黨高級黨部任執(zhí)行委員時不得超過該黨部執(zhí)行委員總數(shù)三分之一；中共黨員不得充任國民黨中央各部部長等。《整理黨務決議案》提出之時，蔣介石對于共產黨方面能否接受，頗為忐忑不安。蘇聯(lián)派來的政治總顧問鮑羅廷，曾要中共中央派人去會見蔣介石，說明中共對《整理黨務決議案》決不反對。結果，出席會議的共產黨員，對蔣介石的提案大多采取了相當合作的態(tài)度，并沒有明確提出反對意見。依照通過的決議案，蔣介石隨后采取了一系列限制共產黨的活動。

1927年3月底、4月初，蔣介石背叛革命的跡象越來越明顯，但共產國際仍然對蔣介石抱有期望，不贊成同蔣介石破裂。陳獨秀也主張“要緩和反蔣”，他還和剛從國外回來的汪精衛(wèi)會談，公開發(fā)表《汪精衛(wèi)、陳獨秀聯(lián)合宣言》。這個宣言只字不提蔣介石的反革命活動，反而認為“國民黨領袖將驅逐共產黨，將壓迫工會與工人糾察隊”等等，都是“不知自何而起的謠言”，希望國共兩黨的同志“立即拋棄相互間的懷疑，不聽信任何謠言，相互尊敬，事事開城協(xié)商進行”，“開誠合作，如兄弟般親密”。

在國共合作的過程中，中國共產黨實際上在統(tǒng)一戰(zhàn)線中處于從屬與配角地位。特別是沒有建立一支自己掌握的、與國民黨能抗衡的革命武裝，當蔣介石、汪精衛(wèi)發(fā)動反革命政變，大肆屠殺革命者的時候，共產黨人在很大程度上處于束手無策的狀態(tài)，轟轟烈烈的大革命由此失敗。

1927年3月至1928年上半年，被殺害的共產黨員和革命群眾達31萬多人，其中共產黨員2萬6千多人，黨員由近6萬人銳減到1萬余人；黨領導的工會會員由280萬人減少到幾萬人；擁有1000萬會員的各地農民協(xié)會大多被解散。

在大革命失敗后的反革命大屠殺中，中國共產黨人得到了一條血的教訓：中國無產階級在進行革命時，不但應建立廣泛的革命統(tǒng)一戰(zhàn)線，而且在統(tǒng)一戰(zhàn)線中應掌握領導權，尤其是要建立一支自己領導的革命武裝，并由此認識到了武裝斗爭的極端重要性。

大革命失敗后，全黨投入武裝反抗國民黨反動統(tǒng)治的斗爭。但在武裝斗爭中，又存在照搬照抄十月革命經驗的問題。由于十月革命是以城市武裝起義的方式取得成功的，因此，在大革命失敗后一年多的時間里，各地黨組織領導的武裝起義，差不多都是以奪取城市為目標。但是，由于敵強我弱的形勢以及城市是敵人的統(tǒng)治中心和反革命力量的集聚地，起義軍多數(shù)未能實現(xiàn)奪取城市的目標，個別的武裝起義雖然一度控制了城市，但很快又得放棄。在這種情況下，以毛澤東同志為主要代表的中國共產黨人，開始將革命的目光轉向農村，并相繼建立了若干農村革命根據(jù)地，開始了農村包圍城市革命道路的偉大探索。

隨著農村革命根據(jù)地的建立，一個重要而又亟待解決的問題擺在共產黨人面前，這就是在長期農村游擊戰(zhàn)爭、紅軍的主體是農民組成的情況下，紅軍中的黨員主要來自于農民和其他小資產階級，因此，如何保持黨的無產階級先鋒隊性質、如何把紅軍建設成為無產階級領導的新型人民軍隊？

1929年12月，古田會議在福建省上杭縣古田村召開。古田會議強調：紅軍是一個執(zhí)行革命的政治任務的武裝集團，必須絕對服從黨的領導，必須全心全意為著黨的綱領、路線和政策而奮斗。古田會議確立了人民軍隊建設的基本原則，成功地解決了在中國特殊國情、特殊革命道路中如何建設一個無產階級政黨、如何保持黨對人民軍隊絕對領導的重大問題。

古田會議之后，毛澤東同志寫了《星星之火，可以燎原》一文，強調那種全國范圍的、包括一切地方的、先爭取群眾后建立政權的理論，是與中國革命的實情不適合的。紅軍、游擊隊和紅色區(qū)域的建立和發(fā)展，是半殖民地中國在無產階級領導之下的農民斗爭的最高形式，是促成中國革命高潮的最重要因素，標志著農村包圍城市、武裝奪取政權思想的初步形成。

盡管已經建立了一些農村革命根據(jù)地，但共產國際和中共中央的領導層并沒有認識到中國革命的特殊性，沒有把革命的重心放在建立農村革命根據(jù)地，而是期待能迅速奪取中心城市，一舉取得全國政權。1930年6月，中央政治局通過李立三起草的《新的革命高潮與一省或幾省首先勝利》的決議，標志著“左”傾冒險錯誤在中共中央取得統(tǒng)治地位。決議從“城市中心論”的錯誤觀點出發(fā)，命令城市中的黨組織舉行武裝起義，命令根據(jù)地的紅軍攻打中心城市。在執(zhí)行“立三路線”的過程中，紅二軍團由1萬6千人減少到3千人，并喪失了洪湖根據(jù)地；紅七軍由6千多人減少到2千人，喪失了右江革命根據(jù)地。白區(qū)黨的力量也遭受嚴重損失，先后有11個省委機關遭受破壞，武漢、南京等城市的黨組織幾乎全部瓦解。

1931年1月，中國共產黨六屆四中全會在上海召開。在這次全會上，王明被選進了中央政治局，隨后成為中共中央的實際領導人，黨也由此開始了長達四年之久的王明“左”傾教條主義統(tǒng)治時期。教條主義的重要特征，就是機械地執(zhí)行共產國際的指示，照搬照抄蘇聯(lián)的做法，如將蘇聯(lián)消滅地主富農的政策搬來中國，在土地革命中搞“地主不分田，富農分壞田”；照搬蘇聯(lián)肅反運動的做法，在革命根據(jù)地肅反嚴重擴大化，等等。教條主義形成的政治路線、軍事路線無一不嚴重脫離了中國的實際，也脫離了人民群眾，其嚴重后果，是各根據(jù)地的反“圍剿”相繼失利，主力紅軍被迫長征，黨遭受了新民主主義革命時期的第二次嚴重挫折。第五次反“圍剿”前，紅軍曾發(fā)展到約30萬人，三支主力紅軍長征時約有20萬人，長征結束時約3萬人；除少數(shù)紅軍游擊隊在堅持斗爭外，南方已沒有一塊完整的根據(jù)地；白區(qū)黨的組織遭到嚴重破壞，全國黨員人數(shù)由最多時的30萬人減少至約4萬人。

1935年1月的遵義會議，標志著教條主義在中共中央統(tǒng)治的終結。華北事變后，中華民族面臨著更為嚴重的生存危機，中日民族矛盾上升為主要矛盾，階級矛盾則下降為次要矛盾。社會主要矛盾的變化，需要黨的政策策略也隨之進行調整。1935年12月，中共中央在瓦窯堡召開政治局擴大會議，著重批判了之前黨內存在的關門主義傾向，提出建立抗日民族統(tǒng)一戰(zhàn)線的主張?？谷彰褡褰y(tǒng)一戰(zhàn)線的提出，極大地改變了黨的形象，中國革命出現(xiàn)重大轉機。