1926年3月20日，蔣介石利用廣州國民政府海軍局將中山艦派到黃埔軍校附近一事，大做文章，下令逮捕代理海軍局局長兼中山艦艦長（共產(chǎn)黨員）李之龍，派兵包圍省港罷工委員會(huì)，收繳工人糾察隊(duì)的槍械，解除蘇聯(lián)顧問衛(wèi)隊(duì)的武器，拘押保衛(wèi)廣州的國民革命軍第二師黨代表中的共產(chǎn)黨員等。

事件發(fā)生之時(shí)，共產(chǎn)國際竟對(duì)蔣介石采取了完全妥協(xié)的態(tài)度。共產(chǎn)國際認(rèn)為，中山艦事件的發(fā)生，是蘇聯(lián)顧問過度越權(quán)和對(duì)中國將領(lǐng)們的過分監(jiān)督引起的?，F(xiàn)在共產(chǎn)黨人還沒有能力承擔(dān)直接領(lǐng)導(dǎo)國民革命的任務(wù)，因此應(yīng)對(duì)蔣介石作出讓步以贏得時(shí)間。

在上海的中共中央得知中山艦事件的消息后，也于3月29日給廣州黨組織發(fā)來指示：“從黨和軍隊(duì)紀(jì)律的觀點(diǎn)來看，蔣介石的行動(dòng)是極其錯(cuò)誤的，但是，事情不能用簡(jiǎn)單的懲罰蔣的辦法來解決，不能讓蔣介石和汪精衛(wèi)之間的關(guān)系破裂”，對(duì)蔣介石，“我們現(xiàn)在應(yīng)該全力拯救他，將他從陷入的深淵中拔出來”。這樣一來，蔣介石并未因中山艦事件而受到任何制裁，反而刺激了其野心的進(jìn)一步膨脹。

同年5月15日至22日，國民黨在廣州召開二屆二中全會(huì)。會(huì)上，蔣介石打著協(xié)調(diào)國共兩黨關(guān)系的幌子，以消除疑慮、杜絕糾紛為借口，提出了《整理黨務(wù)決議案》，要求中共將加入國民黨的黨員名單交出；中共黨員在國民黨高級(jí)黨部任執(zhí)行委員時(shí)不得超過該黨部執(zhí)行委員總數(shù)三分之一；中共黨員不得充任國民黨中央各部部長等?！墩睃h務(wù)決議案》提出之時(shí)，蔣介石對(duì)于共產(chǎn)黨方面能否接受，頗為忐忑不安。蘇聯(lián)派來的政治總顧問鮑羅廷，曾要中共中央派人去會(huì)見蔣介石，說明中共對(duì)《整理黨務(wù)決議案》決不反對(duì)。結(jié)果，出席會(huì)議的共產(chǎn)黨員，對(duì)蔣介石的提案大多采取了相當(dāng)合作的態(tài)度，并沒有明確提出反對(duì)意見。依照通過的決議案，蔣介石隨后采取了一系列限制共產(chǎn)黨的活動(dòng)。

1927年3月底、4月初，蔣介石背叛革命的跡象越來越明顯，但共產(chǎn)國際仍然對(duì)蔣介石抱有期望，不贊成同蔣介石破裂。陳獨(dú)秀也主張“要緩和反蔣”，他還和剛從國外回來的汪精衛(wèi)會(huì)談，公開發(fā)表《汪精衛(wèi)、陳獨(dú)秀聯(lián)合宣言》。這個(gè)宣言只字不提蔣介石的反革命活動(dòng)，反而認(rèn)為“國民黨領(lǐng)袖將驅(qū)逐共產(chǎn)黨，將壓迫工會(huì)與工人糾察隊(duì)”等等，都是“不知自何而起的謠言”，希望國共兩黨的同志“立即拋棄相互間的懷疑，不聽信任何謠言，相互尊敬，事事開城協(xié)商進(jìn)行”，“開誠合作，如兄弟般親密”。

在國共合作的過程中，中國共產(chǎn)黨實(shí)際上在統(tǒng)一戰(zhàn)線中處于從屬與配角地位。特別是沒有建立一支自己掌握的、與國民黨能抗衡的革命武裝，當(dāng)蔣介石、汪精衛(wèi)發(fā)動(dòng)反革命政變，大肆屠殺革命者的時(shí)候，共產(chǎn)黨人在很大程度上處于束手無策的狀態(tài)，轟轟烈烈的大革命由此失敗。

1927年3月至1928年上半年，被殺害的共產(chǎn)黨員和革命群眾達(dá)31萬多人，其中共產(chǎn)黨員2萬6千多人，黨員由近6萬人銳減到1萬余人；黨領(lǐng)導(dǎo)的工會(huì)會(huì)員由280萬人減少到幾萬人；擁有1000萬會(huì)員的各地農(nóng)民協(xié)會(huì)大多被解散。

在大革命失敗后的反革命大屠殺中，中國共產(chǎn)黨人得到了一條血的教訓(xùn)：中國無產(chǎn)階級(jí)在進(jìn)行革命時(shí)，不但應(yīng)建立廣泛的革命統(tǒng)一戰(zhàn)線，而且在統(tǒng)一戰(zhàn)線中應(yīng)掌握領(lǐng)導(dǎo)權(quán)，尤其是要建立一支自己領(lǐng)導(dǎo)的革命武裝，并由此認(rèn)識(shí)到了武裝斗爭(zhēng)的極端重要性。

大革命失敗后，全黨投入武裝反抗國民黨反動(dòng)統(tǒng)治的斗爭(zhēng)。但在武裝斗爭(zhēng)中，又存在照搬照抄十月革命經(jīng)驗(yàn)的問題。由于十月革命是以城市武裝起義的方式取得成功的，因此，在大革命失敗后一年多的時(shí)間里，各地黨組織領(lǐng)導(dǎo)的武裝起義，差不多都是以奪取城市為目標(biāo)。但是，由于敵強(qiáng)我弱的形勢(shì)以及城市是敵人的統(tǒng)治中心和反革命力量的集聚地，起義軍多數(shù)未能實(shí)現(xiàn)奪取城市的目標(biāo)，個(gè)別的武裝起義雖然一度控制了城市，但很快又得放棄。在這種情況下，以毛澤東同志為主要代表的中國共產(chǎn)黨人，開始將革命的目光轉(zhuǎn)向農(nóng)村，并相繼建立了若干農(nóng)村革命根據(jù)地，開始了農(nóng)村包圍城市革命道路的偉大探索。

隨著農(nóng)村革命根據(jù)地的建立，一個(gè)重要而又亟待解決的問題擺在共產(chǎn)黨人面前，這就是在長期農(nóng)村游擊戰(zhàn)爭(zhēng)、紅軍的主體是農(nóng)民組成的情況下，紅軍中的黨員主要來自于農(nóng)民和其他小資產(chǎn)階級(jí)，因此，如何保持黨的無產(chǎn)階級(jí)先鋒隊(duì)性質(zhì)、如何把紅軍建設(shè)成為無產(chǎn)階級(jí)領(lǐng)導(dǎo)的新型人民軍隊(duì)？

1929年12月，古田會(huì)議在福建省上杭縣古田村召開。古田會(huì)議強(qiáng)調(diào)：紅軍是一個(gè)執(zhí)行革命的政治任務(wù)的武裝集團(tuán)，必須絕對(duì)服從黨的領(lǐng)導(dǎo)，必須全心全意為著黨的綱領(lǐng)、路線和政策而奮斗。古田會(huì)議確立了人民軍隊(duì)建設(shè)的基本原則，成功地解決了在中國特殊國情、特殊革命道路中如何建設(shè)一個(gè)無產(chǎn)階級(jí)政黨、如何保持黨對(duì)人民軍隊(duì)絕對(duì)領(lǐng)導(dǎo)的重大問題。

古田會(huì)議之后，毛澤東同志寫了《星星之火，可以燎原》一文，強(qiáng)調(diào)那種全國范圍的、包括一切地方的、先爭(zhēng)取群眾后建立政權(quán)的理論，是與中國革命的實(shí)情不適合的。紅軍、游擊隊(duì)和紅色區(qū)域的建立和發(fā)展，是半殖民地中國在無產(chǎn)階級(jí)領(lǐng)導(dǎo)之下的農(nóng)民斗爭(zhēng)的最高形式，是促成中國革命高潮的最重要因素，標(biāo)志著農(nóng)村包圍城市、武裝奪取政權(quán)思想的初步形成。

盡管已經(jīng)建立了一些農(nóng)村革命根據(jù)地，但共產(chǎn)國際和中共中央的領(lǐng)導(dǎo)層并沒有認(rèn)識(shí)到中國革命的特殊性，沒有把革命的重心放在建立農(nóng)村革命根據(jù)地，而是期待能迅速奪取中心城市，一舉取得全國政權(quán)。1930年6月，中央政治局通過李立三起草的《新的革命高潮與一省或幾省首先勝利》的決議，標(biāo)志著“左”傾冒險(xiǎn)錯(cuò)誤在中共中央取得統(tǒng)治地位。決議從“城市中心論”的錯(cuò)誤觀點(diǎn)出發(fā)，命令城市中的黨組織舉行武裝起義，命令根據(jù)地的紅軍攻打中心城市。在執(zhí)行“立三路線”的過程中，紅二軍團(tuán)由1萬6千人減少到3千人，并喪失了洪湖根據(jù)地；紅七軍由6千多人減少到2千人，喪失了右江革命根據(jù)地。白區(qū)黨的力量也遭受嚴(yán)重?fù)p失，先后有11個(gè)省委機(jī)關(guān)遭受破壞，武漢、南京等城市的黨組織幾乎全部瓦解。

1931年1月，中國共產(chǎn)黨六屆四中全會(huì)在上海召開。在這次全會(huì)上，王明被選進(jìn)了中央政治局，隨后成為中共中央的實(shí)際領(lǐng)導(dǎo)人，黨也由此開始了長達(dá)四年之久的王明“左”傾教條主義統(tǒng)治時(shí)期。教條主義的重要特征，就是機(jī)械地執(zhí)行共產(chǎn)國際的指示，照搬照抄蘇聯(lián)的做法，如將蘇聯(lián)消滅地主富農(nóng)的政策搬來中國，在土地革命中搞“地主不分田，富農(nóng)分壞田”；照搬蘇聯(lián)肅反運(yùn)動(dòng)的做法，在革命根據(jù)地肅反嚴(yán)重?cái)U(kuò)大化，等等。教條主義形成的政治路線、軍事路線無一不嚴(yán)重脫離了中國的實(shí)際，也脫離了人民群眾，其嚴(yán)重后果，是各根據(jù)地的反“圍剿”相繼失利，主力紅軍被迫長征，黨遭受了新民主主義革命時(shí)期的第二次嚴(yán)重挫折。第五次反“圍剿”前，紅軍曾發(fā)展到約30萬人，三支主力紅軍長征時(shí)約有20萬人，長征結(jié)束時(shí)約3萬人；除少數(shù)紅軍游擊隊(duì)在堅(jiān)持斗爭(zhēng)外，南方已沒有一塊完整的根據(jù)地；白區(qū)黨的組織遭到嚴(yán)重破壞，全國黨員人數(shù)由最多時(shí)的30萬人減少至約4萬人。

1935年1月的遵義會(huì)議，標(biāo)志著教條主義在中共中央統(tǒng)治的終結(jié)。華北事變后，中華民族面臨著更為嚴(yán)重的生存危機(jī)，中日民族矛盾上升為主要矛盾，階級(jí)矛盾則下降為次要矛盾。社會(huì)主要矛盾的變化，需要黨的政策策略也隨之進(jìn)行調(diào)整。1935年12月，中共中央在瓦窯堡召開政治局?jǐn)U大會(huì)議，著重批判了之前黨內(nèi)存在的關(guān)門主義傾向，提出建立抗日民族統(tǒng)一戰(zhàn)線的主張。抗日民族統(tǒng)一戰(zhàn)線的提出，極大地改變了黨的形象，中國革命出現(xiàn)重大轉(zhuǎn)機(jī)。