這次回湘，毛澤東和楊開慧仍住長沙小吳門外的清水塘二十二號。開慧上有老母，下有孩子，負擔很重，生活清苦。毛澤東回來后她格外高興。他們的第二個孩子毛岸青也于十一月降生了?？墒莿傋×巳齻€月，毛澤東就接到中共中央的通知，要他離湘赴上海。臨行前，毛澤東強抑感情，作《賀新郎》相慰：

揮手從茲去。更那堪凄然相向，苦情重訴。眼角眉梢都似恨，熱淚欲零還住。知誤會前番書語。過眼滔滔云共霧，算人間知己吾與汝。人有病，天知否？

今朝霜重東門路，照橫塘半天殘月，凄清如許。汽笛一聲腸已斷，從此天涯孤旅。憑割斷愁絲恨縷。要似昆侖崩絕壁，又恰像臺風掃寰宇，重比翼，和云翥。

毛澤東到上海，是為了參加即將在廣州召開的國民黨第一次全國代表大會。中央的通知說：“吾黨在此次國民黨大會代表中，希望每省至少當選一人……此同志必須政治頭腦明晰且有口才者，方能在大會中糾正國民黨舊的錯誤觀念。”

“俟各省代表過滬時，我們的同志再集合議決一致的主張。”[3]

一九二四年一月二十日，是個很重要的日子。在孫中山主持下，國共兩黨的精英，同處于廣東高等師范學(xué)院那座有著高高塔樓的禮堂內(nèi)，召開國民黨第一次全國代表大會。毛澤東以湖南地方組織代表的身分出席。他的座位是三十九號，會議期間被指定為章程審查委員之一。他多次發(fā)言，除就組織國民政府、出版及宣傳、設(shè)立研究會等問題發(fā)表意見外，還針對國民黨內(nèi)的右派觀點申明自己的主張。

一月二十八日，討論國民黨章程時，廣州代表方瑞麟提出不能黨中有黨，要求寫上國民黨員不能加入其他政黨的條文。這個提案顯然是針對共產(chǎn)黨員跨黨、反對孫中山容共政策的。李大釗率先駁斥方的謬論，誠懇地解釋了共產(chǎn)黨的做法。廖仲愷等人起而支持。在大會氣氛有利于國共合作的情況下，毛澤東趁機發(fā)言：“主席！主席！三十九號發(fā)言，本席主張停止討論，即付表決。”[4]結(jié)果方瑞麟的提案被輕易否決了。

二十九日，大會在是否通過“請采比例選舉制為大會政綱之一”的議案時，發(fā)生了激烈爭論。所謂比例選舉制，是西方國家選舉制度之一。它根據(jù)各政黨在全國所得選票在選票總數(shù)中的比例，來分配其議員席位的名額。提案人黃季陸發(fā)言說：“比例選舉制，可以打破現(xiàn)在選舉的流弊，因為現(xiàn)在選舉制總是以多數(shù)壓服少數(shù)，而比例選舉制則各能如其勢力以發(fā)展，毫無沖突之處”。他的意圖是保護當時在國民黨內(nèi)占少數(shù)的右派的地位，很得到一些人的支持。毛澤東發(fā)言反駁說：“現(xiàn)時比例選舉制系少數(shù)黨所運動出來的結(jié)果。本黨為革命黨，凡利于革命的可采用，有害于革命的即應(yīng)擯棄。比例制有害于革命黨，因少數(shù)人當選即有力量可以破壞革命事業(yè)，是予少數(shù)派以機會也。本席根本反對本案，以為不能討論，不能表決。”[5]多數(shù)代表同意毛澤東的意見，大會沒有通過這個提案。

毛澤東在會上的表現(xiàn)，受到孫中山和一些國民黨人士的賞識和注意。三十日上午，選舉中央執(zhí)行委員和候補委員時，孫中山親自擬了一個候選人名單，交付大會表決，其中就有毛澤東。他被選為中央候補執(zhí)行委員。

大會結(jié)束后，毛澤東被派往上海參加國民黨上海執(zhí)行部的工作。他于二月中旬到上海，同蔡和森、向警予、羅章龍等住在閘北香山路三曾里中共中央機關(guān)內(nèi)。六月初，楊開慧和母親帶著毛岸英、毛岸青從長沙到上海，一家便住在英租界慕爾鳴路甲秀里（今威海衛(wèi)路五八三弄）。

上海執(zhí)行部是國民黨在廣東根據(jù)地以外最重要的機構(gòu)，統(tǒng)轄江蘇、浙江、安徽、江西、上海等地工作，在上海法租界環(huán)龍路四十四號辦公。國民黨元老胡漢民、汪精衛(wèi)、于右任、葉楚傖等分任各部部長，毛澤東任組織部秘書兼代秘書處文書科主任。沈澤民、瞿秋白、鄧中夏、惲代英、向警子、羅章龍、邵力子、張秋人、王荷波等共產(chǎn)黨員，也都擔負執(zhí)行部各部門的實際工作。社會上一時稱環(huán)龍四十四號為“國共群英會”。

中共中央領(lǐng)導(dǎo)機構(gòu)那時也設(shè)在上海。國共合作一段時間后，需要總結(jié)經(jīng)驗。中共中央執(zhí)行委員會在上海召開擴大會議，通過了《共產(chǎn)黨在國民黨內(nèi)的工作問題》等決議案，強調(diào)“國民黨的左派是孫中山及其一派和我們的同志――我們同志其實是這派的基本隊”。“我們應(yīng)當用種種方法于思想上和組織上鞏固左翼”，并“以宣傳工作為主”，宣傳國民黨一大精神，宣傳反對帝國主義、反對軍閥、要求民權(quán)的主張。這次會議決定中央分設(shè)組織、宣傳、工農(nóng)、婦女各部，毛澤東擔任組織部長。

會后，他以中央局秘書身分，起草并與陳獨秀聯(lián)合簽署了一系列文件，如《中共中央通告》第十四號（五月十九日）、第十五號（七月二十一日）、第十七號（九月十七日）、第二十一號（十一月一日）等。這些文件的一個重要內(nèi)容是堅持國共合作，反對右傾。一九二四年六月一日，孫科等提出“制裁共產(chǎn)黨分子案”。十八日，國民黨中央監(jiān)察委員張繼、謝持等又提出“彈劾共產(chǎn)黨案”。針對這些情況，在第十五號《通告》里第一次使用了國民黨“右派”這個概念，要求全黨一方面要注意革命勢力的聯(lián)合，不要使“分離的言論與事實出于我方，須盡我們的力量忍耐與之合作”；另一方面，“為國民革命的使命計”，對右派的言論、活動，“都不可隱忍不加以糾正”。