這次回湘，毛澤東和楊開慧仍住長沙小吳門外的清水塘二十二號(hào)。開慧上有老母，下有孩子，負(fù)擔(dān)很重，生活清苦。毛澤東回來后她格外高興。他們的第二個(gè)孩子毛岸青也于十一月降生了。可是剛住了三個(gè)月，毛澤東就接到中共中央的通知，要他離湘赴上海。臨行前，毛澤東強(qiáng)抑感情，作《賀新郎》相慰：

揮手從茲去。更那堪凄然相向，苦情重訴。眼角眉梢都似恨，熱淚欲零還住。知誤會(huì)前番書語。過眼滔滔云共霧，算人間知己吾與汝。人有病，天知否？

今朝霜重東門路，照橫塘半天殘?jiān)?，凄清如許。汽笛一聲腸已斷，從此天涯孤旅。憑割斷愁絲恨縷。要似昆侖崩絕壁，又恰像臺(tái)風(fēng)掃寰宇，重比翼，和云翥。

毛澤東到上海，是為了參加即將在廣州召開的國民黨第一次全國代表大會(huì)。中央的通知說：“吾黨在此次國民黨大會(huì)代表中，希望每省至少當(dāng)選一人……此同志必須政治頭腦明晰且有口才者，方能在大會(huì)中糾正國民黨舊的錯(cuò)誤觀念。”

“俟各省代表過滬時(shí)，我們的同志再集合議決一致的主張。”[3]

一九二四年一月二十日，是個(gè)很重要的日子。在孫中山主持下，國共兩黨的精英，同處于廣東高等師范學(xué)院那座有著高高塔樓的禮堂內(nèi)，召開國民黨第一次全國代表大會(huì)。毛澤東以湖南地方組織代表的身分出席。他的座位是三十九號(hào)，會(huì)議期間被指定為章程審查委員之一。他多次發(fā)言，除就組織國民政府、出版及宣傳、設(shè)立研究會(huì)等問題發(fā)表意見外，還針對(duì)國民黨內(nèi)的右派觀點(diǎn)申明自己的主張。

一月二十八日，討論國民黨章程時(shí)，廣州代表方瑞麟提出不能黨中有黨，要求寫上國民黨員不能加入其他政黨的條文。這個(gè)提案顯然是針對(duì)共產(chǎn)黨員跨黨、反對(duì)孫中山容共政策的。李大釗率先駁斥方的謬論，誠懇地解釋了共產(chǎn)黨的做法。廖仲愷等人起而支持。在大會(huì)氣氛有利于國共合作的情況下，毛澤東趁機(jī)發(fā)言：“主席！主席！三十九號(hào)發(fā)言，本席主張停止討論，即付表決。”[4]結(jié)果方瑞麟的提案被輕易否決了。

二十九日，大會(huì)在是否通過“請(qǐng)采比例選舉制為大會(huì)政綱之一”的議案時(shí)，發(fā)生了激烈爭論。所謂比例選舉制，是西方國家選舉制度之一。它根據(jù)各政黨在全國所得選票在選票總數(shù)中的比例，來分配其議員席位的名額。提案人黃季陸發(fā)言說：“比例選舉制，可以打破現(xiàn)在選舉的流弊，因?yàn)楝F(xiàn)在選舉制總是以多數(shù)壓服少數(shù)，而比例選舉制則各能如其勢力以發(fā)展，毫無沖突之處”。他的意圖是保護(hù)當(dāng)時(shí)在國民黨內(nèi)占少數(shù)的右派的地位，很得到一些人的支持。毛澤東發(fā)言反駁說：“現(xiàn)時(shí)比例選舉制系少數(shù)黨所運(yùn)動(dòng)出來的結(jié)果。本黨為革命黨，凡利于革命的可采用，有害于革命的即應(yīng)擯棄。比例制有害于革命黨，因少數(shù)人當(dāng)選即有力量可以破壞革命事業(yè)，是予少數(shù)派以機(jī)會(huì)也。本席根本反對(duì)本案，以為不能討論，不能表決。”[5]多數(shù)代表同意毛澤東的意見，大會(huì)沒有通過這個(gè)提案。

毛澤東在會(huì)上的表現(xiàn)，受到孫中山和一些國民黨人士的賞識(shí)和注意。三十日上午，選舉中央執(zhí)行委員和候補(bǔ)委員時(shí)，孫中山親自擬了一個(gè)候選人名單，交付大會(huì)表決，其中就有毛澤東。他被選為中央候補(bǔ)執(zhí)行委員。

大會(huì)結(jié)束后，毛澤東被派往上海參加國民黨上海執(zhí)行部的工作。他于二月中旬到上海，同蔡和森、向警予、羅章龍等住在閘北香山路三曾里中共中央機(jī)關(guān)內(nèi)。六月初，楊開慧和母親帶著毛岸英、毛岸青從長沙到上海，一家便住在英租界慕爾鳴路甲秀里（今威海衛(wèi)路五八三弄）。

上海執(zhí)行部是國民黨在廣東根據(jù)地以外最重要的機(jī)構(gòu)，統(tǒng)轄江蘇、浙江、安徽、江西、上海等地工作，在上海法租界環(huán)龍路四十四號(hào)辦公。國民黨元老胡漢民、汪精衛(wèi)、于右任、葉楚傖等分任各部部長，毛澤東任組織部秘書兼代秘書處文書科主任。沈澤民、瞿秋白、鄧中夏、惲代英、向警子、羅章龍、邵力子、張秋人、王荷波等共產(chǎn)黨員，也都擔(dān)負(fù)執(zhí)行部各部門的實(shí)際工作。社會(huì)上一時(shí)稱環(huán)龍四十四號(hào)為“國共群英會(huì)”。

中共中央領(lǐng)導(dǎo)機(jī)構(gòu)那時(shí)也設(shè)在上海。國共合作一段時(shí)間后，需要總結(jié)經(jīng)驗(yàn)。中共中央執(zhí)行委員會(huì)在上海召開擴(kuò)大會(huì)議，通過了《共產(chǎn)黨在國民黨內(nèi)的工作問題》等決議案，強(qiáng)調(diào)“國民黨的左派是孫中山及其一派和我們的同志――我們同志其實(shí)是這派的基本隊(duì)”。“我們應(yīng)當(dāng)用種種方法于思想上和組織上鞏固左翼”，并“以宣傳工作為主”，宣傳國民黨一大精神，宣傳反對(duì)帝國主義、反對(duì)軍閥、要求民權(quán)的主張。這次會(huì)議決定中央分設(shè)組織、宣傳、工農(nóng)、婦女各部，毛澤東擔(dān)任組織部長。

會(huì)后，他以中央局秘書身分，起草并與陳獨(dú)秀聯(lián)合簽署了一系列文件，如《中共中央通告》第十四號(hào)（五月十九日）、第十五號(hào)（七月二十一日）、第十七號(hào)（九月十七日）、第二十一號(hào)（十一月一日）等。這些文件的一個(gè)重要內(nèi)容是堅(jiān)持國共合作，反對(duì)右傾。一九二四年六月一日，孫科等提出“制裁共產(chǎn)黨分子案”。十八日，國民黨中央監(jiān)察委員張繼、謝持等又提出“彈劾共產(chǎn)黨案”。針對(duì)這些情況，在第十五號(hào)《通告》里第一次使用了國民黨“右派”這個(gè)概念，要求全黨一方面要注意革命勢力的聯(lián)合，不要使“分離的言論與事實(shí)出于我方，須盡我們的力量忍耐與之合作”；另一方面，“為國民革命的使命計(jì)”，對(duì)右派的言論、活動(dòng)，“都不可隱忍不加以糾正”。