但日寇仍不死心，仍想引誘他出山搞華北五省自治。不久，日寇在天津成立所謂“中日密教會”，謊稱段祺瑞為會長，更有人假借他的名義四處活動，組織便衣隊，擾亂社會治安，助紂為虐。段祺瑞雖在上海，可消息渠道既多又快，深感倘若謠言四處傳播，危害必大。于是他致電王揖唐、曾毓雋等，表明了自己的態(tài)度：“余養(yǎng)疴海上，不問世事。目下華北局勢嚴(yán)重，恐有假借名義，為軌外行動者，殊非愛國之道。

盼諸弟嚴(yán)密訪察，告知地方當(dāng)局，嚴(yán)加制止。”

再說王揖唐附逆心切，段祺瑞南下后，他仍不遺余力為日寇效命，并試探段祺瑞對重返天津的意向。由此，還鬧出了一場沸沸揚揚的電報風(fēng)波。據(jù)載，1935年的一天，王揖唐給段祺瑞發(fā)了一封非常古怪的電報，全文為：“玉裁詩集，已預(yù)約五部，余詩接洽，再待奉告。王賡。”這封在局外人看了如墜五里霧中的電報，段祺瑞一看卻是心知肚明。

原來，王揖唐初名志洋，后改名王賡。“玉裁”原指清代文字學(xué)家段玉裁，但此處則隱喻段祺瑞。“五部”是指所謂的“華北五省自治”。段祺瑞看出日寇仍要他出山，心想現(xiàn)在畢竟在上海，日寇也奈何他不得，但如若含糊其辭，恐日后蔣介石曉得了必生疑心。于是斷然拒絕了王揖唐的邀約，并復(fù)一封電報如下：“專電轉(zhuǎn)陳。玉公謂：股東決不同，不約其他方面，切勿接洽。

即已預(yù)約者，請作罷。”世上沒有不透風(fēng)的墻。王揖唐和段祺瑞的電報往來，盡管都用了暗語，但不知何故竟被一些嗅覺靈敏的記者獲悉了。就在段祺瑞復(fù)電的第二天，上海一家報紙用醒目的大字標(biāo)題登出了一段讓局外人頗為不解的文字：“預(yù)約詩集有五部，段祺瑞不出售；津王某來電，措詞閃爍；段復(fù)告務(wù)須一切作罷，態(tài)度堅決可佩。”一時猜測紛起，不少記者索性跑到段公館探問究竟。段祺瑞感到這是向國人表明自己心跡的大好時機(jī)，就干脆請《立報》記者把往來的電文公布于眾。他的這一愛國舉動，深得人們的贊許。

蔣介石幾次面謁段祺瑞，敬稱“老師”，甚至一再向外透露，準(zhǔn)備不久改組政府，推“老師”為總統(tǒng)。

段祺瑞自1926年被馮玉祥將軍趕下臺后，隱居天津，不久就成了虔誠的佛教徒。他日常除喜歡誦經(jīng)外，就是搓麻將、下圍棋。到上海后，他衣食無憂，起居如常。盡管他對世事表現(xiàn)出超然的姿態(tài)，但前來拜訪的人仍絡(luò)繹不絕。其中既有國民黨政要，也有故友舊部，還有一些新聞記者。蔣介石對段祺瑞始終十分關(guān)心，據(jù)段式巽回憶說：“先父寓滬期間，蔣氏除供應(yīng)我一家生活上所需，諸如住宅、仆役及醫(yī)療等一切開支之外，每月另致送一萬元供先父使用。”蔣介石特派錢新之負(fù)責(zé)照顧段祺瑞的日常生活，并不時念及問候。蔣介石親自登門拜訪段祺瑞的細(xì)節(jié)，頗能反映他對老師的態(tài)度。據(jù)段式巽回憶說：“那次蔣氏來訪，管門的不認(rèn)識，竟未啟大門迎車入內(nèi)，聽任蔣車停在路旁、局處車內(nèi)坐待。我從二樓遙見似有客至，下樓向仆役詢問，接過名刺，則赫然蔣氏。急忙迎入，并扶老父出見。蔣氏向老人先致問候之意，坐定后又對老人的起居寒暖、身體現(xiàn)狀及醫(yī)療情況等，詢問甚詳。情意殷勤，言詞親切。坐了一個多小時方辭去。”據(jù)徐鑄成先生回憶，蔣介石幾次面謁段祺瑞，敬稱“老師”，甚至一再向外透露，準(zhǔn)備不久改組政府，推“老師”為總統(tǒng)，他自己任副總統(tǒng)，等“老師”百年以后，他再當(dāng)總統(tǒng)。另據(jù)呂子韜先生告訴筆者，蔣曾把段接到南京游玩，陪段參觀他自任校長的中央軍校，一路上攙扶著段，其實蔣是做給中央軍校的學(xué)生看的。段祺瑞心里很清楚，1935年，他被蔣介石委任為國民政府委員時，他就沒有心安理得地接受，而是一直未就職。

段祺瑞在彌留之際，留下親筆遺囑，內(nèi)講“八勿”，闡述復(fù)興之道。

1936年11月2日，段祺瑞病逝滬寓，享年71歲。段在彌留之際，留下親筆遺囑，內(nèi)講“八勿”，憂國憂民，闡述復(fù)興之道，足可傳世。其中說：“余年已七十余，一朝怛化，揆諸生寄死歸之理，一切無所縈懷。惟我瞻四方，蹙國萬里，民窮財盡，實所痛心。”“國雖危弱，必有復(fù)興之望。復(fù)興之道，亦至簡單。勿因我見而輕啟政爭，勿空談而不顧實踐，勿興不急之務(wù)而浪用民財，勿信過激之說而自搖邦本；講外交者勿忘鞏固國防，司教育者勿忘保存國粹，治家者勿棄固有之禮教，求學(xué)者勿騖時尚之紛華。本此八勿，以應(yīng)萬有。所謂自力更生者在此，轉(zhuǎn)弱為強者亦在此矣。”

段祺瑞去世后，蔣介石撥給段家10萬元作為喪殮費用。南京國民政府明令表彰段祺瑞民國初年兩造共和立功勛。段祺瑞是安徽人，他去世前，蔣介石曾撥款20萬元在黃山為段修了墓道，造好了祭堂。但他家人親友對安葬地意見有分歧。段祺瑞的長子段宏業(yè)堅決反對把父親葬在黃山，公開聲稱：“老爺子一身事業(yè)在北方，應(yīng)該安葬到北方去。”可私下里他則說：“蔣介石這小子不是東西，將來決沒有好下場，咱老爺子身后也不能和他沾上關(guān)系。”錢新之為此征求蔣介石意見，蔣一改常態(tài)，頗有氣度地回電說：“芝帥葬地弟無成見，總以其家族之意見為重，唯弟意芝帥生前事業(yè)究在北平，故若營葬北平，亦可為民族歷史增光寵也。”12月9日，段祺瑞靈柩運抵北平，暫厝于西山臥佛寺。段祺瑞去世后，段夫人遷居愚園路近江蘇路口的一幢花園洋房，蔣介石仍派人每月送去生活費5000元，直至其終享天年。1937年7月抗戰(zhàn)爆發(fā)后，段祺瑞家人匆匆將段埋葬于北平西郊。直到1963年，段祺瑞侄子段宏綱和章士釗方在北京萬安公墓覓地安葬了段，章士釗題寫了墓碑：“合肥段公芝泉之墓”。

段祺瑞作為一個頗有爭議的北洋軍閥，在上世紀(jì)六十年代初期能得以蓋棺，也算是一種非常特殊的禮遇了。究其原因，這同毛澤東對他的一番評價有關(guān)。據(jù)段式巽回憶，解放初期，章士釗到北京后，曾將段祺瑞的歷史扼要書呈毛澤東。毛閱后呵呵一笑說：“有功有罪，已經(jīng)化敵為友了嘛。”1953年春，段式巽去北京，章士釗、李濟(jì)深兩位老人對她說：“你想，政府買下你段氏一處產(chǎn)業(yè)，花三千元，使用你們的房產(chǎn)，也每月按糧價折款付給租賃費，何曾作為‘敵產(chǎn)’對待？”這正說明，人民政府也肯定了段祺瑞在晚年保持民族氣節(jié)的表現(xiàn)。