劉益東 中國科學(xué)院自然科學(xué)史研究所研究員

點此查看完整報告

點此查看視頻專輯

點此查看課件

習(xí)近平總書記曾就防范化解政治、意識形態(tài)、經(jīng)濟、科技、社會、外部環(huán)境、黨的建設(shè)等領(lǐng)域重大風(fēng)險作出深刻分析，提出明確要求。關(guān)于科技方面，習(xí)近平總書記強調(diào)：“科技是發(fā)展的利器，也可能成為風(fēng)險的源頭。要前瞻研判科技發(fā)展帶來的規(guī)則沖突、社會風(fēng)險、倫理挑戰(zhàn)，完善相關(guān)法律法規(guī)、倫理審查規(guī)則及監(jiān)管框架。”在科技飛速發(fā)展的今天，如何引導(dǎo)科技向善成為一道必答題。

一、觀察現(xiàn)象：人工智能發(fā)展帶來的科技風(fēng)險

2016年，圍棋高手李世石被谷歌旗下DeepMind團隊開發(fā)的AlphaGo計算機程序以4:1的高分擊敗，引發(fā)全球關(guān)注。2017年，DeepMind發(fā)布了AlphaGo的新版本。AlphaGo Zero，經(jīng)過3天的訓(xùn)練便以100:0的戰(zhàn)績擊敗了AlphoGo Lee，也就是戰(zhàn)勝李世石的版本，經(jīng)過40天的訓(xùn)練便擊敗了AlphoGo Master，也就是擊敗世界冠軍柯潔的版本。以前的版本依靠的是人工錄入的大量棋譜來幫助學(xué)習(xí)，新版本強化學(xué)習(xí)算法，即不再依賴任何棋譜，編程人員輸入圍棋基本規(guī)則后，不再進行任何教導(dǎo)，完全由其自己進行摸索，總結(jié)走棋方法，相當(dāng)于人工智能完全按照自己的方法學(xué)習(xí)。

Chat GPT出現(xiàn)的時候，一些人工智能領(lǐng)域的專家表示，AlphaGo出現(xiàn)的時候雖然受了很大沖擊，但是人們覺得，好比養(yǎng)貓，AlphaGo只是比其他家養(yǎng)的貓更聰明，而Chat GPT的出現(xiàn)，就好像這只聰明的貓已經(jīng)會說人話了。

Deep Seek出現(xiàn)以后，業(yè)界普遍認(rèn)為現(xiàn)有模型已經(jīng)超過大部分博士畢業(yè)生的研究水平，甚至在有些領(lǐng)域達到了優(yōu)秀學(xué)者的水平。它的結(jié)構(gòu)性很好，且能做到系統(tǒng)性深化、細化，雖然有時候出現(xiàn)“幻覺”，但人們也能分辨出來。

人工智能的成長速度很快，OpenAI模型o3智商高達157，在編程競賽中表現(xiàn)得更加高效和精準(zhǔn)，超越了99.8%的選手，接近全球前200程序員的水平。DeepMind推出的AlphaGeometry2，在國際數(shù)學(xué)奧林匹克競賽（IMO）的大規(guī)模幾何題目測試中，超越人類金牌得主水平，解答了其中的42道，超過了金牌得主40.9分的平均成績。這一現(xiàn)象從一個側(cè)面體現(xiàn)出人工智能的反噬作用。人類創(chuàng)造出比自己更聰明的產(chǎn)品代替自己完成很多事情，但是人工智能在幫助人類做好事的同時也有做壞事的潛在風(fēng)險。社會科學(xué)工作者要擔(dān)起責(zé)任，有句話說“雖然改變不了世界，但是能改變世界觀”。

二、科技風(fēng)險激增下的擔(dān)憂

（一）末日概率

“末日概率”指個人認(rèn)為人工智能可能帶領(lǐng)人類走向末日的機率。人工智能先驅(qū)人物、2024年諾貝爾物理學(xué)獎獲得者杰弗里·辛頓表示，人工智能導(dǎo)致人類滅絕的可能性在10%到20%之間。2024年1月，一項有關(guān)人工智能未來的、較大規(guī)模的調(diào)查結(jié)果顯示，在世界頂級人工智能期刊或國際會議發(fā)表過論文的2778位受訪人員中，有15.6%的受訪者認(rèn)為AI發(fā)展過快，41.2%至51.4%的受訪者估計人類滅絕或嚴(yán)重喪失權(quán)力的可能性超過10%。我認(rèn)為，這一結(jié)果較為保守，一是這項調(diào)查是2023年進行的，時間較早而人工智能發(fā)展又很快，二是行業(yè)專家不愿主動渲染本專業(yè)的危險性。

那么，假如人類有10%的可能性被人工智能覆滅，這一概率意味著什么？這是一個我們根本無法承受的數(shù)字。我們以民航為例，據(jù)國際民航統(tǒng)計，全球每天有約10萬架次民航航班。如果平均每天有10架飛機出事，那么飛機的出事概率也只有萬分之一。10%的出事概率意味著，每天有1萬架飛機遇難，而現(xiàn)在飛機失事的平均概率僅為上百萬次分之一。我相信，如果空難概率高達10%，沒有人會選擇坐飛機。