劉益東 中國(guó)科學(xué)院自然科學(xué)史研究所研究員

點(diǎn)此查看完整報(bào)告

點(diǎn)此查看視頻專輯

點(diǎn)此查看課件

習(xí)近平總書(shū)記曾就防范化解政治、意識(shí)形態(tài)、經(jīng)濟(jì)、科技、社會(huì)、外部環(huán)境、黨的建設(shè)等領(lǐng)域重大風(fēng)險(xiǎn)作出深刻分析，提出明確要求。關(guān)于科技方面，習(xí)近平總書(shū)記強(qiáng)調(diào)：“科技是發(fā)展的利器，也可能成為風(fēng)險(xiǎn)的源頭。要前瞻研判科技發(fā)展帶來(lái)的規(guī)則沖突、社會(huì)風(fēng)險(xiǎn)、倫理挑戰(zhàn)，完善相關(guān)法律法規(guī)、倫理審查規(guī)則及監(jiān)管框架。”在科技飛速發(fā)展的今天，如何引導(dǎo)科技向善成為一道必答題。

一、觀察現(xiàn)象：人工智能發(fā)展帶來(lái)的科技風(fēng)險(xiǎn)

2016年，圍棋高手李世石被谷歌旗下DeepMind團(tuán)隊(duì)開(kāi)發(fā)的AlphaGo計(jì)算機(jī)程序以4:1的高分擊敗，引發(fā)全球關(guān)注。2017年，DeepMind發(fā)布了AlphaGo的新版本。AlphaGo Zero，經(jīng)過(guò)3天的訓(xùn)練便以100:0的戰(zhàn)績(jī)擊敗了AlphoGo Lee，也就是戰(zhàn)勝李世石的版本，經(jīng)過(guò)40天的訓(xùn)練便擊敗了AlphoGo Master，也就是擊敗世界冠軍柯潔的版本。以前的版本依靠的是人工錄入的大量棋譜來(lái)幫助學(xué)習(xí)，新版本強(qiáng)化學(xué)習(xí)算法，即不再依賴任何棋譜，編程人員輸入圍棋基本規(guī)則后，不再進(jìn)行任何教導(dǎo)，完全由其自己進(jìn)行摸索，總結(jié)走棋方法，相當(dāng)于人工智能完全按照自己的方法學(xué)習(xí)。

Chat GPT出現(xiàn)的時(shí)候，一些人工智能領(lǐng)域的專家表示，AlphaGo出現(xiàn)的時(shí)候雖然受了很大沖擊，但是人們覺(jué)得，好比養(yǎng)貓，AlphaGo只是比其他家養(yǎng)的貓更聰明，而Chat GPT的出現(xiàn)，就好像這只聰明的貓已經(jīng)會(huì)說(shuō)人話了。

Deep Seek出現(xiàn)以后，業(yè)界普遍認(rèn)為現(xiàn)有模型已經(jīng)超過(guò)大部分博士畢業(yè)生的研究水平，甚至在有些領(lǐng)域達(dá)到了優(yōu)秀學(xué)者的水平。它的結(jié)構(gòu)性很好，且能做到系統(tǒng)性深化、細(xì)化，雖然有時(shí)候出現(xiàn)“幻覺(jué)”，但人們也能分辨出來(lái)。

人工智能的成長(zhǎng)速度很快，OpenAI模型o3智商高達(dá)157，在編程競(jìng)賽中表現(xiàn)得更加高效和精準(zhǔn)，超越了99.8%的選手，接近全球前200程序員的水平。DeepMind推出的AlphaGeometry2，在國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽（IMO）的大規(guī)模幾何題目測(cè)試中，超越人類金牌得主水平，解答了其中的42道，超過(guò)了金牌得主40.9分的平均成績(jī)。這一現(xiàn)象從一個(gè)側(cè)面體現(xiàn)出人工智能的反噬作用。人類創(chuàng)造出比自己更聰明的產(chǎn)品代替自己完成很多事情，但是人工智能在幫助人類做好事的同時(shí)也有做壞事的潛在風(fēng)險(xiǎn)。社會(huì)科學(xué)工作者要擔(dān)起責(zé)任，有句話說(shuō)“雖然改變不了世界，但是能改變世界觀”。

二、科技風(fēng)險(xiǎn)激增下的擔(dān)憂

（一）末日概率

“末日概率”指?jìng)€(gè)人認(rèn)為人工智能可能帶領(lǐng)人類走向末日的機(jī)率。人工智能先驅(qū)人物、2024年諾貝爾物理學(xué)獎(jiǎng)獲得者杰弗里·辛頓表示，人工智能導(dǎo)致人類滅絕的可能性在10%到20%之間。2024年1月，一項(xiàng)有關(guān)人工智能未來(lái)的、較大規(guī)模的調(diào)查結(jié)果顯示，在世界頂級(jí)人工智能期刊或國(guó)際會(huì)議發(fā)表過(guò)論文的2778位受訪人員中，有15.6%的受訪者認(rèn)為AI發(fā)展過(guò)快，41.2%至51.4%的受訪者估計(jì)人類滅絕或嚴(yán)重喪失權(quán)力的可能性超過(guò)10%。我認(rèn)為，這一結(jié)果較為保守，一是這項(xiàng)調(diào)查是2023年進(jìn)行的，時(shí)間較早而人工智能發(fā)展又很快，二是行業(yè)專家不愿主動(dòng)渲染本專業(yè)的危險(xiǎn)性。

那么，假如人類有10%的可能性被人工智能覆滅，這一概率意味著什么？這是一個(gè)我們根本無(wú)法承受的數(shù)字。我們以民航為例，據(jù)國(guó)際民航統(tǒng)計(jì)，全球每天有約10萬(wàn)架次民航航班。如果平均每天有10架飛機(jī)出事，那么飛機(jī)的出事概率也只有萬(wàn)分之一。10%的出事概率意味著，每天有1萬(wàn)架飛機(jī)遇難，而現(xiàn)在飛機(jī)失事的平均概率僅為上百萬(wàn)次分之一。我相信，如果空難概率高達(dá)10%，沒(méi)有人會(huì)選擇坐飛機(jī)。