劉益東 中國科學院自然科學史研究所研究員

點此查看完整報告

點此查看視頻專輯

點此查看課件

習近平總書記曾就防范化解政治、意識形態(tài)、經(jīng)濟、科技、社會、外部環(huán)境、黨的建設等領域重大風險作出深刻分析，提出明確要求。關于科技方面，習近平總書記強調：“科技是發(fā)展的利器，也可能成為風險的源頭。要前瞻研判科技發(fā)展帶來的規(guī)則沖突、社會風險、倫理挑戰(zhàn)，完善相關法律法規(guī)、倫理審查規(guī)則及監(jiān)管框架。”在科技飛速發(fā)展的今天，如何引導科技向善成為一道必答題。

一、觀察現(xiàn)象：人工智能發(fā)展帶來的科技風險

2016年，圍棋高手李世石被谷歌旗下DeepMind團隊開發(fā)的AlphaGo計算機程序以4:1的高分擊敗，引發(fā)全球關注。2017年，DeepMind發(fā)布了AlphaGo的新版本。AlphaGo Zero，經(jīng)過3天的訓練便以100:0的戰(zhàn)績擊敗了AlphoGo Lee，也就是戰(zhàn)勝李世石的版本，經(jīng)過40天的訓練便擊敗了AlphoGo Master，也就是擊敗世界冠軍柯潔的版本。以前的版本依靠的是人工錄入的大量棋譜來幫助學習，新版本強化學習算法，即不再依賴任何棋譜，編程人員輸入圍棋基本規(guī)則后，不再進行任何教導，完全由其自己進行摸索，總結走棋方法，相當于人工智能完全按照自己的方法學習。

Chat GPT出現(xiàn)的時候，一些人工智能領域的專家表示，AlphaGo出現(xiàn)的時候雖然受了很大沖擊，但是人們覺得，好比養(yǎng)貓，AlphaGo只是比其他家養(yǎng)的貓更聰明，而Chat GPT的出現(xiàn)，就好像這只聰明的貓已經(jīng)會說人話了。

Deep Seek出現(xiàn)以后，業(yè)界普遍認為現(xiàn)有模型已經(jīng)超過大部分博士畢業(yè)生的研究水平，甚至在有些領域達到了優(yōu)秀學者的水平。它的結構性很好，且能做到系統(tǒng)性深化、細化，雖然有時候出現(xiàn)“幻覺”，但人們也能分辨出來。

人工智能的成長速度很快，OpenAI模型o3智商高達157，在編程競賽中表現(xiàn)得更加高效和精準，超越了99.8%的選手，接近全球前200程序員的水平。DeepMind推出的AlphaGeometry2，在國際數(shù)學奧林匹克競賽（IMO）的大規(guī)模幾何題目測試中，超越人類金牌得主水平，解答了其中的42道，超過了金牌得主40.9分的平均成績。這一現(xiàn)象從一個側面體現(xiàn)出人工智能的反噬作用。人類創(chuàng)造出比自己更聰明的產(chǎn)品代替自己完成很多事情，但是人工智能在幫助人類做好事的同時也有做壞事的潛在風險。社會科學工作者要擔起責任，有句話說“雖然改變不了世界，但是能改變世界觀”。

二、科技風險激增下的擔憂

（一）末日概率

“末日概率”指個人認為人工智能可能帶領人類走向末日的機率。人工智能先驅人物、2024年諾貝爾物理學獎獲得者杰弗里·辛頓表示，人工智能導致人類滅絕的可能性在10%到20%之間。2024年1月，一項有關人工智能未來的、較大規(guī)模的調查結果顯示，在世界頂級人工智能期刊或國際會議發(fā)表過論文的2778位受訪人員中，有15.6%的受訪者認為AI發(fā)展過快，41.2%至51.4%的受訪者估計人類滅絕或嚴重喪失權力的可能性超過10%。我認為，這一結果較為保守，一是這項調查是2023年進行的，時間較早而人工智能發(fā)展又很快，二是行業(yè)專家不愿主動渲染本專業(yè)的危險性。

那么，假如人類有10%的可能性被人工智能覆滅，這一概率意味著什么？這是一個我們根本無法承受的數(shù)字。我們以民航為例，據(jù)國際民航統(tǒng)計，全球每天有約10萬架次民航航班。如果平均每天有10架飛機出事，那么飛機的出事概率也只有萬分之一。10%的出事概率意味著，每天有1萬架飛機遇難，而現(xiàn)在飛機失事的平均概率僅為上百萬次分之一。我相信，如果空難概率高達10%，沒有人會選擇坐飛機。