最近，“人機(jī)大戰(zhàn)”引起世人關(guān)注，人工智能發(fā)展引發(fā)的憂慮和爭論開始從學(xué)術(shù)圈進(jìn)入公眾視野。要將這些思考引向深入，而不是停留于盲目樂觀或意氣用事上，就需要拓寬視閾、厘清思路，特別是要善用底線思維來把握問題。我們可以從近期威脅、遠(yuǎn)期威脅和終極威脅三個(gè)層面來分析無限制發(fā)展人工智能可能帶來的后果，為思考人工智能問題提供一種視角。

近期威脅的一個(gè)表現(xiàn)是人工智能開始大批量取代藍(lán)領(lǐng)工人和下層白領(lǐng)。這一點(diǎn)在發(fā)達(dá)國家的制造業(yè)中已表現(xiàn)得相當(dāng)明顯，我國一些工廠也正在用工業(yè)人工智能取代工人。從經(jīng)濟(jì)效益角度看，工業(yè)人工智能成本的下降已經(jīng)使“取代”變得有利可圖。藍(lán)領(lǐng)工人和下層白領(lǐng)因?yàn)楸还I(yè)人工智能取代而大批失業(yè)，當(dāng)然不是社會(huì)之福。“汽車的出現(xiàn)沒有讓馬車夫找不到新工作”只是以往的經(jīng)驗(yàn)，這一次也許并非如此：大批藍(lán)領(lǐng)工人和下層白領(lǐng)陸續(xù)失業(yè)，如果到達(dá)某個(gè)臨界點(diǎn)，社會(huì)就有可能發(fā)生動(dòng)蕩。發(fā)展人工智能，必須充分考慮這一問題。

近期威脅的另一個(gè)表現(xiàn)是軍用人工智能的研發(fā)。近來，史蒂芬·霍金、比爾·蓋茨和伊隆·馬斯克等人共同呼吁世人警惕人工智能的盲目研發(fā)，特別要警惕軍事用途人工智能的研發(fā)，認(rèn)為這有可能產(chǎn)生比原子彈更可怕的武器。這一方面是因?yàn)檐娪萌斯ぶ悄苡锌赡苤苯硬倏匚淦?，一旦失控，后果難以設(shè)想；另一方面，即使沒有失控，研發(fā)出這類更冷酷更高效的殺人武器，從根本上說也絕非人類之福。

人工智能的遠(yuǎn)期威脅中，最容易想到的就是它們可能的反叛。這一點(diǎn)很容易理解，《黑客帝國》《未來戰(zhàn)士》等科幻影片中對(duì)此已做過大量設(shè)想。人工智能業(yè)界和一些盲目樂觀的人士，經(jīng)常用“人工智能還很初級(jí)”之類的說法來安慰公眾，但這樣的理由是站不住腳的，“老虎還小”不能成為養(yǎng)虎的理由。在這個(gè)問題上，“人造的東西不可能超過人”“可以為人工智能設(shè)立道德標(biāo)準(zhǔn)”之類的信念也是軟弱無力的。因此，在發(fā)展人工智能時(shí)，我們對(duì)這一威脅一定要保持足夠的警惕。

人工智能的終極威脅更加發(fā)人深省。這種威脅并非建立在人工智能反叛的假定之上，而是恰恰相反。阿西莫夫最為人知的是他提出的“機(jī)器人三定律”，但他另一個(gè)更重要的觀點(diǎn)卻少有人注意：所有依賴人工智能的文明都終將滅亡。他給出的理由之一是：“一個(gè)完全依賴機(jī)器人的社會(huì)，由于極度單調(diào)無趣，或者說得更玄一點(diǎn)，失去了生存的意志，終究會(huì)變得孱弱、衰頹、沒落而奄奄一息。”這個(gè)看法是很有見地的。

這里排除了人工智能反叛人類的可能，假定人工智能如我們所希望的那樣，為人類承擔(dān)了越來越多的工作。但是，結(jié)果會(huì)如何呢？正如有的媒體所說的：“未來機(jī)器人，也許能勝任任何工作”。如果“任何工作”都讓人工智能承擔(dān)，人類是不是就會(huì)變成整天混吃等死的寄生蟲呢？如果真是這樣，用不了多少時(shí)間，人類的機(jī)能和智力都將迅速退化，我們的人生就將變得毫無意義，這對(duì)人類來說是一種更為可怕的威脅。

不怕一萬，就怕萬一。凡事要從最壞處做準(zhǔn)備，努力爭取最好的結(jié)果。認(rèn)識(shí)到人工智能有近期、遠(yuǎn)期和終極三重威脅，要求我們?cè)诎l(fā)展人工智能時(shí)必須慎重，不應(yīng)盲目。樹立底線思維，正是為了“為之于未有，治之于未亂”。在人工智能發(fā)展上首先要做好風(fēng)險(xiǎn)管控，這樣發(fā)展起來的人工智能才是人類之福。

（作者為上海交通大學(xué)科學(xué)史與科學(xué)文化研究院院長）