中西方共同意識到未對齊的超級智能所帶來的威脅，可能是中美關(guān)系中最好的事情。

作者｜田思奇

6月15日，在2024年北京智源大會上，麻省理工學(xué)院（MIT）教授，當(dāng)代人工智能領(lǐng)域重要的思想家之一麥克斯·泰格馬克（Max Tegmark），和加州大學(xué)伯克利分校教授斯圖爾特·羅素（Stuart Russell），分別面向中國觀眾闡釋了他們對AI安全的理解。

羅素最為人知的身份，是人工智能領(lǐng)域必讀教科書《人工智能：現(xiàn)代方法》的作者。作為開場嘉賓之一，他也為AI安全議題提供了教科書般的拆解。穿著藍色外套的他看起來足夠冷靜、嚴(yán)肅，對各種事例和比喻信手拈來。

而身著牛仔褲、皮夾克和自制圖案T恤的泰格馬克，看起來更像是一位老牌搖滾明星。

泰格馬克是MIT的物理學(xué)教授，同時也涉足人工智能研究。他還是暢銷書《生命3.0》的作者。上一次登上全球媒體頭條時，泰格馬克以未來生命研究所創(chuàng)始人的名義發(fā)表了著名的公開信，在2023年3月的時候呼吁暫停研發(fā)AI模型至少六個月，吸引來上千名AI行業(yè)專家共同簽署。

盡管總是走在呼吁重視AI安全的路上，泰格馬克卻不完全是一位悲觀主義者。最新的演講里，泰格馬克一方面強調(diào)AI進步之快遠超所有專家的預(yù)期，一邊又拿出幾篇最新的論文，笑著安慰大家說，沒事，沒事，我們有的是辦法。

如果說還有什么讓他很苦惱，那就是他非常了解中國對AI安全研究的進展并不落后于絕大多數(shù)國家，然而中國在這方面的國際認(rèn)知與合作卻遲遲無法推進。他期待中國能打造一個權(quán)威的AI安全研究機構(gòu)，方便在國際合作中“知道要找誰”。

以下為「甲子光年」從北京智源大會現(xiàn)場發(fā)回的演講要點，經(jīng)過獨家編輯和整理。

1.人工智能必將成為航空和核能

羅素首先指出，人工智能系統(tǒng)不會一直保持現(xiàn)狀，它們的能力會不斷提高。最終會遠遠超過人類的能力?！斑@不是科幻小說中的遙遠未來，這比很多人警告要發(fā)生的氣候變化影響還要早。”

同時羅素澄清了一個觀點：我們應(yīng)該思考的不是如何讓人工智能變得安全。他提到OpenAI首席執(zhí)行官薩姆·奧爾特曼表示會研究如何創(chuàng)建agi并保證它的安全，研究它的用途。這說反了——一旦制造出 AGI，就沒有另一個十年的時間來研究如何讓它變得安全。

甲子光年拍攝

“我們應(yīng)該停止談?wù)撟屓斯ぶ悄茏兊冒踩?，因為這是在假設(shè)人工智能是從外太空降落的，它比我們優(yōu)越，現(xiàn)在我們要弄清楚如何讓它對人類是安全的。這不是一個可行的方向。不可避免地，人工智能將變得更像航空和核能。”

羅素引用自己在伯克利的核工程專業(yè)同事愛德華·莫爾斯（Edward Morse）的觀察說，核電站的重量與認(rèn)證安全所需文件的重量成線性關(guān)系——每 1 公斤核電站大約需要 7 公斤文件。如果不這樣做，切爾諾貝利核事故就會再次發(fā)生。

大約十年前，羅素開始發(fā)現(xiàn)AI的研發(fā)方式存在問題。他提出：“我們應(yīng)該考慮建立一種新的人類與機器之間的契約。機器的唯一責(zé)任是促進人類的利益，同時機器需要認(rèn)識到它并不知道這些利益具體是什么。這個框架的優(yōu)點在于，不管人類的實際利益是什么，如果機器解決了這個難題，我們就會對結(jié)果感到滿意?！?/p>

另一個底層邏輯是，讓人們相信人工智能系統(tǒng)在回答問題時，其答案包含在經(jīng)過認(rèn)證的事實的底層數(shù)據(jù)庫中。這似乎很簡單，但仍然沒有真正的指引。羅素提到了中央網(wǎng)信辦2023年4月發(fā)布的《生成式人工智能服務(wù)管理辦法(征求意見稿)》，其中提到，利用生成式人工智能生成的內(nèi)容應(yīng)當(dāng)真實準(zhǔn)確，采取措施防止生成虛假信息。

“這聽起來非常合理。但據(jù)我所知，業(yè)界在抱怨這對他們來說太難實現(xiàn)了，因為大語言模型的技術(shù)無法保證事實的準(zhǔn)確性。我認(rèn)為這還會持續(xù)，任何限制人工智能系統(tǒng)發(fā)展的合理法規(guī)都將受到強烈抵制?！彼粤_素認(rèn)為，人工智能安全需要一個國際組織。目前全球幾十個機構(gòu)都在研究AI安全，但它們之前沒有足夠的協(xié)調(diào)。

羅素還給出一個紅線的概念：安全和不安全很難區(qū)分，不過可以劃定明確的不安全行為和不可接受的行為，要求人工智能系統(tǒng)不要越過這些紅線。比如人工智能系統(tǒng)不應(yīng)該自我復(fù)制、不應(yīng)該侵入其他計算機系統(tǒng)、它們也不應(yīng)該幫助恐怖分子設(shè)計生物武器。

甲子光年拍攝

他又給出一個形象的比喻：這就好比1903年，航空業(yè)沒有選擇研發(fā)飛機，或者琢磨航空工程分析和機械系統(tǒng)分析。他們決定飼養(yǎng)越來越大的鳥類，因為有證據(jù)表明鳥類可以攜帶足夠多的人類乘客。

然后他們把這份設(shè)計提交給聯(lián)邦航空管理局要求獲批。結(jié)果聯(lián)邦航空管理局說，抱歉，這些鳥會在飛行途中吃掉乘客，隨時把他們?nèi)舆M海里，降落在任何它們想要降落的地方，所以我們不能認(rèn)證。

但航空公司說：“我們花了這么多錢開發(fā)這些鳥，它們非常強大。我們應(yīng)該被允許繼續(xù)用這種方法運載乘客?！?結(jié)果聯(lián)邦航空管理局還是說絕對不行。羅素表示：“我認(rèn)為政府也應(yīng)該對人工智能公司說同樣的話。”

2.AGI并不遙遠，但我們有辦法

泰格馬克首先拋出一個積極的判斷：人工智能是一種幫助人類繁榮和過上更好生活的工具，而不是簡單地使人類在經(jīng)濟上落后并最終取代我們的機器。所以如果我們能做到這一點，人工智能當(dāng)然有巨大的潛力來改善我們的未來。

隨后他介紹了機器人、ai畫畫，以及Deepfake等領(lǐng)域的飛速進展?！艾F(xiàn)在有些人認(rèn)為大語言模型仍然比它們看起來要愚蠢得多，我認(rèn)為這是錯誤的。這當(dāng)然既為有趣的事情打開了機會，也為各種社會問題打開了機會。”

泰格馬克的T恤上有一幅畫，來自他六年前自己的創(chuàng)作。其中海拔代表機器在人類水平上完成每項任務(wù)的難度。隨著人工智能的發(fā)展，水位上升，許多事物也被淹沒，這件T 恤早已過時了。超級智能的出現(xiàn)意味著機器不再受到人類智慧的限制，而是受到物理定律的限制，就像人類超越蝸牛和蟑螂一樣。

甲子光年拍攝

那么AGI什么時候會到來？泰格馬克說，之前人們說還有幾百年，5年前的時候AI同行說會在幾十年內(nèi)發(fā)生。但現(xiàn)在微軟說這已經(jīng)發(fā)生了。人們對何時能實現(xiàn) AGI 的預(yù)測，已經(jīng)從幾十年后驟降到大約兩年后。 Anthropic 的CEO達里奧·阿莫迪（Dario Amodei）甚至給出了具體數(shù)字稱，我們距離它還有兩三年的時間。

“所以我們必須保持謙遜，承認(rèn)我們不知道需要多長時間。但我們顯然必須停止將 AGI 作為一種長期的可能性來談?wù)?。?/p>

如果真正實現(xiàn)了AGI會發(fā)生什么？圖靈說機器會迅速變得比我們聰明得多。這就是智能爆炸，默認(rèn)的后果是機器控制一切。泰格馬克指出，圖靈這樣說是因為他不認(rèn)為人工智能只是另一種技術(shù)，就像電力或蒸汽機一樣。他認(rèn)為人工智能是一種新物種。

類似地，薩姆·奧爾特曼也說過，最糟糕的情況會讓我們所有人都失望。達里奧·阿莫迪甚至給出了一個數(shù)字：“人類滅亡的可能性在 10% 到 25% 之間?！?/p>

甲子光年拍攝

但這絕對不是不可避免的，人類可以做得更好。泰格馬克認(rèn)為，最重要的是確保我們對人工智能的控制，使其成為人類為人類自己打造的東西。

對于Transformer架構(gòu)，泰格馬克的觀點是：“它是能讓我們做一些很新、很強大的東西的技術(shù)，但不會是最后一種。沒有什么理由認(rèn)為Transformer會是人工智能的最佳架構(gòu)。新的架構(gòu)還在不斷出現(xiàn)，比如一些新型RNN架構(gòu)等。”

他提到了自己和中國博士生劉子銘共同發(fā)表的KAN（Kolmogorov-Arnold Networks）框架。這種架構(gòu)顛覆了傳統(tǒng)的多層感知機（MLP）架構(gòu)，在參數(shù)量相同的情況下，在許多任務(wù)中獲得了更高準(zhǔn)確度。

泰格馬克還表示：“我們還可以更好地理解我們今天所做的神經(jīng)網(wǎng)絡(luò)，而不是只是聽天由命，說我們永遠不會理解它們，它們的黑匣子什么的，忘掉這事吧?！?/p>

他的團隊發(fā)表的另一篇論文證明，訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，損失曲線會不斷下降，并以一種非常平滑的方式變得越來越準(zhǔn)確。所有不同的計算任務(wù)，由許多小部分組成，像馬文·明斯基（Marvin Minsky）的《心智社會》中提到的那樣。它們都能一個接一個地被學(xué)習(xí)，人類可以比想象中更容易地理解非常大的人工智能系統(tǒng)。

“業(yè)界讓大語言模型更可信的主要方法是進行所謂的評估，努力讓它做出一些壞事，然后嘗試修復(fù)它，這就像編程時的調(diào)試一樣。但調(diào)試只能證明問題的存在，而不能證明問題不存在。如果你面對的是可能造成巨大傷害的技術(shù)，你會想做得更好，你得讓傷害不可能發(fā)生。這就是為什么我們要設(shè)置物理護欄，” 泰格馬克說。

但如果面對的是超級智能或超級智能的對手，就需要更堅固的護欄?！拔覀冃枰恍┰谧袷匚锢矶傻那闆r下不會造成傷害，絕對不會完成某些任務(wù)的東西，無論它有多智能。這就是斯圖爾特（羅素）談到的可證明的安全性?！?/p>

他又介紹了學(xué)生們完成了另一項成果：DafnyBeach。這是同類產(chǎn)品中最大的用于訓(xùn)練和評估用于正式軟件驗證的機器學(xué)習(xí)系統(tǒng)的基準(zhǔn)。他們測試了GPT-4和Claude 3等模型自動生成足夠提示的能力，使Dafny正式驗證引擎能夠成功驗證750多個程序（約53000行代碼）。最佳模型和提示方案展示出68%的成功率。

3.AI是否有主觀體驗不重要

在提問環(huán)節(jié)，北京智源人工智能研究院理事長黃鐵軍提問說，作為人類，我們有欲望，有意圖和動機。如果一個系統(tǒng)是人工智能，那它就不是意識，但為什么人工智能系統(tǒng)試圖控制人類呢？我們?yōu)槭裁磿ε逻@種人工神經(jīng)網(wǎng)絡(luò)呢？

泰格馬克認(rèn)為， 羅素教科書中的標(biāo)準(zhǔn)定義是將智能定義為實現(xiàn)目標(biāo)的能力。而他將意識定義為主觀體驗。

“自動駕駛汽車會體驗什么嗎？自己開車有什么感覺嗎？這就是意識的問題。智能和意識并不是一回事。我們可以有意識而不做任何智能的事情。如果我們只是坐在窗邊欣賞美麗的景色，我們什么也沒做，但我們在體驗。我們也可以在沒有意識的情況下變得聰明?！?/p>

當(dāng)然，即使AI是完全無意識的，也可能殺死我們。“你不會說我一點都不擔(dān)心那枚追著我的導(dǎo)彈，因為它什么都沒有經(jīng)歷。我只關(guān)心它正朝我飛來。機器可以打敗我們，可以在說服我們的過程中打敗我們。現(xiàn)在很多青少年都被社交媒體和AI女朋友這些東西所擊潰?！?/p>

泰格馬克表示，人工智能是否有任何主觀體驗并不重要。重要的是它是否足夠聰明來完成任務(wù)，控制我們或傷害我們。”進一步研究什么是意識，什么不是意識非常有趣，但這是一個科學(xué)問題。我們需要確保我們能夠控制人工智能，無論它是否有意識?！?/p>

對于現(xiàn)場觀眾提出的類比奧本海默的問題，泰格馬克表示，我們正處于人工智能的奧本海默時刻，類似于1942年物理學(xué)家們對費米制造出反應(yīng)堆的擔(dān)憂。“費米的反應(yīng)堆不僅非常強大，而且他們意識到這是制造核武器所需要解決的最后一個技術(shù)障礙。物理學(xué)家們當(dāng)時正確地預(yù)測出，只需要幾年時間就能制造出第一顆核彈，果然僅僅到1945年就實現(xiàn)了?！?/p>

現(xiàn)在人工智能領(lǐng)域中，最好的系統(tǒng)已經(jīng)能夠欺騙42%的人認(rèn)為它是人類，而最好的人類則能欺騙62%的人。泰格馬克強調(diào)，掌握自主學(xué)習(xí)和知識的能力是實現(xiàn)超級智能的最大障礙，正如自持鏈?zhǔn)胶朔磻?yīng)堆是制造核武器的最大障礙一樣。

泰格馬克希望人類能夠吸取核武器競賽的教訓(xùn)，現(xiàn)在就認(rèn)真聽取警告，確保從一開始就構(gòu)建安全的技術(shù)。

黃鐵軍進一步詢問了去年發(fā)出公開信的后續(xù)影響。他本人也簽署了這封信。過去一年來，雖然OpenAI沒有發(fā)表GPT-5，但卻發(fā)布了GPT-4o等模型，這是否象征著暫停先進AI研發(fā)的掩耳盜鈴？

泰格馬克表示，這封信的發(fā)布使得表達對人工智能發(fā)展的擔(dān)憂在社會上變得公開化，許多人感到可以安全地加入對話并表達自己的擔(dān)憂。這封信引發(fā)了政策制定者、政府和世界各地人民的關(guān)注，這是一件好事。技術(shù)作為一種工具，其本身既不善也不惡，而是取決于我們?nèi)绾问褂盟?。歷史上，我們經(jīng)常通過從錯誤中學(xué)習(xí)來引導(dǎo)技術(shù)的發(fā)展，但隨著技術(shù)變得日益強大，這種策略變得不再適用。我們必須從被動應(yīng)對轉(zhuǎn)變?yōu)橹鲃宇A(yù)防，以避免災(zāi)難性的錯誤。

他引用溫斯頓·丘吉爾的話說：“我們從歷史中學(xué)到的唯一東西就是我們從不吸取教訓(xùn)，但我持更樂觀的態(tài)度。我認(rèn)為我們可以從歷史中學(xué)到重要的教訓(xùn)，尤其是在低估指數(shù)級增長技術(shù)的巨大危險這方面?！?/p>

面向中國觀眾，泰格馬克還提到了在清朝末期（19世紀(jì)末），中國低估了工業(yè)革命的力量，殖民勢力隨即侵入。這是一個不應(yīng)忘記的教訓(xùn)。同樣地，全球正在低估人工智能革命的潛力和威脅。必須為此做好準(zhǔn)備。

”此外，許多人認(rèn)為最大的威脅來自其他國家，但真正的威脅是技術(shù)本身。如果我們以不安全的方式構(gòu)建技術(shù)，那么最終所有人類都將失敗，而機器將成為唯一的贏家，” 泰格馬克說。

4.中國在AI安全上的機會

在本次演講里，泰格馬克展示了自己對中國的了解與重視。他在PPT上加入了自己中國學(xué)生的合照，引入許多中文翻譯說明，還展示了自己可以說的幾句流利、標(biāo)準(zhǔn)的普通話。

他指出：“你們是地球上現(xiàn)存最古老的文明之一，在長期規(guī)劃方面有著更強的傳統(tǒng)。西方也有這樣的傳統(tǒng)。這正是我們所需要的態(tài)度，在這個未來中，人類、機器和機器可以和諧共存?！?/p>

但讓他有些捶胸頓足的是，目前國際上正在建立一個全新的AI安全俱樂部，目前已有11個國家參與，預(yù)計將在10月于美國加州舉行第一次國際會議。但他非常難過地發(fā)現(xiàn)名單上沒有中國，但名單上的許多國家在AI安全研究方面的努力比中國少得多，所以他期待更快速地協(xié)調(diào)。

不過也有些人說，這種保證安全的人工智能永遠不會及時準(zhǔn)備就緒。但泰格馬克認(rèn)為這過于悲觀。

“首先，這樣問問題是一個巨大的錯誤。這意味著我們只是讓每個人擴大規(guī)模，做他們想做的任何事情。這不是中國、美國或任何其他理性國家在處理強大技術(shù)時的做法。”

在監(jiān)管方面，泰格馬克提到美國有食品藥品管理局、聯(lián)邦航空管理局；中國有國家藥品監(jiān)督管理局、中國民航局等。中國國家藥品監(jiān)督管理局會告訴公司說，等你們進行臨床試驗后再談，也就是把責(zé)任放在公司身上，要求他們達到標(biāo)準(zhǔn)。

第二個樂觀的理由是，人們有時會提出，如果我們想要在某些地方之間方便地移動，或許應(yīng)該建造橋梁，以確保人們能夠安全地穿越，避免溺水等危險。然而有人可能會認(rèn)為，由于我們尚未掌握建造真正長且安全的橋梁的技術(shù)，這項任務(wù)是沒有希望的。這種消極的態(tài)度是不可取的。

相反，人們應(yīng)該采取積極的態(tài)度，即使目前還不清楚如何建造非常長的橋梁，但可以從建造小型橋梁開始，尤其是在那些已經(jīng)存在明顯需求的地方。通過建造這些小型橋梁，我們將積累寶貴的橋梁建設(shè)經(jīng)驗。然后，我們可以利用這些經(jīng)驗，逐步發(fā)展和完善我們的技術(shù)，最終實現(xiàn)建造更長、更安全的橋梁。

歷史上，許多地緣政治沖突在雙方都意識到他們共同面臨外部威脅時得到解決。泰格馬克認(rèn)為：“中國、西方和世界各地的頂尖思想家和科學(xué)家開始意識到未對齊的超級智能所帶來的威脅，這可能是中美關(guān)系最好的事情。面對這一共同威脅，我們要么共同成功，利用這項技術(shù)造福全人類，要么會共同走向失敗。”

總而言之，人工智可以做到很多了不起的事情，泰格馬克說道?！蔽蚁胍?2000 年前西方神話中伊卡洛斯的故事。這個家伙長出了翅膀。所以他現(xiàn)在有了這項令人驚嘆的技術(shù)，他可以用它做最鼓舞人心的事情。但他沒有飛來飛去，享受生活，而是非常貪婪地說我想馬上飛向太陽，然后他就死了?！?/p>

“人工智能賦予了人類智慧的翅膀，有了它，我們也能做最令人驚奇、最鼓舞人心的事情。所以，讓我們弄清楚如何安全地做到這一點，創(chuàng)造一個富足的時代，讓生命在地球上甚至更遠的地方蓬勃發(fā)展。在我們得到所有其他好處之前，不要貪婪地獲取最后的 1%，也不要冒險浪費一切，就試圖建立超級智能，” 泰格馬克表示。

（封面圖和未說明圖片來自北京智源大會）