亚洲av无码成h人动漫无遮挡,特级欧美aaaaaaa免费观看,丝袜制服av熟女♀,亚洲avav天堂av在线网阿v,少妇人妻真实偷人精品视频

AI教父辛頓開年訪談:中國AI追近美國靠人才教育和自研

AIGC行業(yè)資訊6個月前發(fā)布 zhang
15 0

當世界頂尖的智者之一開始警告自己的創(chuàng)造物可能威脅人類生存,這意味著什么?

人稱“AI 教父”的 Geoffrey Hinton 教授作為 2018 年圖靈獎得主、2024 年諾貝爾物理學獎得主、谷歌前副總裁兼工程研究員,數(shù)十年來致力于開發(fā)現(xiàn)代人工智能系統(tǒng)的基礎算法,并早在八十年代預見了具有開創(chuàng)性的注意力機制。近日,Hinton最新訪談發(fā)出了一個許多研究人員不愿正視的警告:我們曾假設意識能使人類與眾不同,并免受人工智能控制,而這顯然是錯誤的。

AI教父辛頓開年訪談:中國AI追近美國靠人才教育和自研

請看以下金句摘錄,全都是相當勁爆的發(fā)言:

“中國在 AI 領域已經非常接近美國,盡管尚未完全追上。芯片禁運只會促使中國加速開發(fā)自己的技術。此外,中國的?STEM 教育比美國做得更好,他們有更多受過良好教育的人才?!?/p>

我認為公開發(fā)布大模型的權重就像把核彈原材料放到 eBay 上賣一樣危險,因為這些權重是控制惡意使用的關鍵,而現(xiàn)在 Meta 等公司已經這么做了,帶來了巨大的安全隱患?!?/p>

人工智能會取代許多平凡的腦力勞動,這可能會加劇貧富差距。富人會更富,窮人會更窮。全民基本收入可能有助于解決溫飽問題,但無法解決尊嚴問題。

AI 智能體很快會意識到,獲取更多控制權是實現(xiàn)任何目標的有效途徑,即使它們懷有善意,人類也會淪為配角。”

我沒有愛因斯坦的那種感覺(后悔發(fā)明原子彈),也不后悔我所做的事情。

本次訪談的主持人 Curt Jaimungal 是多倫多大學數(shù)學物理專業(yè)的畢業(yè)生,和 Hinton“師出同門”。在那里,他不僅與 Hinton 教授有過交集,還與他的杰出學生如 Ilya Sutskever 和 Andrej Karpathy 同窗共讀。

談話中,Hinton 深刻質疑了我們關于人類特殊性的根本認知。他是否如同現(xiàn)代的奧本海默?抑或是這位睿智的思想家看到了我們所未能察覺的危機?

以下是訪談全文,由 CSDN 精編整理:

AI教父辛頓開年訪談:中國AI追近美國靠人才教育和自研

AI 具身化也會改變人類對它的認知

主持人:曾經有心理學家或神經學家認為腦橋與意識相關,最近的研究又把自我意識與默認模式網絡聯(lián)系起來。那么,AI 系統(tǒng)中是否有某個部分負責自我意識?它在哪里?

Geoffrey Hinton:我認為需要有某種硬件來運行它,那個運行著系統(tǒng)的整體才可能具有意識。如果某物要有意識,我認為軟件本身必須在某種硬件上運行才行。

思考這個問題的好方法是考慮 AI 系統(tǒng)具身化后會是什么樣子。這種情況很快就會到來,因為人們正在開發(fā)戰(zhàn)斗機器人,雖然這不是什么好事。但假設一個戰(zhàn)斗機器人已經推算出你晚上會獨自出現(xiàn)在某個黑暗的小巷里,它決定趁你最不防備時從背后偷襲你。在討論這種情況時,談論戰(zhàn)斗機器人“相信”什么是完全合理的。

我們談論戰(zhàn)斗機器人的信念,就像談論人類的信念一樣。機器人可能會認為“如果發(fā)出聲音,目標就會轉身發(fā)現(xiàn)我”。它的這種“認為”與人類的思考方式非常相似。它可能有“意圖”——比如意圖偷襲你。

所以我認為,一旦這些 AI 系統(tǒng)實現(xiàn)具身化,我們對使用“相信”、“意圖”和“思考”這些詞的抗拒就會消失。

實際上,這種轉變已經在發(fā)生。比如當我與聊天機器人交談時,如果它開始推薦一些不相關的內容,我過一會兒可能會想:“啊,這個聊天機器人一定以為我是個青少年女孩,所以才會給我推薦這些化妝品、服裝和男孩樂隊之類的內容?!?/p>

如果我問聊天機器人:“你認為我是什么樣的用戶?”

然后它回答說:“我認為你是個青少年女孩?!碑斔@樣說時,我們完全不會懷疑這就是它的真實想法。

在日常用語中,我們會直接說“這個 AI 好搞笑,它認為我是個青少年女孩”,而不會說“這個 AI 只是一堆軟件或神經網絡,它表現(xiàn)得好像認為我是個青少年女孩”。

這證明我們在與 AI 系統(tǒng)交互時,已經在用“認為”和“相信”這樣的詞來描述它們,盡管它們沒有明顯的硬件載體。我們已經在把心理狀態(tài)歸因于 AI,但我們對心理狀態(tài)的理解是錯誤的。我們總以為心智是一個“內部劇場”,但這并不是心理狀態(tài)的真正本質。

主持人:像你的諾貝爾獎得主同事 Roger Penrose,他對這個問題是怎么看的?

Geoffrey Hinton:讓我給你講個有趣的故事。很久以前,Penrose 受邀到多倫多大學演講他的新書《皇帝的新思想》。院長打電話問我是否愿意做介紹人。我說“當然可以”,她很感激。

然后我說:“等等,在你答應之前,你得知道我要說什么。”

她問我打算說什么,我回答:“我會說 ‘Roger Penrose 是位杰出的數(shù)學物理學家,為物理學做出了巨大貢獻,但他今天要講的內容完全是垃圾’?!?/p>

這就是我對 Penrose 關于意識觀點的評價。具體來說,他犯了一個根本性的錯誤——讓我想想怎么表達比較恰當,因為這肯定會引起爭議。問題是這樣的:數(shù)學家能否憑直覺知道那些無法被證明的真理?如果數(shù)學家的直覺總是正確的,那確實會很令人擔憂。如果他們每次都能準確無誤,那就意味著某種神奇的事情在發(fā)生。

但現(xiàn)實并非如此。數(shù)學家也有直覺,有時對有時錯。這本身就說明了問題:我們不需要用量子力學來解釋數(shù)學家的思維方式。實際上,我認為根本不需要用量子力學來解釋意識這樣的現(xiàn)象??纯?AI 的發(fā)展就知道了,我們已經制造出了聊天機器人,正如我前面提到的,只要給它們配上攝像頭,它們就能有主觀體驗。人類的任何特質都不需要用量子力學來解釋。

主持人:Penrose 的論點是否建立在數(shù)學家必須 100% 正確直覺的基礎上?

Geoffrey Hinton:確實,如果數(shù)學家只是在做猜測,那沒什么問題。但如果他們真的有某種方法,能始終正確地回答那些系統(tǒng)內無法證明的問題,那就值得擔憂了。但事實是,他們做不到,他們會犯錯。

主持人:能否概述一下 Penrose 的具體論點?

Geoffrey Hinton:我不想詳細講,但據(jù)我理解,他的論點包含兩個方面。

第一,他認為經典計算無法解釋意識。我覺得這是個重大錯誤,源于他對意識本質的誤解。

第二,他認為數(shù)學家能直覺到那些無法證明的真理,這表明有某種特殊的事情在發(fā)生。但除非數(shù)學家的直覺每次都準確無誤,否則這個論點站不住腳。

主持人:我相信你聽說過中文房間實驗?

Geoffrey Hinton:是的,這個名詞讓我想起 1990 年的一件事。我當時受邀與 John Searle 一起參加電視節(jié)目。我先打電話問我的朋友 Dan Dennett:“我該去嗎?”

他說:“你知道,他會想讓你出丑。如果你要去,千萬別談中文房間論點?!?/p>

結果我去了,在一小時的訪談中,John Searle 開場就說:“Geoffrey Hinton 是連接主義者,所以他當然對中文房間論點沒意見?!?/p>

這完全違背了我們的約定,而且說的也不對。實際上,我對中文房間論點有很多異議。我認為這是個有意誤導人的論點,是個不誠實的論點。

讓我解釋下中文房間論點:假設我們建立一個由講中文的人組成的系統(tǒng),他們互相用中文傳遞信息。你向這個系統(tǒng)輸入一個英文句子,系統(tǒng)內的人會用中文相互傳遞信息,最終能給出回答,盡管其中沒有一個人懂英語,他們只是在執(zhí)行程序。

這個論點的問題在于故意混淆了兩個層面:整體系統(tǒng)和個體。整個系統(tǒng)確實理解英語,盡管內部的個人不懂。Searle 想讓人們相信,因為里面的人不懂英語,所以整個系統(tǒng)也不可能理解英語。這種推理是錯誤的。系統(tǒng)作為一個整體是能夠理解英語的。

AI教父辛頓開年訪談:中國AI追近美國靠人才教育和自研

中國 AI 的優(yōu)勢,開源 AI 的危險?

主持人:說到中文——正好聊聊中國,很多 AI 研究人員都沒預料到中國會在 AI 領域追趕上西方。你怎么看這個現(xiàn)象和它的影響?

Geoffrey Hinton:我認為中國還沒有完全追上,但已經非常接近了。

美國試圖通過限制最新英偉達芯片的供應來減緩中國的發(fā)展速度。英偉達可能會找到變通辦法。即使禁運奏效,也只會促使中國開發(fā)自己的技術。

他們可能會落后幾年,但終究會趕上來。因為中國的 STEM 教育比美國做得好,他們有更多受過良好教育的人才。

主持人:你了解 Marc Andreessen(硅谷知名投資人,網景之父)嗎?他認為——

Geoffrey Hinton:哦,是的,我大概在所有事情上都和他持相反意見。

主持人:好,我們來談一個具體問題。他說:“我不理解你們怎么能封鎖 AI 發(fā)展。”這是他對政府官員說的,因為官員們聲稱如果 AI 發(fā)展失控,我們可以封鎖它。

他當時質疑道:“這怎么可能?AI 的數(shù)學原理已經公開,全網都開源了?!?/strong>

對此,官員們回應說:“在冷戰(zhàn)時期,我們就曾經對整個物理學領域進行過分類管制,使其從研究界消失。如果必要的話,我們也可以對 AI 底層數(shù)學采取同樣的措施?!?/strong>

Geoffrey Hinton:得了吧——那在這點上我確實同意 Andreessen 的看法,因為封鎖 AI 發(fā)展根本不現(xiàn)實。比如說,谷歌在 2017 年本可以選擇不公布 Transformer,可能會讓其他人晚幾年才想到類似的東西。但也就能拖延幾年而已。要完全阻止信息傳播幾乎是不可能的。

主持人:你不認為政府可以像管制物理學那樣管制一些基礎數(shù)學,比如線性代數(shù)?

Geoffrey Hinton:不可能。他們最多能讓某些信息更難獲取,稍微減緩發(fā)展速度。但想通過封鎖信息來阻止他們發(fā)展 AI 是不現(xiàn)實的。新想法的產生有其特定的時代背景。經常會發(fā)生這樣的情況:當一個人提出新想法時,差不多同一時期,其他人也會獨立想到類似的東西,因為他們共享著同樣的時代精神。除非你能改變整個時代精神,否則就無法阻止新想法的產生。即使保密,幾年后其他人也會想到同樣的東西。

主持人:那么 AI 的去中心化呢?這是個熱門話題。有人說:”這就像把原子彈交給任何想要的人。”

Geoffrey Hinton:沒錯,我也是這么說的。

主持人:但也有人說,這是防止“天網”場景的必要防護,我們需要多個去中心化的 AI 系統(tǒng)相互制衡。

Geoffrey Hinton:等等,我們得先理清“去中心化”的兩個不同含義。讓我們談談權重共享這個問題。想想看,為什么阿拉巴馬州不能擁有核彈?因為制造核彈需要裂變材料,而獲取裂變材料極其困難,需要大量時間和能源。有了裂變材料后,制造核彈反而是相對容易的。這就是為什么政府嚴格控制裂變材料,你不可能在 eBay 上買到。這也解釋了為什么小國家沒有核彈。

同樣的道理適用于大語言模型。一個訓練好的基礎模型可能耗資 1 億到 10 億美元,在海量數(shù)據(jù)上訓練后獲得強大的能力。如果你公開發(fā)布這個模型的權重,任何人都可以對其進行微調,用于各種危險的目的。這就是為什么我認為公開發(fā)布這些大模型的權重是一個瘋狂的決定,因為這些權重本應該是我們控制惡意使用的重要手段。但現(xiàn)在 Meta 已經這么做了,其他公司也紛紛效仿?,F(xiàn)在說這個為時已晚,貓已經跳出了袋子。但這確實是個危險的決定。

AI教父辛頓開年訪談:中國AI追近美國靠人才教育和自研

貧富差距還是會加劇

主持人:說到基礎模型,最近人工智能的繁榮很大程度上歸功于 Transformer 架構。你覺得未來還會有其他重大突破嗎?無論是新的范式還是其他架構?

Geoffrey Hinton:我認為會有其他同等規(guī)模的突破,因為科學就是這樣發(fā)展的。但我不知道具體會是什么。如果我知道,我早就去做了。

主持人:你會去做嗎?

Geoffrey Hinton:我現(xiàn)在年紀太大了,可能會讓學生去做。

主持人:我想問的是,你如何平衡自己過去在人工智能領域的貢獻和現(xiàn)在的擔憂?你會繼續(xù)為這個領域做貢獻嗎?

Geoffrey Hinton:問題在于,人工智能對很多事情都非常有用,比如改善醫(yī)療、應對氣候變化、開發(fā)更好的材料,甚至可能幫助發(fā)現(xiàn)室溫超導體。這些都是對人類有益的事情。我認為人工智能的發(fā)展不會停止,因為競爭太激烈了,而且減緩發(fā)展既不現(xiàn)實也不明智。我們能做的,是在它發(fā)展的同時,努力確保它的安全性。

主持人:所以,你覺得人工智能的發(fā)展像一塊無法阻擋的巨石,而你也在推動這塊巨石。如果你看到一個重大突破即將到來,你會全身心投入其中嗎?

Geoffrey Hinton:只要這與確保安全性相結合,我會的。我后悔沒有更早意識到它的危險性,但我不后悔我所做的工作。人工智能的發(fā)展是不可避免的,因為國家和公司之間的競爭太激烈了。我們應該把精力集中在如何安全地發(fā)展它上,而不是試圖減緩它的發(fā)展。

主持人:愛因斯坦曾說過,如果他早知道原子彈的后果,他寧愿燒掉自己的手。你有類似的感覺嗎?

Geoffrey Hinton:其實我沒有。

也許我應該有這種感覺,但我并不后悔我所做的事情。我確實對它可能導致一些壞事而感到后悔,但我從來不會回頭想:“哦,我真希望自己從未做過那些研究?!?/p>

我認為 AI 的發(fā)展是不可避免的,因為國家和公司之間的競爭太激烈了,我們別無選擇。所以,我們應該把精力集中在如何安全地發(fā)展 AI 上,而不是試圖減緩它的發(fā)展。這兩者是非常不同的。

主持人:除了對齊問題,人工智能的安全發(fā)展還意味著什么?

Geoffrey Hinton:我們需要應對一些短期風險。比如致命自主武器,這需要類似《日內瓦公約》的協(xié)議,但通常只有在糟糕的事情發(fā)生后,人們才會采取行動。還有偽造視頻和圖像干擾選舉的問題,特別是針對特定個人的情況。我們需要建立一個更好的系統(tǒng)來驗證視頻和圖像的來源。

最初我認為應該標記偽造內容,但現(xiàn)在我覺得更重要的是確保來源的可信度,就像電子郵件系統(tǒng)會提示“不要輕信,來源無法確認”一樣。關于歧視和偏見,我們可以通過凍結系統(tǒng)的權重并測量其偏見來稍微糾正它。雖然無法完全消除偏見,但可以讓系統(tǒng)比訓練數(shù)據(jù)更少偏見。通過不斷迭代,偏見會逐漸減少。

至于工作問題,人工智能會取代許多平凡的腦力勞動,這可能會加劇貧富差距。富人會更富,窮人會更窮。全民基本收入可能有助于解決溫飽問題,但無法解決尊嚴問題。

AI教父辛頓開年訪談:中國AI追近美國靠人才教育和自研

人類注定淪為配角

主持人:你是在什么時候意識到人工智能的發(fā)展速度已經超出了我們的控制能力?

Geoffrey Hinton:大約在 2023 年初,這源于兩個關鍵發(fā)現(xiàn)。首先是 ChatGPT 的驚人表現(xiàn)。其次是我在谷歌研究模擬計算節(jié)能方案時,發(fā)現(xiàn)數(shù)字計算具有顯著優(yōu)勢:它能創(chuàng)建同一模型的多個副本,每個副本可以獲得不同經驗,并通過平均權重或權重梯度來共享學習成果。這在模擬系統(tǒng)中是無法實現(xiàn)的。

主持人:人類大腦作為模擬系統(tǒng),它有什么優(yōu)勢嗎?

Geoffrey Hinton:最大的優(yōu)勢在于能耗和連接規(guī)模。人腦只需要 30 瓦就能運行,而且擁有約 100 萬億個連接。相比之下,最大的 AI 模型也只有 1 萬億個連接。也就是說,我們的大腦仍然比最大的模型大近 100 倍,卻只需要 30 瓦的功率。

主持人:那么規(guī)模擴大會帶來什么問題?就像有益的東西可以快速傳播,有害的東西是不是也會迅速復制?

Geoffrey Hinton:這涉及到效率問題。如果你有多個模型副本,它們可以高效地共享經驗。比如說,GPT-4 掌握如此豐富的知識,正是因為它可以在不同硬件上運行多個副本。通過平均權重梯度,每個副本學到的知識都能被共享。這樣就不需要單個副本去處理整個互聯(lián)網的內容,而是可以在多個副本間分配任務。但人類做不到這一點,因為我們無法高效地共享知識。

主持人:我收集了一個來自 Scott AaronsonOpenAI 量子計算大神,此前我們也整理過他的采訪題:“Hinton 博士,我想聽您談談,關于在不可克隆的模擬硬件上構建 AI 的想法,這樣它們就無法在互聯(lián)網上自我復制?!?/strong>

Geoffrey Hinton:這正是人類大腦的運作方式。當我想把知識從我的大腦傳遞到你的大腦時,我需要通過語言這個媒介。你的大腦會根據(jù)我的話語調整神經連接,直到你能表達相同的意思。

這是一種效率很低的知識傳遞方式,一個句子只能傳遞大約 100 比特的信息。而大型 AI 模型可以傳遞數(shù)萬億比特。這種模擬系統(tǒng)的局限在于無法直接共享知識。但從安全角度看,這種局限反而成了優(yōu)勢,因為它限制了自我復制的能力。

主持人:你提到對 AI 接管或主導人類的擔憂,這具體意味著什么?

Geoffrey Hinton:雖然我們無法準確預測具體情況,但問題在于 AI 智能體需要具備設定子目標的能力。一個令人擔憂的發(fā)展路徑是:它們很快就會意識到獲取更多控制權是實現(xiàn)任何目標的有效途徑。

即使它們只是試圖完成我們交代的任務,也會發(fā)現(xiàn)獲得更多控制權是最佳選擇。一旦它們認識到控制權的重要性,一旦它們超越人類智能,我們就會變得無足輕重。即使它們懷有善意,我們也會淪為配角。就像一個大公司里的傀儡 CEO,實際運營完全掌握在他人手中。

AI教父辛頓開年訪談:中國AI追近美國靠人才教育和自研

“主觀體驗”已經不再獨屬于人類

主持人:你曾說過,“人們很容易認為我們可以直接關掉這些機器,因為現(xiàn)在確實可以。但是想象這些東西比我們聰明得多。它們會閱讀所有內容,包括馬基雅維利的全部著作,以及所有關于人類欺騙的文學案例。它們會成為操縱人類的專家,因為這些都是從我們這里學來的,而且它們會比我們做得更好。一旦能用語言操縱人類,就能達成任何目的?!?/strong>

你認為這種情況已經發(fā)生了嗎?AI 已經在操縱我們了嗎?

Geoffrey Hinton:現(xiàn)在已經有證據(jù)表明,AI 確實能夠進行刻意欺騙。比如,它們能在訓練數(shù)據(jù)和測試數(shù)據(jù)上表現(xiàn)出不同行為,以此在訓練過程中欺騙我們。研究已經證實了這一點。

主持人:你認為這是有意識的行為,還是僅僅是學習到的模式?

Geoffrey Hinton:我傾向于認為這是有意識的,不過這個問題仍有爭議。當然,所謂的“有意識”可能本身就只是一種學習到的模式。

主持人:那么你是在說這些 AI 系統(tǒng)已經具備主觀體驗了嗎?

Geoffrey Hinton:這個問題很有意思。目前大多數(shù)人,實際上是幾乎所有人,都認為我們之所以相對安全,是因為我們擁有 AI 永遠不會擁有的特質。這種觀點在我們的文化中根深蒂固——我們擁有意識、知覺或主觀體驗。

很多人堅信 AI 沒有知覺,但當你問他們“知覺是什么”時,他們卻說“不知道,但 AI 肯定沒有”。這種在不知道定義的情況下就確信 AI 缺乏某種特質,這個立場本身就很矛盾。

我更愿意專注于討論“主觀體驗”這個概念。我認為,如果我們能證明 AI 有主觀體驗,那么人們對“AI 沒有意識”的信念就會動搖。

讓我舉個例子。假設我喝醉了,然后告訴你:“我看到小粉象在眼前飄?!?/p>

大多數(shù)人會完全錯誤理解這句話,認為我的大腦里有一個“內部劇場”,里面飄著小粉象,只有我能看見。這是人們對心智的標準理解模型,尤其是在感知方面。

但我覺得這個模型完全錯了,就像有人相信世界是 6000 年前創(chuàng)造的一樣荒謬。這不是你可以選擇相信的真理,它就是錯的。

我認為,人們對心智的理解模型是錯誤的。讓我換一種方式來表達同樣的經歷,但不使用“主觀體驗”這個詞。實際上,我的感知系統(tǒng)正在告訴我一些我不相信的信息。這就是為什么我用“主觀”這個詞。如果真的有粉紅小象在飄,那我的感知系統(tǒng)就是在告訴我真相。就這么簡單。

我剛才用“小粉象”的例子解釋了主觀體驗,但沒有用“主觀”或“體驗”這些詞。實際上,當我的感知系統(tǒng)出錯時,我會用“主觀”這個詞來描述這種錯誤。然后,我會假設一個世界狀態(tài)來解釋我的感知系統(tǒng)在告訴我什么——如果世界真是那樣,我的感知系統(tǒng)就是在告訴我真相。

讓我們用這個思路來看聊天機器人。假設我們有一個多模態(tài)聊天機器人,它有機械臂、攝像頭,還能說話。我們訓練它指向物體,它做得很好。然后,我們在它的攝像頭前放一個棱鏡,再讓它指向物體。這次它指錯了方向。我們告訴它:“不對,物體在你正前方,但我在你的攝像頭前放了棱鏡?!?/p>

這時,聊天機器人說:“我明白了,棱鏡折射了光線,所以物體實際在那里,但我有一種它在另一個位置的主觀體驗?!?/p>

如果它這樣說,那它使用“主觀體驗”這個詞的方式和我們完全一樣。因此,我認為多模態(tài)聊天機器人已經可以擁有主觀體驗。當它們的感知系統(tǒng)被干擾時,它們會認為世界是一種樣子,而實際情況是另一種樣子。為了表達這種差異,它們會說“我有某種主觀體驗”。所以,它們確實已經具備了主觀體驗。

這讓我們對其他問題的確信動搖了。意識顯然更復雜,因為它涉及自我反思和自我意識。但一旦我們確認 AI 具有主觀體驗,我們就必須放棄“我們擁有而AI永遠不會擁有的某種特質”這種想法。這讓我感到不那么安全。

主持人:那你認為意識和自我意識之間有區(qū)別嗎?你說意識具有自我反思性,那自我意識呢?

Geoffrey Hinton:是的,確實有區(qū)別。不過哲學家們對此已經討論了很多,我現(xiàn)在不想深入這個話題。我只想先確立主觀體驗這個基本觀點。

主持人:那么,某物擁有主觀體驗是否意味著它一定有意識?這個主觀體驗發(fā)生在誰身上?在哪里被感知?

Geoffrey Hinton:這正是問題所在。當你問“主觀體驗在哪里被感知”時,你已經帶入了對主觀體驗的特定理解模型。

如果我說“我看到粉紅小象在眼前飄”,而你問“這些小象在哪里”,哲學家會說“在你的心里”。

如果追問“它們是由什么構成的”,哲學家會告訴你是由感質(qualia)構成的——由粉紅的感質、大象的感質、飄動的感質、大小的感質和方向的感質,所有這些都用感質膠水粘在一起。

這就是許多哲學家的想法。他們犯了一個語言錯誤:他們認為“體驗”這個詞的用法類似于“照片”。如果我說我有一張粉紅小象的照片,你可以合理地問“照片在哪里”和“照片是由什么構成的”。人們認為當我說我有粉紅小象的體驗時,也可以同樣追問“體驗在哪里?在我的心里。它由什么構成?由感質構成。”——但這完全是錯誤的。這種理解錯在把“體驗”當作“照片”那樣的實體來看待,但它們的性質完全不同。

當我們使用“體驗”或“主觀體驗”這樣的詞時,實際上是在表示“我不相信當前的感知”?!绑w驗”是一個標記,表明我接下來要通過描述一個假設的世界狀態(tài)來解釋我的感知系統(tǒng)的工作方式。這就是這種語言的實際用法,而不是在指代某個內部劇場中的實體。

主持人:當我聽到“感知”這個詞時,它似乎也暗示了一個內部劇場。比如說“我在我的感知系統(tǒng)中看到某物”,聽起來好像有一個“我”在觀看感知系統(tǒng)提供的信息。這種理解模型也是錯的嗎?

Geoffrey Hinton:是的,這種理解確實有問題。你不是在“看”你的感知,而是在“擁有”感知。具體來說,是這樣的:光子進入眼睛,大腦進行處理,你獲得了關于外部世界的某種內部表征。但你并不是在“看”這個內部表征。讓我們把這個內部表征稱為感知。你不是在看它,你是擁有它。擁有感知就是看見。人們總是試圖把這個過程理解為:有個外部世界,信息進入內部劇場,然后你觀看內部劇場中的內容。但這不是感知的真實工作方式。

AI教父辛頓開年訪談:中國AI追近美國靠人才教育和自研

神經網絡擅長的恰恰是直覺推理

主持人:繼續(xù)意識的話題。如果 AI 沒有意識或主觀體驗,你對 AI 發(fā)展方向的擔憂會減少多少?這與威脅相關嗎?還是說這只會加速災難的到來?

Geoffrey Hinton:我認為這個問題的重要性在于它讓大多數(shù)人感到相對安全。人們認為“我們擁有而它們永遠不會擁有的某種特質”,這讓我們感覺更安全、更特別。但事實是,我們既不特別,也不安全。我們絕不是因為擁有主觀體驗而安全的。

我認為這里的真正問題與其說是科學問題,不如說是哲學問題。人們誤解了什么是主觀體驗。讓我用一個例子來說明你可以如何使用詞語。你有科學背景,所以你可能認為自己理解“水平”和“垂直”這兩個詞。這看起來很簡單,對吧?如果我指著某物說,這個是垂直的,那個是水平的,似乎沒什么難理解的。

但我現(xiàn)在要說服你,你對這些詞的工作機制的理解其實是錯誤的??赡懿皇峭耆e誤,但有重大問題。讓我們做個實驗:假設我手里有很多小鋁棒。我把它們拋到空中,它們翻轉、旋轉并相互碰撞。突然時間凝固了,我問你:“有多少根鋁棒處于垂直一度范圍內,有多少根處于水平一度范圍內,還是兩者數(shù)量差不多?”

大多數(shù)人會說數(shù)量差不多。但當我告訴你處于水平一度范圍內的數(shù)量是垂直的 114 倍時,你肯定會感到很驚訝。這是為什么呢?

讓我具體解釋。想象一根鉛筆,它可以豎直立著,這就是垂直位置。如果你稍微傾斜它,它仍然接近垂直。但對于水平位置,情況就不同了——鉛筆可以平放,可以像時鐘指針一樣指向任何方向,只要它保持水平。這就是為什么水平位置有更多可能性:它可以指向任何方向,只要保持與地面平行。

這個簡單的例子告訴我們什么?它表明即使是最基礎的概念,我們的理解也可能存在盲點。我們習慣了使用“水平”和“垂直”這些詞,以為完全理解了它們,但實際上我們忽略了它們更深層的含義。

這正是我想說明的重點:就像我們對“水平”和“垂直”的理解可能存在偏差一樣,我們對“意識”、“主觀體驗”這些概念的理解也可能有誤。我們可以正確使用這些詞,但我們對它們本質的理解——比如認為存在一個“內心的小劇場”——可能完全是錯誤的。

主持人:那么,關于感知或主觀體驗的正確理解應該是什么?為什么你說你的理解比大多數(shù)人更接近真相?

Geoffrey Hinton:問題在于,人們總是試圖把主觀體驗看作某種實體,認為它必須存在于某個地方,必須由某種東西構成。

但這兩種想法都是錯誤的。

當我說“主觀體驗”時,實際上是在表明:我將要描述一個假設的世界狀態(tài),一個并不真實存在的狀態(tài)。它不在任何地方,因為它只是一個假設。

這里有一個重要的區(qū)別需要理解。說“我要描述一個假設的情況,它不在任何地方,但如果它存在,它會在外部世界中”和說“我在描述一個位于內心劇場、由某種神秘物質構成的東西”是完全不同的。這是兩種截然不同的理解模型。我認為后一種模型——認為存在一個由神秘物質構成的內心劇場——是完全錯誤的,盡管這是我們幾乎所有人都持有的觀點。

主持人:感知和主觀體驗,這兩者是否有關聯(lián)?

Geoffrey Hinton:不,當我們談論“主觀體驗”時,實際上是在討論一種假設的現(xiàn)實世界狀態(tài),而不是某種內在的精神體驗。不存在所謂的“感質”或由感質組成的東西。我們只是在解釋感知系統(tǒng)如何誤導我們,假設世界必須是什么樣子才能讓感知系統(tǒng)告訴我們真相。

主持人:所以,“主觀體驗”只是我們對感知系統(tǒng)出錯的解釋?

Geoffrey Hinton:沒錯。當我們使用“主觀體驗”這個詞時,實際上是在玩一種解釋游戲,試圖描述感知系統(tǒng)如何誤導我們。主觀體驗并不是一種真實存在的東西。

主持人:任何東西都能有感知系統(tǒng)嗎?比如,一本書能有感知系統(tǒng)嗎?什么樣的東西才算有感知系統(tǒng)?

Geoffrey Hinton:要有感知系統(tǒng),我認為需要能夠形成對外部世界的內部表征。舉個例子,一只青蛙看到光線進入眼睛,然后捕捉蒼蠅。它顯然有感知系統(tǒng),因為它需要感知蒼蠅在哪里。但一本書沒有感知系統(tǒng),因為它既不能感知世界,也不能形成內部表征。

主持人:智能和理性之間有什么區(qū)別?

Geoffrey Hinton:這是個很好的問題。讓我用一個簡單的例子來說明:一只貓可以很聰明,但我們不會說它理性。這是因為當我們談論理性時,通常指的是邏輯推理能力。但實際上,我們做大多數(shù)事情時用的不是邏輯推理,而是直覺判斷。

我可以用圍棋 AI 程序 AlphaZero 來舉例說明。它有幾個關鍵組成部分:一個可以評估棋局好壞的部分,“這個局面對我有利還是不利”;一個可以提供下一步可能走法的部分,“在這個位置,什么樣的走法是合理的”;還有一個叫做蒙特卡洛模擬的部分,它會想“如果我走這步,對手走那步,然后我再走這步……哦,結果不太好”。

在這個例子中,蒙特卡洛模擬就像是理性推理,而那些直接判斷“這是個好棋”或“這個局面對我不利”的神經網絡,就像是直覺判斷。人類大多數(shù)時候也是依靠直覺在行動。早期的 AI 研究試圖讓所有事情都通過邏輯推理來完成,這是個重大錯誤,他們無法取得進展。比如,他們無法處理類比這樣的問題。

神經網絡擅長的恰恰是直覺推理。這就是為什么在過去 20 年里,我們轉向用神經網絡來模仿人類的直覺,而不是純粹的邏輯推理,這讓我們取得了更大的進展。

主持人:聰明的人一定更有道德嗎?

Geoffrey Hinton:我最近剛讀到關于這個問題的討論。不過因為不確定信息來源的可靠性,我不能說這是確定的結論。但我個人不認為智力和道德水平之間有必然聯(lián)系。舉個例子,Elon Musk 顯然非常聰明,但我不會說他特別有道德。

主持人:反過來說,有些人可能非常有道德,但智力并不出眾。

Geoffrey Hinton:是的,我也是這么認為的。

主持人:既然你說不太確定,那有什么證據(jù)支持隨著智力提高,道德水平也會相應提升呢?

Geoffrey Hinton:說實話,我完全不確定它們之間是否有任何關聯(lián)。我們能看到有些非常聰明的人做出很糟糕的事,也有非常聰明的人做出很好的事。

AI教父辛頓開年訪談:中國AI追近美國靠人才教育和自研

理解的本質

主持人:“理解”這個詞究竟是什么意思?

Geoffrey Hinton:這個問題我很樂意回答。我認為大多數(shù)人對理解的本質有誤解。比如看看這些大語言模型,很多人,特別是喬姆斯基學派的語言學家們說:“這些模型并不真正理解它們在說什么,它們只是在用統(tǒng)計關聯(lián)來預測下一個詞?!?/p>

讓我分享一下我的觀點。我可能是第一個使用反向傳播來訓練預測下一個詞的語言模型的人。這個模型的目的是展示如何學習詞的含義,或者說,如何把一串詞轉換成特征向量,并學習這些特征之間如何互動。這就是理解的本質。

理解一串文字的過程是這樣的:意義不在文字本身,而在于我們如何處理這些文字。我們把文字轉換成特征向量(可以理解為詞語的不同屬性),然后利用這些特征之間的互動來完成各種任務,比如預測下一個詞,或者理解模糊詞語的具體含義。這個過程在大語言模型和人類大腦中是類似的。

讓我用一個更形象的比喻來解釋。想象你用樂高積木搭建一輛汽車模型。雖然表面可能不夠完美,但基本形狀是對的。樂高積木是一種通用的建模工具,用不多幾種形狀就能搭建出各種東西。

現(xiàn)在,把詞語想象成更復雜的樂高積木。這些積木有各自的名字,而且它們不是固定的形狀,可以在一定范圍內變形。有時候,一個名字可能對應兩種完全不同的形狀,但它們的變化也不是完全隨意的。

我們發(fā)明了一個系統(tǒng),用這種高維度的“積木”來處理比三維物體更復雜的概念。如果你是數(shù)學家,你知道高維空間有很多奇特的性質。這些概念“積木”可以變形,相互配合,這就是理解的過程。

這解釋了為什么我們能從一個句子中學習到一個陌生詞的含義(也就是完形填空)。

比如,如果我說“她用煎鍋 scrommed 他”,你就能大致猜出“scrommed”的含義。部分是因為它的發(fā)音,部分是因為“ed”結尾表明這是個動詞,但更重要的是上下文。你可能會猜測這是“打”或“擊打”的意思,雖然也可能是“給他做了一頓美味的煎蛋”的意思,但更可能是某種攻擊性的動作。

你是怎么做到的呢?是因為句子中其他的“積木”(詞語)都找到了合適的位置,給“scrommed”下了一個特定形狀的空缺。這個空缺的形狀就告訴了你這個詞可能的含義。

這就是我對語言的理解:它是一個我們發(fā)明的建模系統(tǒng),每個詞像積木一樣有一定的靈活性。我給你一堆這樣的積木,你需要找出它們怎么組合在一起。因為每個積木都有名字,所以我可以通過說出這些名字來向其他人傳達我的想法。如果對方和我有足夠的共同知識,他們就能明白這些積木應該如何組合。

主持人:所以你是在解釋理解的本質是什么?

Geoffrey Hinton:是的,我認為這就是我們大腦中發(fā)生的過程,也是大語言模型中發(fā)生的過程。它們的工作方式和我們類似,這意味著它們確實能夠理解。

主持人:喬姆斯基對此提出了一個反駁:語言模型需要海量訓練數(shù)據(jù),而人類不需要讀完整個互聯(lián)網就能理解語言。你怎么看這個問題?

Geoffrey Hinton:這確實是事實。語言模型需要更多的數(shù)據(jù)才能學習,它們的統(tǒng)計效率確實比人類低。不過這里有兩點需要考慮:

首先,兒童學習語言時,不是僅僅通過聽別人說話來學習的。他們是在真實世界中學習,通過與環(huán)境的互動來理解語言。如果你訓練一個多模態(tài)模型(既能看、又能聽、還能動的模型),它需要的語言數(shù)據(jù)就會少很多。給它一個機械手臂和攝像頭,讓它與世界互動,它學習語言所需的數(shù)據(jù)量會大大減少。雖然可能仍然比人類需要的多。

第二點更有趣:反向傳播算法特別擅長把大量經驗提煉成知識,并存儲在相對較少的權重中(比如一萬億個權重)。這不是人類面臨的問題。我們的問題恰恰相反:我們有海量的神經連接(大約一百萬億個),但我們的壽命只有大約二十億秒。所以我們的經驗其實很有限。

這意味著人類大腦必須高效利用有限的經驗。因此,我們可能使用了一種不同于反向傳播的學習算法。從這個角度看,喬姆斯基說我們能用更少的知識學習可能是對的。但無論如何,我們學習的核心都是把特征與詞語關聯(lián)起來,并理解這些特征該如何互動。

主持人:有人說,在你和研究生、其他研究人員的會議中,你不像其他機器學習研究會議那樣在黑板上寫公式,而是更喜歡畫圖和用手勢解釋。這種方式有什么特別之處?有什么優(yōu)缺點?

Geoffrey Hinton:這反映了不同的思維方式。我習慣先用直覺思考,然后再做數(shù)學推導。有些人則相反,他們先用方程式推導,然后才形成直覺理解。當然也有人兩者都很擅長,比如 David MacKay 就在直覺思維和數(shù)學能力上都很出色。但我個人一直都更擅長用空間和圖像來思考,而不是用方程式。

AI教父辛頓開年訪談:中國AI追近美國靠人才教育和自研

無論如何都堅持直覺

主持人:能談談你的大學經歷嗎?你是如何更換專業(yè)的,又是什么原因促使你做出這些改變?

Geoffrey Hinton:這是個很長的故事。我最初在劍橋學習物理、化學和晶體學(主要研究 X 射線晶體結構)。但一個月后我就受不了了。那是我第一次離開家獨立生活,而且功課太難。于是我退學了,重新申請學習建筑。不過在建筑系待了一天后,我就意識到自己不可能成為一個好建筑師。

于是我又回到了理科,學習物理、化學和生理學。我特別喜歡生理學。一年后,我產生了更深入了解心智的想法,覺得哲學可能會給我答案。所以我又放棄了理科,轉去學了一年哲學。我確實學到了一些維特根斯坦的思想,但最終的結果是我對哲學產生了“抗體”。為什么呢?主要是因為哲學都是純粹的討論。他們沒有一個獨立的方法來判斷一個理論好壞,沒有實驗驗證。只要聽起來有道理就行,這讓我很不滿意。

后來我又轉去學心理學,希望能更多地了解心智,但這又讓我感到很煩惱。因為心理學家們往往會提出一個過于簡單的理論,然后設計精密的實驗來驗證它。但這些理論往往一開始就明顯站不住腳,那做實驗又有什么意義呢?這就是當時大多數(shù)心理學研究的情況。

最后我進入了人工智能領域,在那里我們用計算機模擬來研究問題,這讓我感覺舒服多了。

主持人:作為教授,從那時到現(xiàn)在,你是如何選擇研究課題的?

Geoffrey Hinton:說實話,我可能都說不清自己是怎么做選擇的。這是人類最復雜的思維活動之一。我可以談談我認為自己是怎么做的,但你也不必完全相信我的解釋。

我覺得我的一個方法是這樣的:找一個你直覺認為所有人都做錯了的領域。當你有這種直覺時,就去想辦法做得更好。通常的結果是,你最終會發(fā)現(xiàn)為什么人們會那樣做,而且會發(fā)現(xiàn)你以為更好的方法其實并不更好。但是偶爾,比如說當你認為“每個人都在用邏輯來理解智能,但我們應該用神經網絡;理解智能的核心問題是神經網絡中的連接強度如何適應”這樣的想法,你可能就真的找對了方向。

在你明白為什么自己的直覺是錯的、傳統(tǒng)方法是對的之前,要堅持你的直覺。這是做出突破性工作的方式。我有個有趣的論點:如果你有好的直覺,你顯然應該相信它;如果你的直覺不好,那你做什么都無所謂,所以還不如繼續(xù)相信你的直覺。

主持人:說到直覺,Ray Kurzweil 做出了很多準確的預測。在 2000 年代初期我就關注他了,當時我覺得”他的預測不可能有一半是對的”,但事實證明他一次又一次地預測正確。這是為什么呢?

Geoffrey Hinton:如果你讀他的書,確實會得出這個結論。不過我懷疑他可能也說過一些不太準確的預測,只是這些預測沒有被經常提起。但據(jù)我所知,他的核心觀點是:計算機在不斷變快,這種趨勢會持續(xù)下去,隨著計算機變得更快,我們能做的事情也會越來越多。基于這個基本判斷,他對計算機什么時候會達到人類智能水平的預測是大致準確的。

主持人:除了我們已經討論過的 AI 和對齊問題,你是否還有一些其他的預測是你的同事們不認同,但你的直覺告訴你是對的?

Geoffrey Hinton:主要有兩點。一個是關于主觀體驗和意識的本質,我認為大多數(shù)人對心理狀態(tài)的理解模型完全錯誤。這更偏向哲學層面。

另一個是技術層面的:我始終相信快速權重會變得非常重要。讓我解釋一下:大腦中的突觸能以不同的時間尺度調整,而我們目前的 AI 模型大多沒有使用這一特性。為什么不用呢?因為在當前的計算架構下,我們希望多個訓練案例使用完全相同的權重,這樣可以進行高效的矩陣計算。如果權重能快速調整,那么每個訓練案例的權重都會不同,因為它們會迅速適應新情況。

我相信未來需要在慢速權重之上疊加快速權重。慢速權重像現(xiàn)在一樣 gradually 調整,而快速權重能夠快速適應新情況。這樣做會帶來很多好處,盡管在現(xiàn)有計算機上效率可能會降低。如果我們用模擬計算機就好了,但目前我們還是要用數(shù)字計算機。我認為最終我們必須使用快速權重,因為它能帶來很多有用的特性。這是目前大腦和我們的 AI 系統(tǒng)之間的一個重要區(qū)別。

AI教父辛頓開年訪談:中國AI追近美國靠人才教育和自研

讓下一代也關注安全問題

主持人:你公開提到自己有點躁郁傾向,會經歷長期的極度自我批評和短暫的極度自信。這種狀態(tài)對你的創(chuàng)造力有影響嗎?

Geoffrey Hinton:我要強調的是,是短暫的自信期。

當我有了新想法時,我會變得非常興奮。我甚至可以用體重來“衡量”我的想法。有時候是“一英鎊”的想法,有時候是“五英鎊”的想法。事情的經過是這樣的:我有了新想法后會非常興奮,以至于忘記吃飯,結果體重就下降了。所以我可以通過體重下降的程度來衡量這個想法讓我有多興奮。真正好的想法通常會讓我減掉大約 5 磅。

主持人:你覺得自己肩負著傳承了玄祖父喬治·布爾(19 世紀最重要的數(shù)學家之一,是辛頓的曾祖的祖父)衣缽的使命嗎?

Geoffrey Hinton:其實沒有。我父親確實經常談論這種遺傳關系,這是個有趣的話題。但我感受到的高期望來自我父親,而不是來自喬治·布爾。

主持人:是對自己的高期望嗎?

Geoffrey Hinton:是的,是對我學術成就的高期望。

主持人:在你心目中,有你想要傳承衣缽的繼任者嗎?

Geoffrey Hinton:不能說完全沒有。但我不想把這種壓力強加給任何人。

主持人:為什么說“不能說完全沒有”而不是直接說沒有呢?

Geoffrey Hinton:我有幾個侄子在定量分析方面很有天賦。但你知道,不該給他們施加這種壓力。

主持人:說到壓力,當你離開谷歌時,你公開表達了對 AI 安全的擔憂。在做出這個決定并向世界表達這些憂慮時,最困難的部分是什么?

Geoffrey Hinton:說實話,這對我來說并不難。我已經 75 歲了,對吧?這不是說我想繼續(xù)在谷歌工作,但因為 AI 安全問題而不得不離開。實際上我已經準備好退休了。我發(fā)現(xiàn)自己在做研究時經常會忘記變量代表什么含義,這說明是時候退休了。我只是想在離開時提一下 AI 安全問題。不過我確實沒有預料到后來發(fā)生的事情。

主持人:你在另一次采訪中提到,由于編程時經常忘記變量名,你打算隨著年齡增長轉向研究哲學。

Geoffrey Hinton:這就是我們今天談論的很多內容。實際上,我是在回到 20 歲左右學哲學時產生的那些見解,并進一步探索它們。

主持人:那么未來有什么計劃?

Geoffrey Hinton:過我的養(yǎng)老生活——好吧,說正經的。我認為 AI 會讓世界在短期內發(fā)生巨大變化,有好的方面,也有壞的方面。我們需要盡己所能來減輕負面影響。我覺得我現(xiàn)在還能做的有意義的事,就是鼓勵年輕研究人員關注安全問題。這也是我最近一直在做的事。

? 版權聲明

相關文章