從人工神經(jīng)網(wǎng)絡(luò)到通用人工智能(AGI)

AI應(yīng)用信息2年前 (2023)更新 10小時(shí)前

過去幾十年，人工智能有了很大的發(fā)展。通過人工智能，計(jì)算機(jī)可以解析人們的語言并作出回應(yīng)，幫助人類做一些以前我們做不到的事。我們能運(yùn)用機(jī)器學(xué)習(xí)，更準(zhǔn)確地預(yù)測洪水；翻譯超過幾十種甚至上百種語言，幫助人們跨越語言鴻溝，讓大家更無礙地溝通，還能更準(zhǔn)確地預(yù)測和診斷疾病。

洪水預(yù)測和模擬

人工智能的發(fā)展

支撐這些變化的背后有兩個(gè)關(guān)鍵的因素：

一是人工神經(jīng)網(wǎng)絡(luò)

從歷史上來看，人工神經(jīng)網(wǎng)絡(luò)不是全新的概念，早在 20世紀(jì)六七十年代就出現(xiàn)了，這種方法大致上模仿人類的神經(jīng)元的特性，系統(tǒng)里每個(gè)神經(jīng)元都有一組輸入值，它們有各自的權(quán)重，并通過激活函數(shù)決定輸出。通過很多這樣的神經(jīng)元一起運(yùn)作，來學(xué)習(xí)復(fù)雜的事情。學(xué)習(xí)的過程，是按照一定的規(guī)則（學(xué)習(xí)算法）來不斷地微調(diào)權(quán)重的分配，通過加強(qiáng)某些輸入對輸出的影響，或者減弱其他輸入的權(quán)重，待網(wǎng)絡(luò)各層權(quán)值都收斂到一定值，達(dá)到最終學(xué)習(xí)的效果。

我們可以訓(xùn)練它們，達(dá)成非常復(fù)雜的任務(wù)，比如翻譯語言，文字識別，對象識別等。

二是計(jì)算機(jī)性能的提升

事實(shí)上，讓人工神經(jīng)網(wǎng)絡(luò)發(fā)揮它真正的潛力，需要很多計(jì)算能力，計(jì)算機(jī)硬件的發(fā)展是造就了目前人工智能應(yīng)用發(fā)展水平的條件之一。

人工神經(jīng)網(wǎng)絡(luò)計(jì)算有兩個(gè)特性，第一是神經(jīng)網(wǎng)絡(luò)的預(yù)測對計(jì)算精度具有一定的包容性，第二是基本上所有的算法，都是以矩陣和向量所組成的不同序列的運(yùn)算。Google根據(jù)這兩個(gè)特性研發(fā)了TPU芯片，也就是張量處理器：通過量化來降低硬件尺寸和功耗，并可以有效壓縮模型，同時(shí)又能保證可用的精確度。通過MXU的脈動陣列使芯片具有較強(qiáng)的矩陣和向量運(yùn)算能力，非常適合人工神經(jīng)網(wǎng)絡(luò)運(yùn)算。TPU芯片經(jīng)過多次升級，已經(jīng)被應(yīng)用在其各個(gè)產(chǎn)品中，包括 Google 搜索、翻譯，還有 AlphaGo，所以李世石和柯潔當(dāng)時(shí)其實(shí)是在和整架整架的 TPU 在比賽。

現(xiàn)有人工神經(jīng)網(wǎng)絡(luò)的限制

雖然取得了很大的成就，但是這并不是人工智能的終極目標(biāo)。如果仔細(xì)分析，可以發(fā)現(xiàn)基于人工神經(jīng)網(wǎng)絡(luò)的人工智能具有明顯的限制：

一、目前大部分的做法是：我們總是從無到有的訓(xùn)練機(jī)器學(xué)習(xí)模型來做一件事。而不是擴(kuò)展現(xiàn)有模型來學(xué)習(xí)新任務(wù)。結(jié)果是我們最終為數(shù)千個(gè)單獨(dú)的任務(wù)開發(fā)了數(shù)千個(gè)模型。這樣不僅學(xué)習(xí)每項(xiàng)新任務(wù)需要更長的時(shí)間，而且還需要更多的數(shù)據(jù)來學(xué)習(xí)每項(xiàng)新任務(wù)，因?yàn)槲覀冊噲D從無到有地了解與這個(gè)任務(wù)相關(guān)的世界的以及該任務(wù)的細(xì)節(jié)（完全不同于人們的處理方式新任務(wù)）。如果你從頭訓(xùn)練一個(gè)人工神經(jīng)網(wǎng)絡(luò)，就像是每當(dāng)你嘗試一件新的事，就得忘掉一生所受過的教育，這顯然不是高效的。設(shè)想你要學(xué)習(xí)一項(xiàng)新技能（例如跳繩）時(shí)，都忘記了之前所學(xué)的一切：如何平衡、如何跳躍、如何協(xié)調(diào)雙手的動作，這顯然很奇怪。

模型的專一性

如果我們能夠訓(xùn)練出能多工處理上千上萬不同任務(wù)的模型，模型里各個(gè)部分專精于不同的事。假設(shè)這個(gè)模型現(xiàn)在可以做1000件事，然后第 1001 件事出現(xiàn)了，我們可以利用和它相關(guān)的既有知識，更快地達(dá)成這個(gè)新任務(wù)，就像你一樣，如果遇到了一個(gè)新問題，你會快速地想到之前做過的相關(guān)的事情或者調(diào)用自己已經(jīng)掌握的相關(guān)知識，來幫助你解決新的問題。對于機(jī)器學(xué)習(xí)來說，如果實(shí)現(xiàn)了這一點(diǎn)，會是一個(gè)巨大的飛躍。

二、目前大部分的模型，只能處理單一型態(tài)的資料，影像，或是文字，或是語音，不是同時(shí)處理全部。但是人類可以運(yùn)用所有的感官，去學(xué)習(xí)、去反應(yīng)，來決定你該做出什么行為。如果我們也可以用同樣的道理來建模型，它可以接收不同類別的數(shù)據(jù)，包括文字、影像、語音，然后把它們?nèi)诤显谝黄?，不管這個(gè)模型接受到“貓”這個(gè)字，還是一部“貓”的影片，或者聽到某個(gè)人說“貓”的語音，都會產(chǎn)生相同的反應(yīng)，都能和“貓這”個(gè)概念對應(yīng)上，這樣最合理不過了。

再進(jìn)一步，如果還可以處理其他不同種的資料，甚至是非人為產(chǎn)出的資料，例如基因序列，3D 點(diǎn)云，和影像、文字、影片，就更理想了。

第三個(gè)問題是，現(xiàn)有的模型都是密集的單一模型，無論是非常簡單還是非常復(fù)雜的事都需要完整的啟動這個(gè)模型，這不太像我們大腦運(yùn)作的方式。人腦不同的部位負(fù)責(zé)不同的功能，在特定情況下只會調(diào)用相關(guān)部分進(jìn)行運(yùn)作。我們的大腦中有近一千億個(gè)神經(jīng)元，當(dāng)你看到這篇文章時(shí)，大腦只調(diào)動了其中的一小部分神經(jīng)元來做閱讀這件事情。再比如當(dāng)你在電影院看電影，這個(gè)時(shí)候大腦中處理運(yùn)動的部位是沒有太多活動的。

人工智能可以以同樣的方式工作。假設(shè)我們可以構(gòu)建一個(gè)“稀疏”激活的單一模型，這意味著只有通過網(wǎng)絡(luò)的小路徑在需要時(shí)才會被調(diào)用。模型動態(tài)地學(xué)習(xí)網(wǎng)絡(luò)的哪些部分擅長哪些任務(wù)——它學(xué)習(xí)如何通過模型中最相關(guān)的部分來路由任務(wù)。這種架構(gòu)的一大好處是，它不僅具有更大的學(xué)習(xí)各種任務(wù)的能力，而且速度更快、能源效率更高，因?yàn)槲覀儾粫槊宽?xiàng)任務(wù)激活整個(gè)網(wǎng)絡(luò)。

通用人工智能AGI（Artificial general intelligence）

如果能夠完美解決這三個(gè)問題，那么我們可以構(gòu)建出幾乎可與人腦機(jī)理媲美的程序。其實(shí)早在幾十年前，就已經(jīng)有一些雄心勃勃的計(jì)劃想做到這一點(diǎn)，但是受制于當(dāng)時(shí)的理論，技術(shù)和硬件，幾乎都失敗了。隨著近些年人工智能的發(fā)展，這一目標(biāo)再一次被提起和討論研究，如果能夠構(gòu)建這樣的系統(tǒng)，那么可以說接近或者達(dá)到了通用人工智能（Artificial general intelligence，簡稱AGI）的范疇， AGI是一種能夠理解或?qū)W習(xí)人類,并可以執(zhí)行智力任務(wù)的人工智能。

2021年10月，Google 推出了Pathways，一種可以訓(xùn)練多任務(wù)的下一代人工智能架構(gòu)，可以說是向AGI的方向跨出了一大步。Pathways 將使單個(gè) AI 系統(tǒng)能夠泛化數(shù)千或數(shù)百萬個(gè)任務(wù)，同時(shí)處理所有型態(tài)的資料，然后把它們?nèi)诤显谝黄?，并使用零星、高適應(yīng)力的模型，只在需要的時(shí)候用所需的部分，當(dāng)我們逐漸增加新的任務(wù)，它可以同時(shí)處理所有資料，并且必要時(shí)，會漸漸學(xué)習(xí)新的任務(wù)，然后針對不同的內(nèi)容，運(yùn)用與其相關(guān)的部分。將我們從僅識別單一用途模型單一模型的時(shí)代推進(jìn)到一個(gè)更加通用的人工智能時(shí)代。這將是神經(jīng)網(wǎng)絡(luò)和人工智能能力的大規(guī)模進(jìn)化和升級。

不過這些模型也會衍生出一些重要的問題，如何在建立的過程中，考量對所有使用者的公平性，隱私與安全，例如，對于訓(xùn)練這些模型的海量資料，必須確保這些他們是經(jīng)過謹(jǐn)慎的搜集并包含了世界上不同的群體和情況。

除了Google之外，一些其他互聯(lián)網(wǎng)和計(jì)算機(jī)廠商也在致力于這個(gè)方向的研究, 比如微軟研究實(shí)驗(yàn)室及其投資的OpenAI。

從神經(jīng)網(wǎng)絡(luò)到通用人工智能，如果能夠?qū)崿F(xiàn)的這一跨越，建立起能夠?qū)κ澜缬懈畹睦斫獾耐ㄓ玫闹悄芟到y(tǒng)。可以解決更多不同尺度的復(fù)雜問題：更準(zhǔn)確的診斷出更多疾?。恢圃斐龈玫乃幬?；提升教育系統(tǒng)，讓大家用全新更好的方法來學(xué)習(xí)，甚至可能是處理氣候變化，清潔能源解決方案這類尺度的難題。

參考：

https://www.nextbigfuture.com/2022/02/174523.html

https://storage.googleapis.com/deepmind-media/A%20Generalist%20Agent/Generalist%20Agent.pdf

https://medium.com/neuromation-blog/deep-learning-and-agi-part-i-computer-vision-b9200d904994

https://www.instructionaldesign.org/theories/general-problem-solver/

上述內(nèi)容若有錯(cuò)誤或不足之處，歡迎大家指出，非常感謝。