從小模型到大模型

?

吳曉波：歡迎葉軍博士，今天請(qǐng)他來(lái)聊聊ChatGPT、大語(yǔ)言模型（LLM）和AIGC（人工智能生成內(nèi)容）。

?

我第一次知道AIGC是在去年年終秀前，那時(shí)候ChatGPT 3.5剛發(fā)布，一家股票軟件公司的CTO跟我講，有一個(gè)ChatGPT，你輸入一段需求，它會(huì)幫你編程，你輸入一段話，它會(huì)幫你寫個(gè)小作文。我當(dāng)時(shí)就很吃驚。

?

很多同學(xué)沒(méi)有用過(guò)或聽(tīng)過(guò)“大模型”。就像阿爾文·托夫勒在data前面加了一個(gè)big，發(fā)明了“大數(shù)據(jù)”這個(gè)概念?，F(xiàn)在的“大模型”，和模型有什么區(qū)別？

?

葉軍：我們最熟悉的是進(jìn)小區(qū)時(shí)識(shí)別車牌的系統(tǒng)，車開(kāi)過(guò)來(lái)，桿抬起來(lái)，那個(gè)可以理解為一個(gè)小模型。大模型對(duì)更大量的數(shù)據(jù)做識(shí)別，訓(xùn)練的算法跟之前的算法不一樣。

?

因?yàn)檐嚺飘吘怪挥袔讉€(gè)字母，訓(xùn)練模型會(huì)容易一些。你可以把一個(gè)模型想象成一臺(tái)洗衣機(jī)、一個(gè)面包機(jī)等等。像車牌識(shí)別的模型，只能干一件事情。

?

而大模型能力更強(qiáng)，輸入大量的數(shù)據(jù)，參數(shù)級(jí)別上千億?？梢园压_(kāi)的數(shù)據(jù)、信息輸給它，它不斷進(jìn)行神經(jīng)網(wǎng)絡(luò)的建模。算完以后，把分析結(jié)果存下來(lái)，下次再有輸入的時(shí)候，它拿這個(gè)模型來(lái)處理一下，給你一個(gè)輸出。如果結(jié)果不對(duì)，你還可以糾正它，不斷優(yōu)化。

?

?

那我們中國(guó)的公司，在做大模型數(shù)據(jù)輸入的時(shí)候，會(huì)因?yàn)橐恍┮庾R(shí)形態(tài)、某種原因，沒(méi)有辦法拿到嗎？還是說(shuō)我們可以利用人類全部的知識(shí)存量？

?

葉軍：這是一個(gè)很關(guān)鍵的問(wèn)題，對(duì)大模型來(lái)講輸入很重要。輸入什么樣的資料，決定了訓(xùn)練出來(lái)的結(jié)果好不好。

?

很難有人拿到人類全部的知識(shí)，各家都在想盡辦法找到更好的語(yǔ)料。有些專門訓(xùn)練圖形生成的，像國(guó)外做得比較好的Midjourney（MJ）、開(kāi)源的Stable Diffusion，是基于幾億張圖片來(lái)訓(xùn)練，訓(xùn)練的語(yǔ)料就很重要。

?

吳曉波：國(guó)內(nèi)外現(xiàn)在很多大大小小的公司在做模型，你覺(jué)得這時(shí)候企業(yè)原來(lái)的能力，比如算力、服務(wù)器能力、技術(shù)能力的支持性有多大？

?

我為什么問(wèn)這個(gè)問(wèn)題呢？因?yàn)镸J只有11個(gè)人，一年?duì)I收1億美元。是小公司有顛覆世界的可能性，還是大公司在未來(lái)機(jī)會(huì)更大？

?