近日

微軟和英偉達相繼發(fā)布了

最新的小型語言模型

Phi-3.5-mini-instruct

和Mistral-Nemo-Minitron8B

科技巨頭紛紛押注小模型

大模型不香了？

小模型煥發(fā)新生

近年來

科技巨頭們競相開發(fā)

規(guī)模龐大的語言模型

2024世界智能產(chǎn)業(yè)博覽會一景。

圖源：新華社

但隨著科技巨頭的加碼

小型語言模型（SLM）正逐漸嶄露頭角

挑戰(zhàn)著過去“越大越好”的觀念

據(jù)媒體介紹

Phi-3.5-mini-instruct

和Mistral- NeMo- Minitron8B

主要賣點是

它們在計算資源使用和

功能表現(xiàn)之間實現(xiàn)了良好的平衡

在某些方面

它們的性能甚至可以媲美大模型

人工智能初創(chuàng)公司Hugging Face

首席執(zhí)行官

曾被《時代》周刊評為全球AI領(lǐng)袖的

克萊門特·德朗格表示

高達99%的使用場景

可以通過SLM來解決

他預(yù)測2024年

將成為SLM之年

據(jù)不完全統(tǒng)計

包括谷歌、微軟、Meta等

在內(nèi)的科技巨頭們

今年已經(jīng)發(fā)布了

九款小型模型

此前蘋果發(fā)布的

Apple Intelligence

就被媒體認為

蘋果傾向于利用設(shè)備端的小模型

來提升用戶體驗

這是2024年3月4日在比利時布魯塞爾市中心拍攝的一家美國蘋果公司門店。

圖源：新華社

小模型的崛起并非偶然

小模型的崛起與大模型（LLM）

在性能提升、資源消耗方面的挑戰(zhàn)

密切相關(guān)

7月2日，工作人員在2024全球數(shù)字經(jīng)濟大會數(shù)字經(jīng)濟沉浸式體驗區(qū)與數(shù)字人交流。

圖源：新華社

訓(xùn)練和運行大模型所需的

計算能力和能源消耗

令人咋舌

這使得小型組織或個人

難以參與核心大模型開發(fā)

國際能源署估計

數(shù)據(jù)中心、加密貨幣

和人工智能相關(guān)的電力消耗

到2026年

會大致相當(dāng)于日本全國的用電量

大模型的另一個重大問題

是容易產(chǎn)生“幻覺”

即模型生成的輸出看似合理

但實際上并不正確

但不可否認的是

大模型仍然是行業(yè)發(fā)展的大趨勢

360集團創(chuàng)始人、董事長

周鴻祎曾表示

未來5-10年互聯(lián)網(wǎng)的風(fēng)口是

大模型和人工智能

百度創(chuàng)始人、董事長兼

首席執(zhí)行官李彥宏也曾表示

大模型將滲透更多領(lǐng)域

重構(gòu)全球數(shù)字化產(chǎn)業(yè)

大模型

無法完全取代小模型

今年四月份

AI初創(chuàng)公司Vellum和Hugging Face

發(fā)布的性能比較表明

大模型之間的性能差距

正在迅速縮小

基于對大模型巨大能源需求的擔(dān)憂

以及為企業(yè)提供

更多樣化AI選項的市場機會

讓科技公司將注意力逐漸轉(zhuǎn)向了小模型

與大模型相比

小模型的主要優(yōu)勢是高效

針對特定應(yīng)用的專業(yè)化

與在特定領(lǐng)域不易出現(xiàn)“幻覺”

盡管說

在某些方面小模型的性能

并不遜于

甚至是強于大模型

但這些優(yōu)勢

也恰恰限制了小模型

在特定領(lǐng)域之外

小模型的表現(xiàn)不佳

缺乏廣泛的數(shù)據(jù)庫

也無法與大模型相比

2024年5月30日，在瑞士日內(nèi)瓦舉行的2024年“人工智能造福人類全球峰會” 上，參會者和AI機器人下棋。

圖源：新華社

業(yè)界人士表示

大模型與小模型之間存在本質(zhì)區(qū)別

且各自具有獨特的應(yīng)用場景

因此大模型無法完全取代小模型