今年10月，作為蘋果公司與哥倫比亞大學(xué)的研究成果，F(xiàn)erret就已經(jīng)發(fā)布過一次，只是當(dāng)時(shí)僅供研究使用而非商業(yè)許可，所以并未引起多大關(guān)注。如今情況發(fā)生了轉(zhuǎn)變，隨著各大科技公司你追我趕地公布研發(fā)成果，關(guān)于本地模型為小型設(shè)備提供智能體驗(yàn)的討論也越來越多。

12月以來，蘋果也陸續(xù)公布它在AI領(lǐng)域的研發(fā)進(jìn)展。12月初蘋果公布Apple Silicon平臺(tái)專用AI框架MLX、以及能在設(shè)備端執(zhí)行大語言模型的方法，后者能在邊緣設(shè)備上執(zhí)行DRAM兩倍大的模型，可節(jié)省執(zhí)行大模型所需的運(yùn)算資源，也更能確保隱私安全。

上周，蘋果再次公布全新成果——Ferret大語言模型以及相關(guān)標(biāo)竿測(cè)試工具與數(shù)據(jù)集。

作為一款多模態(tài)模型，F(xiàn)erret可以接受文字、聲音、影像或數(shù)據(jù)的輸入。根據(jù)蘋果10月公布Ferret的研究論文，F(xiàn)erret能理解任何形狀或任何圖片顆粒（granularity），并且可以準(zhǔn)確定位（ground）開放詞匯的描述。為了把引用（refer）和定位能力整合到模型中，F(xiàn)erret采用一種混合區(qū)域表征（hybrid region representation）技術(shù)，整合個(gè)別方位和連續(xù)性的特征，以表示圖片中的某一區(qū)域。為提取出區(qū)域中的連續(xù)特征，蘋果研究人員提出一種空間感知的視覺采樣器，它能處理不同形狀多種稀疏性。這也使Ferret可以接受多樣化區(qū)域輸入，像是點(diǎn)、邊界框、自由形式的形狀。

為提升Ferret的能力，蘋果團(tuán)隊(duì)使用了GRIT數(shù)據(jù)集（Ground-and-Refer Instruction-Tuning），后者為是一個(gè)廣大的refer-and-ground指令微調(diào)數(shù)據(jù)集，包含110萬個(gè)樣本，內(nèi)有豐富的階層化空間知識(shí)，以及9.5萬個(gè)負(fù)樣本，以提升模型的判斷力。

與Kosmos-2、GPT4-ROI、LLaVA、Shikra等多模態(tài)大語言模型比較，最后蘋果得到的模型Ferret-13B，在傳統(tǒng)引用及定位任務(wù)具有優(yōu)異效能，此外，在區(qū)域?yàn)榛A(chǔ)、需要本地化的多模態(tài)對(duì)話、細(xì)節(jié)描述，以及復(fù)雜推理等任務(wù)上，F(xiàn)erret-13B的表現(xiàn)同樣優(yōu)于其他模型。在視覺化比較任務(wù)，蘋果說它的模型展現(xiàn)優(yōu)異的空間理解及常識(shí)推理能力。此外，蘋果宣稱其物件幻覺也較Shikra、InstructBLIP、MiniGPT4、LLaVA、MM-GPT及 mPLUG-Owl等知名模型少很多。

蘋果公布了Ferret7B、130B二模型的 代碼、GRIT數(shù)據(jù)集、標(biāo)竿測(cè)試工具Ferret-Bench，上周也公布了Ferret 70B及130B檢查點(diǎn)（checkpoint）。

有趣的是，在人工智能社區(qū)中，很多人都是到最近才發(fā)現(xiàn)蘋果的大模型，Bart de Witte也在X上感嘆自己居然錯(cuò)過了這個(gè)消息，同時(shí)也表示：“期待著有一天，本地大型語言模型能作為重新設(shè)計(jì)的iOS的集成服務(wù)，運(yùn)行在我的iPhone上?！?/p>

隨著蘋果大模型的開發(fā)有了新的進(jìn)展，Anthropic和OpenAI據(jù)稱也在為其專有大語言模型的開發(fā)工作談判新的巨額融資。