火山方舟開辟了新玩法,讓大模型信得過、用得起。
在最近火山引擎主辦和英偉達(dá)合作舉辦的V-Tech體驗(yàn)創(chuàng)新科技峰會上,火山引擎發(fā)布大模型服務(wù)平臺火山方舟,并面向企業(yè)提供模型精調(diào)、評測、推理等全方位的平臺服務(wù)。目前,火山方舟集成了百川智能、出門問問、復(fù)旦大學(xué)MOSS、IDEA研究院、瀾舟科技、MiniMax、智譜AI等多家AI科技公司及科研院所的大模型,并已啟動邀測。
此次發(fā)布會上火山方舟產(chǎn)品的確讓人眼前一亮。一般來說,企業(yè)為了數(shù)據(jù)安全會希望大模型在本地部署,然而這一模式又會導(dǎo)致大模型供應(yīng)商的知識產(chǎn)權(quán)外漏,大模型的使用方與提供方彼此之間的信任問題勢必需要解決。此次大會中,火山公布的大模型安全互信計(jì)算方案,有望從根本上解決產(chǎn)業(yè)互信的問題,為長期發(fā)展做鋪墊。
在大模型站在風(fēng)口的當(dāng)下,雖然各類模型百花齊放,但如何以成本與效率兼顧的原則,挑選出適合企業(yè)本身的模型仍是個不小的學(xué)問。這也是為何我們認(rèn)為火山方舟有很大看點(diǎn)的原因:解決互信問題、幫助企業(yè)挑選好適合自己的大模型、結(jié)合行業(yè)屬性精調(diào),讓大模型發(fā)揮出更大價值,幫助更多企業(yè)踏上人工智能的時代快車。
對此,李開復(fù)甚至稱AI大模型是絕對不能錯過的歷史機(jī)遇。因?yàn)檫@將是有史以來最大的平臺革命,它將比Windows、安卓要大10倍甚至更多,它會讓每個應(yīng)用改寫,會重新重構(gòu)人類的工作,會讓有創(chuàng)意的那些人的聰明才智被放大10倍或者更多。
在AI1.0的時代,數(shù)據(jù)集和模型之間較為孤立,需要大量的人工標(biāo)記工作。然而到了AI2.0時代,超級巨量數(shù)據(jù)訓(xùn)練將會解決這些障礙,微調(diào)后就可以執(zhí)行五花八門的任務(wù)。
根據(jù)產(chǎn)業(yè)發(fā)展規(guī)律,新技術(shù)發(fā)展初期,由于自身因素限制,往往很難形成大規(guī)模應(yīng)用,但是起到了很好的改變市場認(rèn)知作用,為后續(xù)增長空間做出很好的鋪墊。而當(dāng)新技術(shù)的限制因素被逐漸解決之后,其在產(chǎn)業(yè)的應(yīng)用便會迅速落地,打開市場空間。
可以看到的是,大模型將會逐步過渡到商業(yè)化落地階段,會在未來會給企業(yè)和員工的工作、運(yùn)營方式帶來變革性影響。作為比肩甚至超越移動互聯(lián)網(wǎng)浪潮的時代機(jī)遇,學(xué)會用好大模型,將會成為企業(yè)和個人在未來的核心競爭力。
直到目前,國內(nèi)外多家互聯(lián)網(wǎng)公司都開啟了大模型領(lǐng)域的應(yīng)用布局,產(chǎn)業(yè)發(fā)展如火如荼。
在海外市場,谷歌I/O上發(fā)布一系列生成式AI新進(jìn)展,包括新一代語言模型PaLM 2、升級AI聊天機(jī)器人Bard、生成式AI實(shí)驗(yàn)版搜索引擎、Duet AI for Workspace等;微軟推出ZeRO++技術(shù),可顯著減少AI大模型訓(xùn)練時間和成本;Meta開源多感官大模型,讓AI用6種模態(tài)體驗(yàn)虛擬世界,為實(shí)現(xiàn)元宇宙鋪路。
國內(nèi)的科技企業(yè)也沒有閑著。百度文心大模型已經(jīng)迭代到了3.5版本,與3.0版本相比,訓(xùn)練速度提升了2倍,推理速度提升了17倍;騰訊成立了混元助手項(xiàng)目組,由騰訊首席科學(xué)家張正友帶隊(duì)研發(fā);阿里發(fā)布“通義千問”后,瞄向AI音視頻賽道推出“通義聽悟”,并且正式開啟公測。
當(dāng)然,市場上有競爭力的玩家并不止于大模型的供應(yīng)方,還有火山引擎這類做大模型商業(yè)平臺的創(chuàng)新型選手?;鹕揭孀畛醯亩ㄎ痪褪菍⒆止?jié)內(nèi)部長期以來沉淀的技術(shù)能力和應(yīng)用工具開放給外部企業(yè)。如今,在火山引擎發(fā)布的火山方舟大模型服務(wù)平臺中,提供了面向企業(yè)開發(fā)者提供大模型精調(diào)、評測、推理、干預(yù)等全方位的大模型服務(wù),加速大模型應(yīng)用落地。
對于火山引擎這類采用“淘金賣水”式生意的公司而言,在AI風(fēng)口下有望迎來更具確定性的增長。
我們也可以看到通用大模型并不能解決全部問題,比如ChatGPT對于許多基礎(chǔ)問題存在回答“張冠李戴”的現(xiàn)象。同時,由于專業(yè)知識訓(xùn)練的語料不夠,ChatGPT在專業(yè)領(lǐng)域提供的回答通常過于膚淺,甚至經(jīng)常存在生成質(zhì)量不穩(wěn)定、邏輯不連貫、重復(fù)或不一致的現(xiàn)象,這會導(dǎo)致回答缺乏可靠性,無法滿足專業(yè)領(lǐng)域?qū)卮鹳|(zhì)量的高要求。
因此,對于B端和G端客戶來說,垂直大模型是重要的發(fā)展方向。通過精調(diào),垂直大模型能夠以更低的成本實(shí)現(xiàn)更精準(zhǔn)的輔助工作。通用大模型更多的是解決80%的通識性問題,要100%解決場景問題必須結(jié)合行業(yè)屬性,這一點(diǎn)在如今越來越成為共識。
比如對于醫(yī)療健康行業(yè),容錯性很低,模型的準(zhǔn)確度可能要達(dá)到99%以上才可進(jìn)入商業(yè)化階段。而如此高的精準(zhǔn)度自然是通用大模型無法達(dá)到的,將大模型結(jié)合行業(yè)屬性,才是大模型在產(chǎn)業(yè)應(yīng)用商業(yè)化落地的良藥。
再比如,微軟有一個研究團(tuán)隊(duì),他們制作專門為回答醫(yī)學(xué)問題而設(shè)計(jì)的語言模型——BioGPT?;贕PT-2,研究團(tuán)隊(duì)在預(yù)訓(xùn)練中使用8個Nvidia V100 GPU進(jìn)行20萬步,而微調(diào)則使用單個Nvidia V100 GPU進(jìn)行32步,然后使用3.57億個參數(shù)進(jìn)行調(diào)整,最終讓BioGPT相較于GPT-2而言,展示了更卓越的生物醫(yī)學(xué)內(nèi)容文本生成能力。
可見,一個經(jīng)過良好微調(diào)訓(xùn)練的小模型,在特定工作上的表現(xiàn)上,甚至?xí)?yōu)于一個通用的大基座模型。畢竟對于大多數(shù)行業(yè)而言,并不需要非常通用的、巨大的基座模型。
除此之外,由于通用大模型不是本地部署,許多問題需要上傳到云端之后在異地進(jìn)行解答,很容易導(dǎo)致企業(yè)內(nèi)部數(shù)據(jù)泄露。而且對于大多數(shù)公司而言,通用大模型給企業(yè)帶來的成本過高,很多時候百億級垂直大模型就能滿足需求,如果使用千億級大模型就會造成成本的浪費(fèi)。
從長期來看,大模型的推理開銷會遠(yuǎn)大于訓(xùn)練開銷。大的基座模型推理成本高昂,會倒逼企業(yè)選擇大模型時更加考慮性價比因素。
所以企業(yè)在挑選大模型時需要尤為關(guān)注模型可用性、安全性和成本等因素。
最后,國內(nèi)大模型還在初級階段,技術(shù)流動和發(fā)展也非??欤]有哪家大模型遙遙領(lǐng)先。眾多大模型在不同任務(wù)上的效果表現(xiàn)各擅勝場,企業(yè)不該把業(yè)務(wù)綁定在一家大模型上,而是應(yīng)該按照業(yè)務(wù)場景需求,擇優(yōu)選用不同的模型。
為了全方位支持企業(yè)挑選合適與自己的大模型,火山方舟還提供了統(tǒng)一的工作流對接多家大模型提供商,可以幫助企業(yè)為不同場景選擇最合適的模型,包括大模型精調(diào)、評測(效果指標(biāo))、推理、干預(yù)(內(nèi)容安全、質(zhì)量評估)等全方位的專業(yè)支持,在基本不改變工作流的情況下可以切換使用多個不同模型。
03
目前,火山方舟集成了百川智能、出門問問、復(fù)旦大學(xué)MOSS、IDEA研究院、瀾舟科技、MiniMax、智譜AI等多家AI科技公司及科研院所的大模型,并已啟動邀測。
不同于自建應(yīng)用,去服務(wù)企業(yè)和C端用戶,火山方舟選擇了類似于大模型領(lǐng)域的京東或天貓模式,通過匯集了一批來自AI創(chuàng)新公司和科研院所的優(yōu)秀模型,提供充沛算力、安全互信、企業(yè)服務(wù)等重要支持。
不同的商業(yè)模式所打造出來的差異化服務(wù),也成為企業(yè)選擇火山方舟的重要原因。
首先,針對安全方面,對于企業(yè)而言,非本地部署的大模型會給企業(yè)信息安全帶來很大隱患。然而,換個角度思考,如果將大模型私有化部署,不但企業(yè)將承擔(dān)更高的成本,模型生產(chǎn)方的知識資產(chǎn)安全也無從保障。
為此,火山方舟在業(yè)內(nèi)首創(chuàng)了安全互信計(jì)算,為大模型使用者、提供者和云平臺提供可以互相信任的安全保障。
據(jù)火山引擎智能算法負(fù)責(zé)人吳迪介紹,火山方舟已上線了基于安全沙箱的大模型安全互信計(jì)算方案,利用計(jì)算隔離、存儲隔離、網(wǎng)絡(luò)隔離、流量審計(jì)等方式,實(shí)現(xiàn)了模型的機(jī)密性、完整性和可用性保證,適用于對訓(xùn)練和推理延時要求較低的客戶。
會上,吳迪還表示,火山方舟還在探索基于NVIDIA新一代硬件支持的可信計(jì)算環(huán)境、基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)資產(chǎn)分離等多種方式的安全互信計(jì)算方案,更全面的滿足大模型在不同業(yè)務(wù)場景的數(shù)據(jù)安全要求。
其次,火山方舟提供了豐富的模型精調(diào)和評測支持。吳迪介紹,企業(yè)可以用統(tǒng)一的工作流對接多家大模型,對于復(fù)雜需求可設(shè)置高級參數(shù)、驗(yàn)證集、測試集等功能,再通過自動化和人工評估直觀對比模型精調(diào)效果,在不同業(yè)務(wù)場景里還可靈活切換不同的模型,實(shí)現(xiàn)最具性價比的模型組合。
如此一來,企業(yè)可以大幅降低大模型的推理成本,并結(jié)合自身業(yè)務(wù)場景,選擇更具性價比的模型。
目前,抖音集團(tuán)內(nèi)部已有十多個業(yè)務(wù)團(tuán)隊(duì)試用火山方舟,在代碼糾錯等研發(fā)提效場景,文本分類、總結(jié)摘要等知識管理場景,以及數(shù)據(jù)標(biāo)注、歸因分析等方面探索,利用大模型能力促進(jìn)降本增效。
火山方舟的首批邀測企業(yè),包括金融、汽車、消費(fèi)等眾多行業(yè)的客戶。通過抖音的海量數(shù)據(jù)訓(xùn)練,火山方舟已有能力將沉淀下來的經(jīng)驗(yàn)、方法為外部客戶進(jìn)行服務(wù)。
AI時代,在大模型領(lǐng)域絕不會一家獨(dú)大,期待火山方舟能以不一樣的方式,讓更多企業(yè)踏上人工智能時代的快車。



?津公網(wǎng)安備12011002023007號