當(dāng)教育公司好未來想要訓(xùn)練自己的大模型時，它遇到了算力的難題。其算法工程師往往有多個項目、多個訓(xùn)練的模型、以及各種版本的迭代，任務(wù)繁多。在這個背景下，它們希望通過一個專業(yè)且穩(wěn)定的算力訓(xùn)練平臺，為每一個算法工程師分配合適的算力資源，讓整個訓(xùn)練體系高效運轉(zhuǎn)起來、將手上的算力利用到最優(yōu)。

在大模型落地之路上，很多企業(yè)都面臨像好未來一樣的難題。當(dāng)它們想要自己去訓(xùn)模型的時候，可能會遇到算力難以利用好的問題；當(dāng)他們想要調(diào)用、調(diào)優(yōu)模型時，可能會面臨模型選擇不夠、工具鏈不夠、數(shù)據(jù)不夠等問題。

這正是國內(nèi)云廠商想要幫他們解決的問題。在大模型浪潮下，過去以 IaaS（基礎(chǔ)設(shè)施即服務(wù)）和 PaaS（平臺即服務(wù)）為主的基礎(chǔ)云服務(wù)，正讓位于以 AI 為主的 MaaS（模型即服務(wù)）的云服務(wù)。云廠商希望能解決企業(yè)模型落地的這波需求，不僅僅是為了收模型和工具調(diào)度費，底層還是希望拉動云收入。

在大模型時代，圍繞企業(yè)的不同落地需求，百度智能云推出了全棧的產(chǎn)品服務(wù)體系。

第一層是百舸計算平臺，它基于百度對文心大模型訓(xùn)練的經(jīng)驗沉淀，主要為那些想自訓(xùn)模型的客戶提供算力服務(wù)。好未來最終就選擇了基于百舸訓(xùn)練自己的大模型。第二層是模型平臺千帆，主要面向想直接調(diào)用模型、深入部署模型、以及基于模型進行上層應(yīng)用開發(fā)的客戶。早在去年 3 月，百度 C 端應(yīng)用「文心一言」推出當(dāng)月，百度智能云就及時推出了千帆平臺。

這種積極性讓百度智能云在 AI 大模型落地的進程中走在前列。據(jù) IDC 發(fā)布的《2023 中國大模型平臺市場份額》，中國大模型平臺及相關(guān)應(yīng)用市場規(guī)模達 17.65 億元，百度智能云處于第一。而據(jù)自媒體”智能超參數(shù)”介紹，在 2024 年 1-8 月份的大模型中標(biāo)數(shù)量盤點中，百度在中標(biāo)項目數(shù)、行業(yè)覆蓋數(shù)以及央國企中標(biāo)項目數(shù)上，排名第一。

在 9 月 25 日百度智能云舉辦的云智大會上，百度集團執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖介紹，目前大模型已經(jīng)在企業(yè)端被真正用起來了。目前在千帆大模型平臺上，文心大模型日均調(diào)用量超過 7 億次，用戶累計精調(diào)了 3 萬個大模型，開發(fā)出了 70 多萬個企業(yè)級應(yīng)用。

在這樣的背景下，百度智能云分別針對算力、模型、AI 應(yīng)用，升級了百舸 AI 異構(gòu)計算平臺 4.0、千帆大模型平臺 3.0 兩大 AI 基礎(chǔ)設(shè)施，并升級代碼助手、智能客服、數(shù)字人三大 AI 原生應(yīng)用產(chǎn)品。沈抖表示，大模型以及配套的算力管理平臺、模型和應(yīng)用開發(fā)平臺，正在迅速成為新一基礎(chǔ)設(shè)施。這是大模型走向千行百業(yè)的重要基礎(chǔ)。

以下是極客公園與百度智能云、以及百舸和千帆兩大產(chǎn)品體系負(fù)責(zé)人交流后，看到的這兩款重要產(chǎn)品的核心變化。從中，可以一窺中國企業(yè)落地大模型的核心難點、關(guān)鍵趨勢。這對于接下來國內(nèi)大模型的落地進程或許是至關(guān)重要的。

百度集團執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖｜圖片來源：百度智能云

對想訓(xùn)模型的客戶：從「多快好省」用上算力，走向萬卡集群時代

盡管直接調(diào)用模型是主流，但仍然有很多企業(yè)有自己訓(xùn)練模型的需求。據(jù)極客公園了解，這類企業(yè)往往集中在大模型初創(chuàng)企業(yè)、傳統(tǒng)互聯(lián)網(wǎng)企業(yè)，以及生命科學(xué)、智駕等行業(yè)。就企業(yè)規(guī)模來看，以行業(yè)頭部客戶居多。

它們一般具備較強的技術(shù)研發(fā)和快速迭代能力，有一定數(shù)據(jù)積累、數(shù)據(jù)質(zhì)量良好。當(dāng)然，它們也需要采購 GPU 算力。

但對于這些企業(yè)來說，如何能把算力用好，是一個核心難題。百度杰出系統(tǒng)架構(gòu)師，百度智能云 AI 計算部負(fù)責(zé)人王雁鵬對極客公園表示，這些客戶在算力上的核心痛點，大概可以總結(jié)為「多快穩(wěn)省」。

1）多：指的是在算力卡脖子的情況下，企業(yè)必然要混合多種芯片訓(xùn)練，但芯片混訓(xùn)難度非常大。

2）快：指的是減少集群部署時間，提升模型訓(xùn)練推理效率，實現(xiàn)大模型業(yè)務(wù)快速落地。

3）穩(wěn)：指的是技術(shù)故障都有可能導(dǎo)致訓(xùn)練任務(wù)停擺，進而造成損失，需要保持穩(wěn)定和有效訓(xùn)練時長。

4）?。褐傅氖撬懔]有被利用出來，甚至 50% 的算力都被浪費了，因此提升資源利用率對企業(yè)節(jié)省成本至關(guān)重要。

在王雁鵬看來，很多互聯(lián)網(wǎng)行業(yè)客戶的技術(shù)能力主要強于上層軟件，而對于高性能計算、存儲、網(wǎng)絡(luò)、算法框架等底層基礎(chǔ)設(shè)施能力上存在欠缺。他們想自己用好算力的難度比較大，這正是百舸平臺提供的價值。

百舸延承自百度這十余年的基礎(chǔ)設(shè)施經(jīng)驗，從最開始自己搭建服務(wù)器、到深度學(xué)習(xí)崛起后開始嘗試 GPU 加速、到后來跟上云計算的巨大底層變革、再到今天 GPU 云時代超大規(guī)模的并行計算和萬卡集群的算力利用。百度將過去多年的技術(shù)積累、資金與人員的大力投入、以及文心大模型的訓(xùn)練經(jīng)驗，最終沉淀為了百舸計算平臺。

百舸 AI 異構(gòu)計算平臺 4.0｜來源：百度智能云

在上述四大方面，百舸平臺取得了領(lǐng)先于行業(yè)的產(chǎn)品優(yōu)勢：

1）多：百舸支持在同一智算集群中混合使用不同廠商芯片，兼容昆侖芯、昇騰、海光 DCU、英偉達、英特爾等國內(nèi)外主流 AI 芯片，多芯混合訓(xùn)練任務(wù)的性能損失控制在萬卡性能損失 5%，是業(yè)界最高水平。

2）快：一方面，百舸 4.0 能幫客戶省去大量復(fù)雜和瑣碎的配置和調(diào)試工作，最快 1 小時便能創(chuàng)建萬卡規(guī)模集群，這要比行業(yè)通常需要的數(shù)天甚至數(shù)周快得多；另一方面通過大模型訓(xùn)推任務(wù)加速套件 AIAK，能針對主流開源大模型在并行策略、顯存、算力等層面進行深度優(yōu)化，為萬卡集群下的大模型訓(xùn)推加速。比如單個芯片整體訓(xùn)練效率提升了 30%，長文本推理任務(wù)可以做到「極速生成」與「秒回」、效率提升了一倍。

3）穩(wěn)：大模型訓(xùn)練是一個龐大的單一任務(wù)，一個點出錯，整個集群就得停下、回滾到上一個記憶點。百舸在萬卡任務(wù)上可實現(xiàn)有效訓(xùn)練時長占比 99.5%，穩(wěn)定性極強。

4）?。喝绻f一般客戶自己管理算力只能發(fā)揮不到一半的資源利用率，那百舸能將資源利用率提升至 90%。

正是看重百舸在穩(wěn)定、高效提供算力等方面的優(yōu)勢，經(jīng)過綜合評估之后，好未來最終選擇了百舸。好未來看來，百舸平臺的自適應(yīng)分配策略，無論是對并行模型、并行訓(xùn)練任務(wù)的處理，還是對單任務(wù)之間的快速銜接等，都能做到速度非常快、同時保證任務(wù)不掉，使得團隊快速地完成了九章大模型的研發(fā)上線。

這些都還是在萬卡集群的維度進行討論，不過往未來看，國內(nèi)大模型行業(yè)很快將進入十萬卡集群的競爭。

沈抖介紹，大模型領(lǐng)域的 Scaling Law（縮放定律，指模型性能會隨著參數(shù)、算力、數(shù)據(jù)集的規(guī)模增加而提高）仍在繼續(xù)，這意味著大模型訓(xùn)練會很快進入十萬卡集群的競爭階段。不久前，馬斯克表示剛建設(shè)了 10 萬卡的集群，未來幾個月還會擴張到 20 萬卡，這不會是個例，

在他看來十萬卡集群訓(xùn)練的挑戰(zhàn)很大。一方面是空間，部署 10 萬卡的大規(guī)模集群，光是在物理層面就要占據(jù)大概 10 萬平方米的空間，相當(dāng)于 14 個標(biāo)準(zhǔn)足球場的面積。另一方面是能耗，這些服務(wù)器一天就要消耗大約 300 萬千瓦時的電力，相當(dāng)于北京市東城區(qū)一天的居民用電量。

而這種對空間和能源的巨大需求，已遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)機房部署方式所能承載的范疇。因此不得不考慮跨地域的機房部署，但這又帶來了網(wǎng)絡(luò)層面的巨大挑戰(zhàn)。另外 10 萬卡集群的訓(xùn)練中斷比例會大大提升，有效訓(xùn)練時長占比會非常低，這也是很大的挑戰(zhàn)。

不過在沈抖看來，百舸 4.0 正是為部署 10 萬卡大規(guī)模集群而設(shè)計的，而今天的百舸 4.0 已經(jīng)具備了成熟的 10 萬卡集群部署和管理能力?！杆褪且黄七@些新挑戰(zhàn)，為整個產(chǎn)業(yè)提供持續(xù)領(lǐng)先的算力平臺，讓我們的客戶始終走在時代前沿?！顾f。

復(fù)盤大模型落地這一年：從試水、到中間階段、再到真正的爆發(fā)

對于那些想要基于現(xiàn)有大模型做二次開發(fā)（包括再訓(xùn)練、微調(diào)、評估和部署）的企業(yè)來說，百度智能云千帆平臺的初衷就是為它們打造。去年 3 月，千帆平臺提供了大模型調(diào)用接口和微調(diào)工具鏈，幫助企業(yè)更好地進行大模型落地嘗試。

而在百度副總裁謝廣軍看來，這一年半來，大模型落地趨勢經(jīng)歷了三次變化。而針對這三次變化，千帆平臺也相應(yīng)完成了從 1.0 到 3.0 的三次版本進化。

千帆 1.0 推出時，正值大模型爆火，那是企業(yè)進行大模型落地的第一個階段：接觸大模型的人都在找卡、囤積算力、嘗試訓(xùn)練模型，大模型帶火了芯片和算力。那時大模型的需求相對模糊，千帆 1.0 主要提供給企業(yè)大模型調(diào)用和微調(diào)服務(wù)。

從去年下半年開始，大模型落地進入了第二個階段：很多企業(yè)和開發(fā)者，都在探索怎么基于基座大模型改造現(xiàn)有業(yè)務(wù)，在模型調(diào)用之上新增了應(yīng)用開發(fā)的需求。在這樣的背景下，千帆推出 2.0，為企業(yè)提供 AI 原生應(yīng)用開發(fā)工具。不過，這個過程雖然有很多企業(yè)在嘗試，但真正用到生產(chǎn)中的并不多。

而從今年 5 月開始，受各家模型廠商的價格戰(zhàn)影響、模型降價，加速了企業(yè)把大模型用起來，并在業(yè)務(wù)場景里產(chǎn)生價值。

自今年上半年以來，大模型的落地發(fā)展明顯加快｜圖片來源：百度智能云

據(jù)百度智能云觀察，自今年上半年以來，大模型的落地發(fā)展明顯加快。就千帆平臺的觀察來看，其文心大模型日調(diào)用量超 7 億次，累計精調(diào)模型超 3 萬個，幫助用戶開發(fā) AI 應(yīng)用應(yīng)用超過 70 萬個。

據(jù)謝廣軍介紹，大模型的應(yīng)用已經(jīng)進入爆發(fā)期，很多企業(yè)不是在等待類似移動時代的爆款應(yīng)用，而是已經(jīng)把大模型用到了自己業(yè)務(wù)的「研產(chǎn)供銷服」的各個環(huán)節(jié)。

在他看來，這也是過去 18 個月整個國內(nèi)大模型產(chǎn)業(yè)發(fā)展的一個縮影。「我們可以預(yù)判，2024 年將成為國內(nèi)大模型產(chǎn)業(yè)應(yīng)用爆發(fā)的元年?！顾f。

企業(yè)的模型應(yīng)用趨勢：更深的模型工具鏈、更豐富的模型選擇、更專業(yè)的應(yīng)用開發(fā)工具

為了接住今天快速增長的 AI 落地需求，千帆大模型平臺此次升級了 3.0 版本，在模型開發(fā)層、模型調(diào)用層、應(yīng)用開發(fā)層三大方面都有了更新。如果拆解每一層，也能看到當(dāng)下 AI 落地的一些需求和趨勢。

1.模型開發(fā)層：需要大小模型結(jié)合、需要更深的工具鏈、需要補給數(shù)據(jù)

模型開發(fā)層，指的是需要基于現(xiàn)有大模型做二次開發(fā)（包括再訓(xùn)練、微調(diào)、評估和部署）。

據(jù)百度副總裁謝廣軍介紹，企業(yè)在進行模型開發(fā)時，一個需求是它們要的不只是大語言模型，也還需要傳統(tǒng)的視覺模型、語音模型，甚至是傳統(tǒng)意義上的小模型。比如在教育場景里，如果要大模型評判作業(yè)，它往往需要一個拍照的過程，通過 OCR 視覺模型解析題目，再通過大語言模型生成答案。

另外，企業(yè)進行模型開發(fā)的需求也更深度了。比如過去千帆提供的是低門檻一站式部署平臺，但現(xiàn)在涌現(xiàn)了很多專業(yè)的用戶，他們需要更深度的模型開發(fā)，比如白盒化訓(xùn)練、作業(yè)建模等方式開發(fā)等。

而在數(shù)據(jù)層面，企業(yè)也有了更高的要求。比如用戶可能存在數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)不夠、很難代表行業(yè)垂類場景的情況，那么就需要混入一些行業(yè)專有數(shù)據(jù)。另外，很多模型在訓(xùn)練時是針對具體場景做效果增強，但這可能會出現(xiàn)通用能力遺忘的問題，這時也需要混入通用的語料。

針對這些情況，千帆大模型平臺 3.0 做了全面的更新。目前，它支持大模型和多種傳統(tǒng)模型的協(xié)同開發(fā)，并提供了行業(yè)最全面的模型精調(diào)工具鏈，上線了 DPO、KTO 等模型訓(xùn)練算法和 PTQ 等模型量化算法。它還預(yù)置了獨家高質(zhì)量混合語料，支持企業(yè)將應(yīng)用中產(chǎn)生的寶貴數(shù)據(jù)反饋給模型、形成數(shù)據(jù)飛輪，放大模型在特定場景下的優(yōu)勢。

千帆大模型平臺 3.0 模型開發(fā)工具鏈｜圖片來源：百度智能云

一個案例是，高途教育通過千帆大模型平臺的開發(fā)工具鏈訓(xùn)練了作業(yè)批改大模型。它可以準(zhǔn)確識別印刷體的題干和手寫體的學(xué)生答案，同時利用千帆「數(shù)據(jù)飛輪」對這些數(shù)據(jù)進行清洗和精標(biāo)，進一步提升模型性能?，F(xiàn)在，改大模型的數(shù)學(xué)判卷準(zhǔn)確率已經(jīng)能達到 95%，最終讓老師、學(xué)生受益，讓公司業(yè)務(wù)增長。

2.模型服務(wù)層：持續(xù)擴充模型類型、降低模型價格

模型服務(wù)層，指的是用戶直接調(diào)用大模型的需求。

千帆平臺的升級思路，一是持續(xù)擴充模型的類型。比如在主力模型上，推出了新的模型 ERNIE Speed pro、ERNIE Lite pro 等，上下文都是支持 128K。垂類場景模型上，又推出了包括 ERNIE Character、ERNIE Functions、ERNIE Novel，更好滿足一些企業(yè)在細(xì)分場景的需求。

除了文心系列大模型外，千帆還提供了包括近百個國內(nèi)外大模型等豐富模型選擇。除了語言模型，還支持調(diào)用語音、視覺等各種傳統(tǒng)的模型等等。

文心大模型家族全景圖｜來源：百度智能云

在擴大模型類型的同時，另一重點是降低模型調(diào)用成本。過去一年，文心旗艦大模型降價幅度超過 90%、主力模型全面免費。這帶來的效果是，文心一言大模型的日均調(diào)用量超過 7 億次。

上海巨閑網(wǎng)絡(luò)科技旗下的產(chǎn)品「考試寶」，通過千帆的大模型調(diào)用和提示詞工程，實現(xiàn)了試題解析智能化，可以秒級返回解析結(jié)果，用戶會員轉(zhuǎn)化意愿翻了一倍，且單條試題解析成本降幅達到 98%。最終實現(xiàn)了降本增收。

又比如是國內(nèi)領(lǐng)先的招聘企業(yè)獵聘，通過調(diào)用文心大模型，對崗位需求和簡歷內(nèi)容進行語義理解分析，幫助獵頭顧問快速、智能地篩選簡歷，實現(xiàn)了高效的人崗匹配?，F(xiàn)在，獵聘的人崗匹配準(zhǔn)確率比業(yè)界平均水平高出 15 個百分點，提升招聘效率 50% 以上。

3.應(yīng)用開發(fā)：企業(yè)級 RAG、企業(yè)級 Agent、AI 速搭三大方向

大模型真正在企業(yè)用起來，最上層的一步是看應(yīng)用。它是一種最簡單實用的方式，幫助企業(yè)用大模型來改造自己的業(yè)務(wù)。

目前，企業(yè)的的應(yīng)用落地主要是在 RAG（檢索增強生成）場景。因為 RAG 能讓大模型快速「懂業(yè)務(wù)」，它相當(dāng)于把海量的企業(yè)數(shù)據(jù)和行業(yè)知識做成「外掛知識庫」給大模型。目前，千帆 3.0 從檢索效果、檢索性能、存儲擴展、調(diào)配靈活性四方面對企業(yè)級 RAG（檢索增強生成）進行了升級。

比如，通過與百度云資源打通，它可以支持無限容量的知識庫存儲和檢索；速度上，能做到 1.5 秒內(nèi)返回結(jié)果；RAG 全部關(guān)鍵環(huán)節(jié)，包括解析、切片、向量化、召回、排序等等，都可調(diào)、可配；企業(yè)可以靈活配置出最適合自己業(yè)務(wù)的方案；最后，它提供了企業(yè)級的安全性和穩(wěn)定性。

在 2024 云智大會現(xiàn)場，演示了澎湃新聞應(yīng)用企業(yè)級 RAG 的例子。這類權(quán)威媒體報道一條新聞時，往往需要引入該新聞的前因后果、背景信息，這是寫報道的基礎(chǔ)。澎湃新聞通過千帆創(chuàng)建知識庫，上傳了澎湃新聞成立十年以來所有媒資信息，共計 2700 萬篇文檔，超過 350 億文字。接下來，設(shè)置成 100% 按知識庫內(nèi)容回答。

這對 RAG 的切片能力和召回的準(zhǔn)確度要求非常高。比如讓它盤點中國網(wǎng)球奧運發(fā)展史、以及 2024 年巴黎奧運女單冠軍鄭欽文的個人發(fā)展故事，大模型很快就定位到了知識庫里的相關(guān)信息，并用結(jié)構(gòu)化的表達方式生成了新聞事件的脈絡(luò)、提供了文檔索引。這體現(xiàn)了大模型強大的意圖理解和內(nèi)容生成能力。

又比如 RAG 的指令遵循能力。如果刪掉知識庫中有關(guān)鄭欽文獲得 2024 年奧運網(wǎng)球冠軍相關(guān)的信息，再去問大模型，2024 年巴黎奧運會女單網(wǎng)球冠軍是誰，大模型會拒絕回答這個問題。這是才是正確的做法。過去，由于大模型的「幻覺」問題，企業(yè)擔(dān)心大模型不靠譜，但有了 RAG 和嚴(yán)謹(jǐn)?shù)闹噶钭裱?，這個問題可以得到解決。

另外一個常見的大模型落地方式是 Agent（智能體）。Agent 在接到一個任務(wù)后，會進行自主思考、任務(wù)拆解、方案規(guī)劃、并調(diào)用工具，全程自動地完成任務(wù)。千帆 3.0 升級的一個重要內(nèi)容，就是針對企業(yè)級 Agent 的開發(fā)，增加了業(yè)務(wù)自主編排、人工編排、知識注入、記憶能力以及百度搜索等 80 多個官方組件支持。

在大會現(xiàn)場，也展示了在電商領(lǐng)域應(yīng)用的例子。愛庫存作為一家私域電商供貨平臺，數(shù)百萬店主在愛庫存上找到想賣的商品，通過自己的微信群、朋友圈這些渠道分發(fā)出去。愛庫存正在千帆大模型平臺上開發(fā)一個叫「愛庫存超級助手」的 Agent。

過去，如果一個店主發(fā)現(xiàn)銷量變差了，想調(diào)整一下銷售計劃、看看接下來適合賣什么。他首先要到數(shù)據(jù)看板上分析原因，如果確認(rèn)是選品的問題，他會到愛庫存「熱賣榜」里去找更有增長潛力又適合他客群的品類，然后去做同類產(chǎn)品的比價、選品，最后還要到生成對應(yīng)的文案和海報。這幾步走下來，一般得幾個小時。

而現(xiàn)在通過搭建 Agent，分鐘級就可以完成，效率得到極大提升。目前這個功能正在內(nèi)測，預(yù)計在 Q4 向愛庫存的店主正式開放。

此外，本次大會還發(fā)布了企業(yè)級智能化低代碼應(yīng)用開發(fā)平臺「AI 速搭」，通過自然語言對話，一句話就可以完成應(yīng)用創(chuàng)建。

在大會現(xiàn)場，還演示了如何通過對話，在 AI 速搭平臺上開發(fā)一個資產(chǎn)管理應(yīng)用。只需一句話描述對目標(biāo)系統(tǒng)的需求，包含資產(chǎn)信息、資產(chǎn)入庫、資產(chǎn)領(lǐng)用、資產(chǎn)維修、資產(chǎn)報廢等功能模塊，大模型就可以清晰地理解需求并生成應(yīng)用。過去，這樣一個應(yīng)用即使用低代碼方式開發(fā)也需要幾天的時間，現(xiàn)在只需幾分鐘就能完成。

大模型浪潮已經(jīng)到了第二年，中國企業(yè)的落地速度、規(guī)模比想象中要更快。這離不開模型廠商以及提供全套落地產(chǎn)品體系的云廠商的努力。隨著大模型落地真正拉開大幕，依靠響應(yīng)速度、投入、決心等，百度智能云試圖領(lǐng)跑、爭奪 GPU 時代云計算巨頭的生意規(guī)模和市場地位。今天或許只是一個開始。