去年6月，MiniMax自研文本大模型MiniMax-ABAB（“阿巴阿巴”）快速迭代到第二個(gè)版本，隨著參數(shù)規(guī)模增長、海量數(shù)據(jù)涌入，彼時(shí)的計(jì)算資源捉襟見肘。

如果算力不足，大模型研發(fā)進(jìn)度將被嚴(yán)重影響。而帶來的后果可能是，這家國內(nèi)最早入場之一的大模型創(chuàng)業(yè)公司，將會失去他們好不容易獲得的市場先機(jī)。

解決算力問題，刻不容緩。

// 向云看，底座大升級

不同于上一波人工智能的“算法制勝”，大模型更像是一個(gè)用算力”大力出奇跡“的工程。

在規(guī)模不大時(shí)，依靠自購服務(wù)器、自建小規(guī)模的算力平臺，還能夠滿足業(yè)務(wù)需求。

但一旦上量，弊病就逐步顯現(xiàn)：

• 每一臺物理服務(wù)器上架、通電、調(diào)試都要耗費(fèi)大量人力，即使不考慮供應(yīng)鏈緊張的問題，光是采購、搬機(jī)器、通電開機(jī)也要耗費(fèi)數(shù)周，效率很低；
• 更關(guān)鍵的是，大模型訓(xùn)練、推理，不是單臺服務(wù)器所能完成，需要由成百上千臺服務(wù)器共同處理。如果沒有成熟經(jīng)驗(yàn)就自己搭架構(gòu)，很容易在性能和成本上落后。

MiniMax找到了騰訊云團(tuán)隊(duì)——

騰訊云布局異構(gòu)計(jì)算多年，在深度學(xué)習(xí)、科學(xué)計(jì)算、芯片仿真等高性能計(jì)算場景下積累的多年經(jīng)驗(yàn)，還面向大模型推出了「HCC高性能計(jì)算集群」。

它協(xié)同優(yōu)化了單機(jī)算力、網(wǎng)絡(luò)架構(gòu)和存儲性能：

借助自研星脈網(wǎng)絡(luò)，將集群通信帶來的算力損耗降到更低；騰訊云CFS Turbo、COS+GooseFS高性能存儲，讓上千個(gè)計(jì)算節(jié)點(diǎn)能同時(shí)高速讀取訓(xùn)練數(shù)據(jù)。

雙方先拿出少量服務(wù)器做性能驗(yàn)證。隨著實(shí)測符合預(yù)期、可用性達(dá)到99.9%，集群規(guī)模很快提升到千卡級以上。

隨后，業(yè)務(wù)逐步開放，MiniMax也迎來了創(chuàng)立以來首個(gè)的模型驗(yàn)證、推理任務(wù)的洪峰，在云底座的支撐下，激增的并發(fā)計(jì)算量被穩(wěn)健扛住。

在保證研發(fā)進(jìn)度的情況下，MiniMax也完成了一次順滑的底座升級。

// 摳成本，資源利用率再高一點(diǎn)

// 用大數(shù)據(jù)，給大模型性能做診斷