4月21日消息，基于RISC-V指令集的高性能、高能效人工智能解決方案的領(lǐng)先開發(fā)商Esperanto Technologies近日宣布，它已經(jīng)移植并正在運(yùn)行一系列生成式AI 在其低功耗 RISC-V 硬件上建模。Esperanto 計(jì)劃為 RISC-V 社區(qū)的研究人員提供訪問權(quán)限，作為該公司幫助更廣泛行業(yè)“人工智能民主化”并幫助加速 RISC-V 生成人工智能技術(shù)開發(fā)的使命的一部分。

這一發(fā)展是 Esperanto 將 RISC-V 技術(shù)在人工智能和通用應(yīng)用程序中的優(yōu)勢(shì)從云擴(kuò)展到邊緣的戰(zhàn)略的一部分。Esperanto 的生成式 AI 工作的重點(diǎn)領(lǐng)域包括大型語(yǔ)言模型 (LLM) 的用例，其中與現(xiàn)有產(chǎn)品相比，使用低功耗硬件并降低總擁有成本 (TCO) 是關(guān)鍵。

特別是，Meta 的Open Pre-TrAIned Transformer (OPT) 模型的多個(gè)版本現(xiàn)在以多種精度級(jí)別和上下文大小在 Esperanto 的硬件上運(yùn)行，功率級(jí)別低至每芯片 25W 以進(jìn)行推理。Esperanto 的機(jī)器學(xué)習(xí)軟件開發(fā)套件支持將 OPT 模型快速移植到 ET-SoC-1 芯片上，該公司的商業(yè)客戶目前正在使用該套件。出于研發(fā)目的獲準(zhǔn)訪問 Esperanto 解決方案的研究人員將需要遵守 Meta 的開源許可以及其他計(jì)劃條款。

Esperanto Technologies 總裁兼首席執(zhí)行官 Art Swift 表示：“生成式 AI 是機(jī)器學(xué)習(xí)領(lǐng)域的最新進(jìn)展之一，我們很高興將我們?cè)诖笮驼Z(yǔ)言模型領(lǐng)域的努力貢獻(xiàn)給 RISC-V 研究社區(qū)?！?/p>

“Penguin Computing 很榮幸成為 Esperanto 的戰(zhàn)略合作伙伴，幫助加速部署高性能、低功耗的生成式 AI 解決方案，”Penguin Solutions 總裁兼 Smart Global Holdings 智能平臺(tái)解決方案高級(jí)副總裁 Thierry Pellegrino 說(shuō)?！拔覀兒芨吲d與 Esperanto 合作，將其 RISC-V 解決方案的部署擴(kuò)展到更廣泛的客戶群，這些客戶正在尋找低功耗人工智能推理解決方案并降低總擁有成本?！?/p>

“對(duì) RISC-V 日益增長(zhǎng)的興趣標(biāo)志著半導(dǎo)體行業(yè)的一個(gè)重要轉(zhuǎn)折點(diǎn)。生成 AI 領(lǐng)域的這一發(fā)展將進(jìn)一步加速 RISC-V 的評(píng)估，研究人員在這個(gè)激動(dòng)人心的領(lǐng)域?qū)で笸黄?，開發(fā)人員尋求增加現(xiàn)有平臺(tái)無(wú)法提供的競(jìng)爭(zhēng)優(yōu)勢(shì)，”該公司首席執(zhí)行官兼首席執(zhí)行官 Ben Bajarin 說(shuō)。

RISC-V International 首席執(zhí)行官 Calista Redmond 表示：“RISC-V 為協(xié)作和定制提供了無(wú)與倫比的機(jī)會(huì)，使其非常適合下一波人工智能創(chuàng)新?！?“Esperanto 是該領(lǐng)域的領(lǐng)先公司之一，它突破了性能和能效的極限，使生成式 AI 開發(fā)更容易獲得?！?/p>

對(duì)于商業(yè)客戶，Esperanto 目前正在交付 AI 評(píng)估服務(wù)器，這些服務(wù)器提供高性能、高能效和低 TCO。每個(gè) Esperanto 評(píng)估服務(wù)器均采用標(biāo)準(zhǔn) 2U 高外形規(guī)格，包括雙 Xeon 主機(jī)處理器和 8 或 16 個(gè) ET-SoC-1 PCIe 卡。每個(gè) Esperanto PCIe 卡都有超過(guò) 1,000 個(gè) 64 位 RISC-V CPU，并附有矢量/張量單元，每臺(tái)服務(wù)器最多可提供 16,000 個(gè) RISC-V CPU。Esperanto 的評(píng)估服務(wù)器使客戶能夠從運(yùn)行各種行業(yè)標(biāo)準(zhǔn) AI 模型中獲取性能和功率數(shù)據(jù)，以及自帶模型和數(shù)據(jù)的能力。

一顆擁有1000多個(gè)RISC-V內(nèi)核的AI芯片

近日，基于 RISC-V 指令集的高性能、高能效機(jī)器學(xué)習(xí)?(ML) 推理加速器開發(fā)商 Esperanto Technologies 今天宣布，公司創(chuàng)始人兼執(zhí)行官董事長(zhǎng) Dave Ditzel 在Hot Chips 33 大會(huì)上詳細(xì)介紹了該公司新型的 ET-SoC-1“片上超級(jí)計(jì)算機(jī)”的新細(xì)節(jié)。據(jù)了解，Esperanto 的 ML 推理加速器具有一千多個(gè) RISC-V 定制處理器內(nèi)核，旨在成為最高性能的商用 RISC-V 芯片。

資料顯示，Esperanto 基于 RISC-V 的推理芯片旨在滿足大型數(shù)據(jù)中心客戶的高性能但仍然能夠滿足風(fēng)冷和低功耗的要求，作為一種通用的并行處理解決方案，Esperanto的芯片可以加速許多可并行化的工作負(fù)載。報(bào)道指出，Esperanto的芯片旨在以低于 20 瓦的功率運(yùn)行，以適應(yīng)企業(yè)客戶苛刻的系統(tǒng)功率限制。該芯片包括超過(guò)一千個(gè)節(jié)能 RISC-V、ET-Minion 處理器內(nèi)核，每個(gè)內(nèi)核都有自己的自定義矢量/張量單元、四個(gè)高性能亂序 RISC-V、ET-Maxion處理器內(nèi)核和一個(gè)高性能存儲(chǔ)系統(tǒng)。

據(jù)了解，Esperanto 芯片在在機(jī)器學(xué)習(xí)推薦模型方面表現(xiàn)出色，機(jī)器學(xué)習(xí)推薦模型是許多大型數(shù)據(jù)中心中最重要的 AI 工作負(fù)載類型之一。該公司還宣布，預(yù)計(jì)將在今年晚些時(shí)候?yàn)楹细窨蛻魡?dòng)一項(xiàng)搶先體驗(yàn)計(jì)劃。

Campian 創(chuàng)始人兼首席分析師 Karl Freund 表示：“這款新型 AI 芯片的能效和內(nèi)存帶寬給我留下了深刻的印象，這是我們?cè)诟咝阅軘?shù)據(jù)中心工作負(fù)載看到的第一個(gè)也是最快的 與人工智能相關(guān)的RISC-V 設(shè)計(jì)”。

此外，使用標(biāo)準(zhǔn) RISC-V 內(nèi)核對(duì)程序員來(lái)說(shuō)還有很多好處，包括靈活性和輕松優(yōu)化代碼的能力。”

Semico Research Corporation 的首席市場(chǎng)分析師 Rich Wawrzyniak 表示：“Esperanto 的芯片專注于高吞吐量和高能效?！?“由于有如此多的 RISC-V 內(nèi)核同時(shí)運(yùn)行，因此能夠處理使用低電壓方法運(yùn)行的超大型模型，真正實(shí)現(xiàn)了優(yōu)越的每瓦性能。”