實時AI—微軟喊你來玩

AI應(yīng)用信息1年前 (2024)發(fā)布 XIAOT

什么是“Project BrAInwave”

就在8月23日，微軟團隊推出了一個新的深度學(xué)習(xí)加速平臺——

Project Brainwave。該系統(tǒng)專為實時 AI 而設(shè)計——這意味著它接到處理請求時，就會以超低的延遲時間來處理。因為云基礎(chǔ)設(shè)施需要處理實時數(shù)據(jù)流，無論是搜索查詢、視頻、傳感器流，還是與用戶的交互。所以實時人工智能正變得越來越重要。

它可分為以下3個層面：

?高性能的分布式系統(tǒng)架構(gòu);

?整合到 FPGA 硬件上的深度神經(jīng)網(wǎng)絡(luò)（DNN）引擎；

?編譯器和runtime。

分布式架構(gòu)

首先，腦波（Brainwave）利用微軟在過去幾年部署的大量FPGA基礎(chǔ)設(shè)施。通過將高性能的FPGAs直接連到數(shù)據(jù)中心網(wǎng)絡(luò)，把DNNs作為硬件微服務(wù)，進而使DNN可以映射到一個遠程FPGAs池，再由loop中的服務(wù)器調(diào)用。

由于CPU不需要再處理傳入的請求，因此，該系統(tǒng)架構(gòu)減少了延遲；同時，F(xiàn)PGA處理請求的速度與網(wǎng)絡(luò)接受請求的一樣快，因此允許非常高的吞吐量。

強大的DNN

其次，使用強勁有力的“軟”DNN處理單元（DPU），將其整合到商品級的FPGAs上。許多大公司和許多初創(chuàng)公司正在開發(fā)硬化處理單元。雖然這些芯片具有很高的峰值計算性能，但是它們在設(shè)計時必須選擇自己的運算符和數(shù)據(jù)類型，這限制了它們的靈活性。

那Brainwave是如何提高靈活性的呢？

Project Brainwave采用了一種不同的方法，它提供了橫跨多數(shù)據(jù)類型的設(shè)計。該設(shè)計將FPGAs的ASIC數(shù)字信號處理模塊和合成邏輯結(jié)合在一起從而提供了一個更大、更優(yōu)化的功能處理單元。這種方法充分利用了FPGA的靈活性。 ?

某不愿透露姓名的專家說

神奇的編譯器

第三，Project Brainwave整合了一個軟件堆，旨在支持廣泛流行的深度學(xué)習(xí)框架。支持微軟的認(rèn)知工具箱（CNTK）和谷歌的Tensorflow，并計劃支持許多其他的工具包。我們已經(jīng)定義了一個基于圖的中間表示，可轉(zhuǎn)換那些常見的框架上訓(xùn)練模型，編譯到高性能的基礎(chǔ)設(shè)施上。

除此之外，還有專家要說話。。。。。。

使用英特爾的 Stratix 10 FPGA，Brainwave 不需要任何 batching 就能在大型 GRU （gated recurrent unit）達到 39.5 Teraflops 的性能。

Eric Chung?and?Jeremy Fowers

也就是說：

該測試使用Microsoft的定制8位浮點格式（“ms-fp8”），不會遭受準(zhǔn)確度損失，測試結(jié)果表明使用英特爾的 Stratix 10 FPGA，Brainwave?在大型GRU可達到39.5Teraflops。在性能方面，Brainwava架構(gòu)每一個周期保持了超過?130000?個計算操作，并且由每?10?個周期發(fā)布的宏指令驅(qū)動?！癇rainwave”項目實現(xiàn)了前所未有的實時AI性能水平。

看了這么多東西，這個玩意現(xiàn)在長什么樣子？

廢話不說，直接上圖！

寫在最后

我們正在努力為Azure中的用戶提供強大的實時AI系統(tǒng)，從而使我們的用戶能夠直接從Project Brainwave中受益。我們相信在不久的將來，用戶能夠在Azure上以讓人驚訝的表現(xiàn)運行最復(fù)雜的深度學(xué)習(xí)模型，屆時，我們還將做會做一步詳細(xì)地介紹。

我們相信隨著Project Brainwave深入到我們的客戶中

Microsoft Azure將具有界業(yè)領(lǐng)先的實時AI功能。