全新的昇思MindSpore全場(chǎng)景AI框架1.6版本已發(fā)布。此版本中昇思MindSpore全場(chǎng)景AI框架易用性不斷改進(jìn)，提升了開(kāi)發(fā)效率，控制流性能提升并支持副作用訓(xùn)練，與此同時(shí)，昇思MindSpore全場(chǎng)景AI框架發(fā)布高效易用的圖學(xué)習(xí)框架昇思MindSpore Graph Learning，高性能可擴(kuò)展的強(qiáng)化學(xué)習(xí)計(jì)算框架昇思MindSpore Reinforcement，提供支持第三方框架模型遷移工具，讓用戶即時(shí)體驗(yàn)的開(kāi)發(fā)套件昇思MindSpore Dev ToolKit，同時(shí)升級(jí)自定義算子能力支持高效添加算子，豐富MindSpore Quantum量子模塊支持可快速上手，持續(xù)提升框架的訓(xùn)練與推理性能。
下面就帶大家快速瀏覽昇思MindSpore全場(chǎng)景AI框架1.6版本的關(guān)鍵特性。
一系列用戶調(diào)研和訪談，對(duì)開(kāi)發(fā)者反饋較多的API問(wèn)題進(jìn)行整改優(yōu)化，并打造系列教程，幫助開(kāi)發(fā)者上手；同時(shí)，昇思MindSpore全場(chǎng)景AI框架積極吸納開(kāi)發(fā)者參與內(nèi)容建設(shè)，累計(jì)吸引142名外部開(kāi)發(fā)者貢獻(xiàn)610+技術(shù)干貨案例，覆蓋安裝、開(kāi)發(fā)調(diào)優(yōu)等關(guān)鍵場(chǎng)景，為開(kāi)發(fā)者提供經(jīng)驗(yàn)指導(dǎo)。在調(diào)試、調(diào)優(yōu)等功能特性上，昇思MindSpore全場(chǎng)景AI框架進(jìn)行了系統(tǒng)的改進(jìn)，幫助開(kāi)發(fā)者提升開(kāi)發(fā)效率：
- ?在功能調(diào)試方面，支持靜態(tài)圖模式的問(wèn)題代碼堆棧打印、優(yōu)化錯(cuò)誤描述提升報(bào)錯(cuò)準(zhǔn)確性，為用戶提供更好的問(wèn)題處理體驗(yàn)。
- 昇思MindSpore Insight提供集群性能數(shù)據(jù)一鍵收集、并行策略分析、圖碼聯(lián)動(dòng)可視化調(diào)優(yōu)等功能，提升開(kāi)發(fā)者性能和精度調(diào)優(yōu)效率。
- 在ModelZoo模型方面，提供300+線上線下一致、覆蓋CV/NLP/推薦等領(lǐng)域、支持跨平臺(tái)部署的模型，并滿足人工智能計(jì)算中心、金融、制造、終端等行業(yè)需求?；谛掳姹靖咝дZ(yǔ)法，重構(gòu)Yolo v5等ModelZoo模型，為開(kāi)發(fā)者提供昇思MindSpore全場(chǎng)景AI框架模型最佳實(shí)踐。
2. 控制流支持副作用訓(xùn)練持續(xù)優(yōu)化性能
在之前發(fā)布的昇思MindSpore全場(chǎng)景AI框架版本中，控制流訓(xùn)練場(chǎng)景下存在復(fù)制子圖的問(wèn)題，該問(wèn)題會(huì)導(dǎo)致執(zhí)行網(wǎng)絡(luò)性能變差、副作用訓(xùn)練場(chǎng)景結(jié)果不對(duì)等問(wèn)題。最新的昇思MindSpore全場(chǎng)景AI框架1.6.1版本，我們對(duì)控制流的IR表達(dá)設(shè)計(jì)進(jìn)行了重構(gòu)，消除了不必要的圖復(fù)制，對(duì)控制流場(chǎng)景下各方面進(jìn)行了較大的優(yōu)化。1.?支持訓(xùn)練場(chǎng)景使用Assign等副作用算子。2.?優(yōu)化控制流子圖數(shù)量，反向網(wǎng)絡(luò)可直接復(fù)用正向圖算子結(jié)果，不需要重復(fù)計(jì)算正向圖，提升了執(zhí)行性能和編譯性能。例如：AirNet網(wǎng)絡(luò)子圖數(shù)量由原來(lái)的162個(gè)降低至46個(gè)，減少了大量冗余計(jì)算，執(zhí)行性能由12.3s/epoch優(yōu)化至5.8s/epoch。
AirNet網(wǎng)絡(luò)優(yōu)化前后子圖數(shù)量與執(zhí)行性能對(duì)比BFGS網(wǎng)絡(luò)子圖數(shù)量由原來(lái)的3236個(gè)降低至91個(gè)，執(zhí)行性能由4.9s/epoch優(yōu)化至0.6s/epoch。
BFGS網(wǎng)絡(luò)優(yōu)化前后子圖數(shù)量與執(zhí)行性能對(duì)比3.?支持?jǐn)?shù)據(jù)無(wú)依賴子圖并行執(zhí)行，同時(shí)優(yōu)化了空子圖執(zhí)行流程，整體上提升控制流場(chǎng)景執(zhí)行性能。例如：Mappo(Agent3)網(wǎng)絡(luò)優(yōu)化前后子圖數(shù)量無(wú)變化，但是由于我們優(yōu)化了無(wú)數(shù)據(jù)依賴的子圖的并行執(zhí)行能力和空子圖執(zhí)行過(guò)程，網(wǎng)絡(luò)最終執(zhí)行性能由2.5s/epoch提升至1.8s/epoch。
Mappo(Agent3)網(wǎng)絡(luò)優(yōu)化前后子圖數(shù)量與執(zhí)行性能對(duì)比3. 昇思MindSpore Graph Learning：公式即代碼，訓(xùn)練加速3到4倍
圖數(shù)據(jù)能自然表達(dá)真實(shí)世界對(duì)象之間的關(guān)系，表征能力和可解釋性強(qiáng)，圖學(xué)習(xí)也逐步廣泛應(yīng)用于電商推薦、金融風(fēng)控、藥物分子分析和控制優(yōu)化等場(chǎng)景，圖關(guān)系大都錯(cuò)綜復(fù)雜，數(shù)據(jù)規(guī)模較大，通常有數(shù)十億點(diǎn)，數(shù)百億邊，點(diǎn)邊類型有幾百種，圖神經(jīng)網(wǎng)絡(luò)計(jì)算更加復(fù)雜耗時(shí)，因此迫切需要高效的圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)。同時(shí)，GNN算法的快速發(fā)展，需要易用的系統(tǒng)允許自由擴(kuò)展。昇思MindSpore Graph Learning是由James Cheng課題組(香港中文大學(xué))、華為昇思MindSpore團(tuán)隊(duì)聯(lián)合研發(fā)的圖學(xué)習(xí)框架，具有高效性、易用性等特點(diǎn)。
通過(guò)創(chuàng)新性的提出以節(jié)點(diǎn)為中心的編程范式，相較于消息傳遞范式，更貼近GNN算法邏輯和Python語(yǔ)言風(fēng)格，昇思MindSpore Graph Learning可以做到公式到代碼的直接映射，如下圖GAT網(wǎng)絡(luò)代碼所示。基于此，用戶無(wú)需進(jìn)行任何函數(shù)封裝，即可快速直接地實(shí)現(xiàn)自定義的GNN算法/操作。基于昇思MindSpore全場(chǎng)景AI框架的圖算融合和自動(dòng)算子編譯技術(shù)（AKG）特性，創(chuàng)新提出基于索引的非規(guī)則內(nèi)存訪問(wèn)算子融合，自動(dòng)識(shí)別GNN模型運(yùn)行任務(wù)特有執(zhí)行pattern并進(jìn)行融合和kernel level優(yōu)化。相較于其他框架對(duì)常用算子進(jìn)行定制優(yōu)化的方案更加靈活，更具擴(kuò)展性，能夠覆蓋現(xiàn)有框架中已有的算子和新組合算子的融合優(yōu)化。以昇思MindSpore全場(chǎng)景AI框架作為后端，昇思MindSpore Graph Learning能使GNN網(wǎng)絡(luò)訓(xùn)練獲得3到4倍的性能加速。
豐富性：覆蓋業(yè)界典型圖學(xué)習(xí)網(wǎng)絡(luò)框架中已經(jīng)自帶實(shí)現(xiàn)十三種圖網(wǎng)絡(luò)學(xué)習(xí)模型，涵蓋同構(gòu)圖、異構(gòu)圖、 隨機(jī)游走等類型的應(yīng)用網(wǎng)絡(luò)。強(qiáng)化學(xué)習(xí)（RL）是近年來(lái)AI領(lǐng)域的研究熱點(diǎn)之一，伴隨昇思MindSpore全場(chǎng)景AI框架 1.6版本推出了獨(dú)立的強(qiáng)化學(xué)習(xí)計(jì)算框架昇思MindSpore Reinforcement，通過(guò)框架中的Python 編程API以及算法與執(zhí)行分離的設(shè)計(jì)使其具有易編程，可擴(kuò)展等特點(diǎn)，期望帶給用戶一個(gè)全新的開(kāi)發(fā)體驗(yàn)。在昇思MindSpore Reinforcement 0.2版本中提供了一套面向強(qiáng)化學(xué)習(xí)領(lǐng)域的Python編程API，例如Actor用于環(huán)境交互獲得獎(jiǎng)勵(lì)，Learner學(xué)習(xí)并更新策略，以及Trainer用于控制算法邏輯等抽象，使整個(gè)算法結(jié)構(gòu)更加清晰、簡(jiǎn)潔，有助于高效的算法開(kāi)發(fā)和模塊復(fù)用；另外在倉(cāng)庫(kù)中內(nèi)置了一些經(jīng)典的強(qiáng)化學(xué)習(xí)算法，如DQN、PPO等(后續(xù)版本中將會(huì)持續(xù)更新)，用戶可直接運(yùn)行其中的算法，或者基于Python API開(kāi)發(fā)新的單智能體以及多智能體強(qiáng)化學(xué)習(xí)算法。昇思MindSpore Reinforcement在架構(gòu)設(shè)計(jì)上采用了算法表達(dá)和編譯執(zhí)行分離的設(shè)計(jì)思路，用戶僅需要專注于強(qiáng)化學(xué)習(xí)算法邏輯的Python實(shí)現(xiàn)，依托于昇思MindSpore全場(chǎng)景AI框架強(qiáng)大的編譯優(yōu)化以及多硬件異構(gòu)加速能力，可以實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)算法的多硬件協(xié)同計(jì)算加速。
在計(jì)算設(shè)備上，昇思MindSpore Reinforcement支持包括Ascend、GPU、CPU在內(nèi)的多硬件計(jì)算，當(dāng)前0.2版本已支持單機(jī)訓(xùn)練，后續(xù)版本將提供更強(qiáng)大的多智能體分布式訓(xùn)練能力，以及更加豐富的特性支持，敬請(qǐng)大家持續(xù)關(guān)注。
? 版權(quán)聲明
本文轉(zhuǎn)載自互聯(lián)網(wǎng)、僅供學(xué)習(xí)交流，內(nèi)容版權(quán)歸原作者所有，如涉作品、版權(quán)或其它疑問(wèn)請(qǐng)聯(lián)系
AIGC工具導(dǎo)航或
點(diǎn)擊刪除。
家反詐中心APP-1.jpg)
.png)
?津公網(wǎng)安備12011002023007號(hào)? 互聯(lián)網(wǎng)違法和不良信息舉報(bào)渠道