阿里達(dá)摩院通義大模型概述

AI應(yīng)用信息1年前 (2024)發(fā)布 XIAOT

阿里推出“通義”系列大模型，以統(tǒng)一學(xué)習(xí)范式和模塊化設(shè)計(jì)理念統(tǒng)一架構(gòu)、模態(tài)、訓(xùn)練、應(yīng)用等方面，使用開源社區(qū)“魔搭”進(jìn)行模型服務(wù)共享，推出“飛天智算平臺”提升AI訓(xùn)練效率。目前阿里“通義”大模型已廣泛用于電商、設(shè)計(jì)、醫(yī)療等領(lǐng)域，助力其降本增效。我們建議關(guān)注阿里產(chǎn)業(yè)鏈相關(guān)公司，特別是阿里通義大模型合作廠商。

2022年9月2日，阿里發(fā)布 “通義”大模型系列，通義打造了AI統(tǒng)一底座，并構(gòu)建了大小模型協(xié)同的層次化人工智能體系，將為AI從感知智能邁向知識驅(qū)動的認(rèn)知智能提供先進(jìn)基礎(chǔ)設(shè)施。通義大模型體系由統(tǒng)一底座層、通用模型層、行業(yè)模型層組成，其中統(tǒng)一底座是由統(tǒng)一學(xué)習(xí)范式和模塊化設(shè)計(jì)理念構(gòu)成；通用模型層主要包括通義-M6、通義-AliceMind和通義-CV三大模型體系。2022年1月，阿里發(fā)布M6-OFA模型，成為業(yè)界首個(gè)通用的統(tǒng)一大模型，在架構(gòu)、模態(tài)、任務(wù)上實(shí)現(xiàn)統(tǒng)一；通義-AliceMind模型體系包含了通用語言模型StructBERT、生成式語言模型PALM、結(jié)構(gòu)化語言模型StructuraLLM等八個(gè)語言模型，在多個(gè)下游語言任務(wù)中實(shí)現(xiàn)最優(yōu)結(jié)果，達(dá)到了中文語言理解水平新高度；通義-視覺大模型底層由兩個(gè)基礎(chǔ)模型構(gòu)成，能夠?qū)崿F(xiàn)視頻處理、視覺問答、視覺算數(shù)等多種算法，在電商、交通、自動駕駛等領(lǐng)域發(fā)揮作用。

2022年11月，阿里推出AI開源社區(qū)“魔搭”（ModelScope），旨在打造下一代開源的模型即服務(wù)共享平臺，致力降低AI應(yīng)用門檻，目前，“魔搭”社區(qū)首批上架超300個(gè)模型，從多維度幫助開發(fā)者解決實(shí)際在模型使用和開發(fā)遇到的難題，推動 AI 應(yīng)用發(fā)展。

2023年3月，阿里在“魔搭”上線了“文本到視頻生成擴(kuò)散模型”，實(shí)現(xiàn)視頻生成功能。該模型由文本特征提取、文本特征到視頻隱空間擴(kuò)散模型、視頻隱空間到視頻視覺空間這3個(gè)子網(wǎng)絡(luò)組成，整體模型參數(shù)約17億，擴(kuò)散結(jié)構(gòu)采用典型的U-Net網(wǎng)絡(luò)架構(gòu)，通過反向擴(kuò)散過程，實(shí)現(xiàn)視頻生成的功能。

大模型算力方面，阿里云推出全棧智能計(jì)算解決方案“飛天智算平臺”，并啟動兩座超大規(guī)模智算中心，張北智算中心與烏蘭察布智算中心，為科研、公共服務(wù)和企業(yè)機(jī)構(gòu)提供強(qiáng)大的智能計(jì)算服務(wù)，可將計(jì)算資源利用率提高3倍以上，AI訓(xùn)練效率提升11倍，推理效率提升6倍。