亚洲av无码成h人动漫无遮挡,特级欧美aaaaaaa免费观看,丝袜制服av熟女♀,亚洲avav天堂av在线网阿v,少妇人妻真实偷人精品视频

智源「悟道3.0」大模型系列問世，這次不拼參數(shù)，開源開放成為主角

AI應(yīng)用信息1年前 (2024)發(fā)布 XIAOT
67 0
現(xiàn)如今，大模型早已成為街談巷議的 AI 話題，ChatGPT 更火出了圈。NLP、CV 和多模態(tài)領(lǐng)域的大模型層出不窮，并朝著通用方向不斷演進(jìn)，讓人們看到了 AGI 的希望。
在大模型時代，除了繼續(xù)升級預(yù)訓(xùn)練、微調(diào)等技術(shù)和算法之外，構(gòu)建開源開放的大模型評測體系和生態(tài)同等重要。說來容易，但做起來很難。僅就開源而言，谷歌、OpenAI 等頭部 AI 企業(yè)對自己的大模型大多并沒有開源或僅開放 API 使用，正在逐漸形成壁壘。
在國內(nèi)，作為最早系統(tǒng)化布局大模型的科研機(jī)構(gòu)，北京智源人工智能研究院（以下簡稱智源）自 2021 年以來先后推出悟道 1.0、悟道 2.0 大模型系列，并連創(chuàng)「中國首個 + 世界最大」記錄。悟道 1.0 是我國首個超大規(guī)模智能模型系統(tǒng)，悟道 2.0 參數(shù)規(guī)模更是達(dá)到 1.75 萬億，成為當(dāng)時中國首個、全球最大的萬億級模型。
6 月 9 日，在 2023 北京智源大會上，智源發(fā)布了完整的悟道 3.0 大模型系列，并進(jìn)入到了全面開源的新階段。此次悟道 3.0 包含的項(xiàng)目有「悟道?天鷹」（Aquila）語言大模型系列、FlagEval （天秤）大模型語言評測體系以及「悟道?視界」視覺大模型系列。此外 FlagOpen 飛智也帶來了開源大模型技術(shù)體系最新進(jìn)展。
智源「悟道3.0」大模型系列問世，這次不拼參數(shù)，開源開放成為主角
智源研究院院長黃鐵軍教授發(fā)布悟道 3.0大模型系列
作為大模型領(lǐng)域年度巔峰盛會，智源大會至今已經(jīng)舉辦了五屆，為加強(qiáng)產(chǎn)學(xué)研協(xié)同、促進(jìn)國際交流與合作、打造世界人工智能學(xué)術(shù)高地做出了重要貢獻(xiàn)。本屆大會邀請到了圖靈獎得主 Geoffrey Hinton、Yann LeCun、Joseph Sifakis 和姚期智，OpenAI 首席執(zhí)行官 Sam Altman、加州大學(xué)伯克利分校人工智能系統(tǒng)中心創(chuàng)始人 Stuart Russell、中國科學(xué)院張鈸院士及中國工程院鄭南寧院士、 中國工程院外籍院士、美國藝術(shù)與科學(xué)院院士張亞勤、Midjourney 創(chuàng)始人 David Holz 等重磅嘉賓，共議人工智能前沿與熱點(diǎn)話題。
今年大會共同主席為智源研究院理事長張宏江，以及加州大學(xué)伯克利分校教授、智源學(xué)術(shù)顧問委員 Michael I. Jordan。共同程序主席為智源研究院院長黃鐵軍教授，以及清華大學(xué)教授、智源首席科學(xué)家朱軍。
時至今日，每年一度的智源大會已經(jīng)成為促進(jìn)國際人工智能生態(tài)發(fā)展的標(biāo)志性活動，在人工智能精英人群中備受推崇，國際視野、專業(yè)前沿、思想激蕩，推動各方更好地把握住高速發(fā)展的人工智能大模型時代。
歷經(jīng) 1.0、2.0，悟道 3.0 進(jìn)入全面開源新階段
回望 2021 年 3 月和 6 月，智源在兩個多月時間里先后發(fā)布了悟道 1.0 和悟道 2.0。彼時，AI 領(lǐng)域進(jìn)入到了「煉大模型」的階段，智源也集中力量打造能力達(dá)到 SOTA 的數(shù)十億乃至萬億參數(shù)大模型，以此對標(biāo)、超越谷歌、OpenAI 等國外 AI 巨頭的超大規(guī)模大模型（如 GPT-3、Switch Transformer）。
不過自悟道 2.0 始，智源就不僅僅是研發(fā)模型。智源研究院院長黃鐵軍表示，智源更偏向于構(gòu)建以大模型為核心的生態(tài)，包括底層數(shù)據(jù)處理和匯聚、模型能力和算法評測、開源開放，形成一套高效的大模型技術(shù)和算法體系。
因此在悟道 3.0 大模型系列中，智源發(fā)布并全面開源「悟道?天鷹」（Aquila）語言大模型系列和「悟道?視界」視覺大模型系列，與多個高校和科研院所合作構(gòu)建 FlagEval（天秤）開源大模型評測體系與開放平臺，加之 FlagOpen 飛智大模型技術(shù)開源體系，通過全方位的大模型技術(shù)、評測體系以及更廣泛的開源生態(tài)，服務(wù)于大模型行業(yè)發(fā)展。
悟道?天鷹 + 天秤，合力打造大模型能力與評測雙標(biāo)桿
時至今日，隨著模型規(guī)模的不斷增長，語言大模型已經(jīng)變得非常「聰明」和「全能」。以 ChatGPT、GPT-4 為例，它們已經(jīng)具備超強(qiáng)理解和推理能力，并在上下文學(xué)習(xí)（ICL）、思維鏈（CoT）等任務(wù)中出現(xiàn)了業(yè)界從未預(yù)測到的涌現(xiàn)能力。不過對于這些大模型，OpenAI 無一例外選擇不開源。
在悟道 3.0 大模型系列中，智源走出了一條不同的道路。智源發(fā)布了首個具備中英雙語知識、支持商用許可協(xié)議、支持國內(nèi)數(shù)據(jù)合規(guī)要求的「悟道?天鷹」（Aquila）語言大模型系列，結(jié)合 FlagEval（天秤）開源大模型評測體系及開放平臺，打造 “大模型進(jìn)化流水線”，持續(xù)迭代、持續(xù)開源開放。
對于「悟道?天鷹」語言大模型系列，它包含了?Aquila 基礎(chǔ)模型（7B、33B）以及 AquilaChat 對話模型和 AquilaCode 文本 – 代碼生成模型。
?
開源地址：https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila
整體來看，「悟道?天鷹」Aquila 語言大模型在技術(shù)上繼承了 GPT-3、LLaMA 等的架構(gòu)設(shè)計(jì)優(yōu)點(diǎn)，替換了一批更高效的底層算子實(shí)現(xiàn)、重新設(shè)計(jì)實(shí)現(xiàn)了中英雙語的 tokenizer，升級了 BMTrain 并行訓(xùn)練方法，訓(xùn)練效率是 Magtron+DeepSpeed ZeRO-2 的近 8 倍。
此外在中英文高質(zhì)量語料基礎(chǔ)上從０開始訓(xùn)練，通過數(shù)據(jù)質(zhì)量控制、多種訓(xùn)練優(yōu)化方法，在更小數(shù)據(jù)集、更短訓(xùn)練時間下，實(shí)現(xiàn)比其他開源模型更優(yōu)秀的性能。
智源「悟道3.0」大模型系列問世，這次不拼參數(shù)，開源開放成為主角
「悟道?天鷹」Aquila基礎(chǔ)模型。
AquilaChat 對話模型（7B、33B）是智源推出的類 ChatGPT 模型，它是一個單模態(tài)語言大模型，支持流暢的文本對話及多種語言類生成任務(wù)；通過定義可擴(kuò)展的特殊指令規(guī)范，實(shí)現(xiàn)通過 AquilaChat 對其它模型和工具的調(diào)用，且易于擴(kuò)展。例如，調(diào)用智源開源的 AltDiffusion 多語言文圖生成模型，實(shí)現(xiàn)了流暢的文圖生成能力。配合智源 InstructFace 多步可控文生圖模型，它還可以輕松實(shí)現(xiàn)對人臉圖像的多步可控編輯。
智源「悟道3.0」大模型系列問世，這次不拼參數(shù)，開源開放成為主角
文圖生成。
智源「悟道3.0」大模型系列問世，這次不拼參數(shù)，開源開放成為主角
人臉圖像多步可控編輯。
智源研究院副院長、總工程師林詠華表示，根據(jù)內(nèi)部對 AquilaChat 的評測，其綜合能力能夠達(dá)到 GPT-4 的 70％左右，甚至在某些單項(xiàng)任務(wù)上的分?jǐn)?shù)比后者更高。
AquilaCode-7B 是智源推出的文本代碼生成大模型。它的預(yù)訓(xùn)練代碼語料來源是一個由 Huggingface 牽頭創(chuàng)建的數(shù)據(jù)集 The Stack，初始版本涵蓋了 30 種主流編程語言，數(shù)據(jù)量超過 3T。智源基于該代碼數(shù)據(jù)集進(jìn)行抽取、質(zhì)量過濾，并最終使用超過 200GB 的數(shù)據(jù)進(jìn)行訓(xùn)練。
與 OpenAI 編碼大模型 Codex-12B 相比，AquilaCode HumanEval pass@1 上的結(jié)果接近，并在近期有望超越。更重要的是，智源 AquilaCode 的參數(shù)量不到 Codex-12B 的 1/2，做到了用更小的模型實(shí)現(xiàn)了接近后者的評測結(jié)果。與 DeepMind AlphaCode 1B 、CodeGeeX 等一系列開源代碼模型相比，智源 AquilaCode 都已經(jīng)明顯超越。
得益于 Aquila 基礎(chǔ)模型的強(qiáng)大能力，AquilaCode-7B 模型在使用更少訓(xùn)練數(shù)據(jù)和訓(xùn)練參數(shù)的情況下，成為目前支持中英雙語、性能最好的開源代碼模型。如下為代碼生成動圖演示示例：
智源「悟道3.0」大模型系列問世，這次不拼參數(shù)，開源開放成為主角
AquilaCode-7B 同時支持不同芯片架構(gòu)的模型訓(xùn)練，并分別在英偉達(dá)和國產(chǎn)芯片上完成了代碼模型的訓(xùn)練，推動芯片創(chuàng)新和百花齊放。
可信可靠、全面客觀的大模型評測體系
建立大模型評測體系至關(guān)重要。一方面在學(xué)術(shù)上可以拉動大模型創(chuàng)新，構(gòu)建衡量大模型能力和質(zhì)量的尺子。另一方面在產(chǎn)業(yè)上，對于絕大多數(shù)無力研發(fā)和構(gòu)建大模型尤其是基礎(chǔ)大模型的企業(yè)而言，他們在選擇使用大模型時更需要一個可信可靠、全面客觀的評測體系。
FlagEval（天秤）希望通過建立科學(xué)、公正、開放的評測基準(zhǔn)、方法、工具集，協(xié)助研究人員全方位評估基礎(chǔ)模型及訓(xùn)練算法的性能。同時探索利用 AI 方法實(shí)現(xiàn)對主觀評測的輔助，大幅提升評測的效率和客觀性。FlagEval（天秤）評測平臺已經(jīng)開放，提供在線和離線評測目前已支持英偉達(dá)、寒武紀(jì)、昆侖、昇騰等多種芯片架構(gòu)，以及 PyTorch、MindSpore 深度學(xué)習(xí)框架。
智源「悟道3.0」大模型系列問世，這次不拼參數(shù)，開源開放成為主角
開放地址：http://flageval.baai.ac.cn
大模型評測并不容易。林詠華指出了面臨的四大難點(diǎn)，一是快速發(fā)展的大模型給評測帶來了越來越大的挑戰(zhàn)，以往語言模型評測更多是從理解能力出發(fā)；二是大模型生成能力的評測主要依賴人類評分，不僅效率低，客觀性及評測質(zhì)量很難保持一致；三是現(xiàn)在大模型趨向于認(rèn)知模型，但認(rèn)知邊界很難確定，用人類考題評測模型認(rèn)知能力往往易出現(xiàn)偏差；四是有時需要在一些情況下考慮大模型的心智能力，包括對復(fù)雜意圖、復(fù)雜場景的理解以及情緒和鑒別能力，這些更加難以評測。
FlagEval（天秤）創(chuàng)新性地構(gòu)建了「能力 – 任務(wù) – 指標(biāo)」的三維評測框架，細(xì)粒度地刻畫基礎(chǔ)模型的認(rèn)知能力邊界，呈現(xiàn)可視化評測結(jié)果。目前提供 30 + 能力、5 種任務(wù)、4 大類指標(biāo)共 600 + 維全面評測，任務(wù)維度當(dāng)前包括 22 個主客觀評測數(shù)據(jù)集和 84433 道題目，更多維度的評測數(shù)據(jù)集正在陸續(xù)集成。天秤還將持續(xù)探索語言大模型評測與心理學(xué)、教育學(xué)、倫理學(xué)等社會學(xué)科的交叉研究，以期更加科學(xué)、全面地評價語言大模型：
智源「悟道3.0」大模型系列問世，這次不拼參數(shù)，開源開放成為主角
目前 FlagEval 已經(jīng)覆蓋語言、多模態(tài)兩大領(lǐng)域的大模型評測，后續(xù)覆蓋視覺、語音領(lǐng)域。第一期已推出大語言模型評測體系、開源多語言文圖大模型評測工具 mCLIP-Eval 和開源文圖生成評測工具 ImageEval。下圖為mCLIP-Eval的評測演示。
?
智源「悟道3.0」大模型系列問世，這次不拼參數(shù)，開源開放成為主角
FlagEval 首創(chuàng)可持續(xù)大模型評測輔助模型訓(xùn)練新范式，打造自動化評測與自適應(yīng)評測結(jié)合的機(jī)制，幫助模型研發(fā)團(tuán)隊(duì)實(shí)現(xiàn) “以評測結(jié)果為指導(dǎo)” 的高效訓(xùn)練。這種新范式實(shí)現(xiàn)了以大模型評測帶動訓(xùn)練的效果?！笆球呑邮邱R”只有評測比較過后才更有說服力。
? 版權(quán)聲明

相關(guān)文章