亚洲av无码成h人动漫无遮挡,特级欧美aaaaaaa免费观看,丝袜制服av熟女♀,亚洲avav天堂av在线网阿v,少妇人妻真实偷人精品视频

深入淺出Prompt Learning要旨及常用方法

AI應(yīng)用信息2年前 (2024)更新 XIAOT
312 0
近年來 NLP 學(xué)術(shù)領(lǐng)域發(fā)展真是突飛猛進(jìn)，剛火完對比學(xué)習(xí)（contrastive learning），又有更火的提示學(xué)習(xí) prompt learning。眾所周知，數(shù)據(jù)標(biāo)注數(shù)據(jù)很大程度上決定了 AI 算法上限，并且成本非常高，無論是對比學(xué)習(xí)還是提示學(xué)習(xí)都著重解決少樣本學(xué)習(xí)而提出，甚至在沒有標(biāo)注數(shù)據(jù)的情況下，也能讓模型表現(xiàn)比較好的效果。本文主要介紹 prompt learning 思想和目前常用的方法。

NLP的訓(xùn)練范式有哪些

目前學(xué)術(shù)界一般將 NLP 任務(wù)的發(fā)展分為四個階段即 NLP 四范式：
1. 第一范式：基于傳統(tǒng)機(jī)器學(xué)習(xí)模型的范式，如 tf-idf 特征 + 樸素貝葉斯等機(jī)器算法；
2. 第二范式：基于深度學(xué)習(xí)模型的范式，如 word2vec 特征 + LSTM 等深度學(xué)習(xí)算法，相比于第一范式，模型準(zhǔn)確有所提高，特征工程的工作也有所減少；
3. 第三范式：基于預(yù)訓(xùn)練模型 + finetuning 的范式，如 BERT + finetuning 的 NLP 任務(wù)，相比于第二范式，模型準(zhǔn)確度顯著提高，但是模型也隨之變得更大，但小數(shù)據(jù)集就可訓(xùn)練出好模型；
4. 第四范式：基于預(yù)訓(xùn)練模型 + Prompt + 預(yù)測的范式，如 BERT + Prompt 的范式相比于第三范式，模型訓(xùn)練所需的訓(xùn)練數(shù)據(jù)顯著減少。
深入淺出Prompt Learning要旨及常用方法
在整個 NLP 領(lǐng)域，你會發(fā)現(xiàn)整個發(fā)展是朝著精度更高、少監(jiān)督，甚至無監(jiān)督的方向發(fā)展的，而 Prompt Learning 是目前學(xué)術(shù)界向這個方向進(jìn)軍最新也是最火的研究成果。
為什么需要提示學(xué)習(xí)
為什么呢？要提出一個好的方式那必然是用來解決另一種方式存在的缺陷或不足，那我們就先從它的上一個范式來說起，就是預(yù)訓(xùn)練模型 PLM + finetuning 范式常用的是 BERT+ finetuning：
這種范式是想要預(yù)訓(xùn)練模型更好的應(yīng)用在下游任務(wù)，需要利用下游數(shù)據(jù)對模型參數(shù)微調(diào)；首先，模型在預(yù)訓(xùn)練的時候，采用的訓(xùn)練形式：自回歸、自編碼，這與下游任務(wù)形式存在極大的 gap，不能完全發(fā)揮預(yù)訓(xùn)練模型本身的能力
必然導(dǎo)致：較多的數(shù)據(jù)來適應(yīng)新的任務(wù)形式——>少樣本學(xué)習(xí)能力差、容易過擬合
深入淺出Prompt Learning要旨及常用方法
▲ 上下游任務(wù)形式存在gap
其次，現(xiàn)在的預(yù)訓(xùn)練模型參數(shù)量越來越大，為了一個特定的任務(wù)去 finetuning 一個模型，然后部署于線上業(yè)務(wù)，也會造成部署資源的極大浪費。
▲ 模型專用性特定任務(wù)微調(diào)導(dǎo)致部署成本過高

提示學(xué)習(xí)是什么

首先我們應(yīng)該有的共識是：預(yù)訓(xùn)練模型中存在大量知識；預(yù)訓(xùn)練模型本身具有少樣本學(xué)習(xí)能力。
GPT-3 提出的 In-Context Learning，也有效證明了在 Zero-shot、Few-shot 場景下，模型不需要任何參數(shù)，就能達(dá)到不錯的效果，特別是近期很火的 GPT3.5 系列中的 ChatGPT。
Prompt Learning 的本質(zhì)：
將所有下游任務(wù)統(tǒng)一成預(yù)訓(xùn)練任務(wù)；以特定的模板，將下游任務(wù)的數(shù)據(jù)轉(zhuǎn)成自然語言形式，充分挖掘預(yù)訓(xùn)練模型本身的能力。
本質(zhì)上就是設(shè)計一個比較契合上游預(yù)訓(xùn)練任務(wù)的模板，通過模板的設(shè)計就是挖掘出上游預(yù)訓(xùn)練模型的潛力，讓上游的預(yù)訓(xùn)練模型在盡量不需要標(biāo)注數(shù)據(jù)的情況下比較好的完成下游的任務(wù)，關(guān)鍵包括 3 個步驟：
  1. 設(shè)計預(yù)訓(xùn)練語言模型的任務(wù)
  2. 設(shè)計輸入模板樣式（Prompt Engineering）
  3. 設(shè)計 label 樣式及模型的輸出映射到 label 的方式（Answer Engineering）
Prompt Learning 的形式：
以電影評論情感分類任務(wù)為例，模型需根據(jù)輸入句子做二分類：
原始輸入：特效非常酷炫，我很喜歡。
Prompt 輸入：提示模板 1：特效非常酷炫，我很喜歡。這是一部 [MASK] 電影；提示模板 2：特效非常酷炫，我很喜歡。這部電影很 [MASK]
提示模板的作用就在于：將訓(xùn)練數(shù)據(jù)轉(zhuǎn)成自然語言的形式，并在合適的位置 MASK，以激發(fā)預(yù)訓(xùn)練模型的能力。
深入淺出Prompt Learning要旨及常用方法
▲ 提示學(xué)習(xí)模板框架
類別映射 / Verbalizer：選擇合適的預(yù)測詞，并將這些詞對應(yīng)到不同的類別。
深入淺出Prompt Learning要旨及常用方法
▲ 類別映射
通過構(gòu)建提示學(xué)習(xí)樣本，只需要少量數(shù)據(jù)的 Prompt Tuning，就可以實現(xiàn)很好的效果，具有較強(qiáng)的零樣本/少樣本學(xué)習(xí)能力。
? 版權(quán)聲明

相關(guān)文章