本期投資提示：

近期市場對于AIGC/ChatGPT 關注較高，投資者常見以下問題。

Q：大規(guī)模預訓練模型（大模型）與小模型的核心區(qū)別？相比小模型，大模型有什么優(yōu)勢？

首先最核心區(qū)別在于參數(shù)量，例如GPT-3 參數(shù)量達到了1,750 億個，是傳統(tǒng)深度學習小模型參數(shù)量的至少一萬倍以上。通過模型的擴大，可以帶來提升包括：1）GPT-2 等大模型舍棄了小模型中常見的調參過程，轉向無監(jiān)督訓練；2）在NLP 中常見小模型需要對不同的任務使用不同模型分別訓練解決，而GPT-3 等大規(guī)模預訓練模型不再規(guī)定任務，而是對不同任務都有較好效果；3）GPT-3 先使用海量數(shù)據(jù)預訓練大模型，得到一套模型參數(shù)，然后用這套參數(shù)對模型進行初始化，再進行訓練。大幅降低后續(xù)對數(shù)據(jù)量的需求。

Q：GPT-3等大模型和Transformer 的關聯(lián)？GPT/BERT 等大模型都在自然語言領域應用。

而Transformer 是目前NLP 領域效果較好的深度學習模型，因此GPT/Bert 等都使用了Transformer。Transformer 最大的特點是，可以讓每個單元都可以捕捉到整句的信息，這也是RNN/LSTM 等更早期NLP 模型無法做到的一點。

Q：Transformer 對于CV 機器視覺可以有類似NLP 的提升嗎？實際上2017 年transformer 推出之后，2018 年就有學者將其應用于CV 圖像領域，但當時應用效果未發(fā)現(xiàn)相比傳統(tǒng)CNN 等算法有較大提升。但在2021 年后，隨著swin transformer、mae 等論文推出，transformer 在CV 和跨模態(tài)等應用增加。因此國內擅長CV 的AI 公司，在2022年前對于基于transformer 的大模型關注投入較少，但是我們認為隨著ViT 等效果提升，應用類的CV 公司也會開始關注并投入大模型。

Q：國內transformer 大模型做的怎樣？如何看待中美技術差距。首先需要承認這一類大模型底層創(chuàng)新在美國開始。中國在2021 年后加速追趕。此前國內大部分視覺類AI 公司都以小模型路線為主，投入大模型研發(fā)較多的包括百度、華為等。百度推出文心大模型，基本實現(xiàn)跨模態(tài)和多下游應用。華為推出最大中文語言預訓練模型盤古大模型。

Q：怎樣的公司有機會參與大模型底層技術研發(fā)？我們認為大模型對存儲、算力要求極高，且對于開發(fā)者對深度學習框架使用也有要求，普通機構難以復現(xiàn)。

Q：上市公司中有哪些機會呢？計算機：泛AI 領域是相關主線。穩(wěn)健標的如AI 領軍、科大訊飛、萬興科技、虹軟科技，彈性標的為云從科技、漢王科技、博彥科技、商湯科技(H)。

互聯(lián)網(wǎng)：看好國內AIGC 市場，持續(xù)跟進AIGC 的技術發(fā)展和文本、音頻、圖像等單模態(tài)的應用落地。重點關注技術驅動的初創(chuàng)代表企業(yè)、科研院所，以及與應用場景關聯(lián)的A 股上市公司。相關標的：中文在線、漢儀股份、視覺中國、藍色光標。

風險提示：大模型技術中美仍存在差異，部分技術尚處于早期實驗室階段，存在落地風險；實體清單等可能對訓練硬件產(chǎn)生影響。