我們深入研究了廣受歡迎的AI聊天機器人ChatGPT的內部運作方式。如果您想了解它是如何進行生成式人工智能魔術的，請繼續(xù)閱讀。

谷歌、Wolfram Alpha和ChatGPT都通過一個單行文本輸入框與用戶進行交互，并提供文本結果。谷歌返回搜索結果，即一系列網頁和文章，希望能提供與搜索查詢相關的信息。Wolfram Alpha通常提供與數(shù)學和數(shù)據分析相關的答案。

相比之下，ChatGPT根據用戶問題背后的上下文和意圖提供響應。例如，你無法要求谷歌寫一個故事，也無法要求Wolfram Alpha編寫一個代碼模塊，但ChatGPT可以完成這些任務。

從根本上講，谷歌的優(yōu)勢在于能夠進行大量數(shù)據庫查詢并提供一系列匹配結果。Wolfram Alpha的優(yōu)勢在于能夠解析與數(shù)據相關的問題，并根據這些問題進行計算。ChatGPT的優(yōu)勢在于能夠解析查詢并根據大部分全球數(shù)字可訪問的文本信息生成完整的答案和結果，至少是在其2021年之前的訓練時期存在的信息。

在本文中，我們將看看ChatGPT如何生成那些完整的答案。我們將首先介紹ChatGPT操作的主要階段，然后介紹一些核心的AI架構組件，使其能夠正常運行。

除了本文中引用的來源（其中許多是每種技術背后的原始研究論文），我還使用了ChatGPT本身來幫助我創(chuàng)建這篇背景文章。

ChatGPT操作的兩個主要階段

讓我們再次以谷歌作為類比。當你要求谷歌搜索某些內容時，你可能知道，它并不會在你提問的那一刻立即搜索整個互聯(lián)網來尋找答案。相反，谷歌會在其數(shù)據庫中搜索與請求匹配的頁面。谷歌實際上有兩個主要階段：網絡爬蟲和數(shù)據收集階段，以及用戶交互/查詢階段。

大致而言，ChatGPT的工作方式與此類似。數(shù)據收集階段稱為預訓練階段，而用戶響應階段稱為推理階段。生成式人工智能背后的魔法以及它為什么突然爆發(fā)的原因在于，預訓練的方式被證明具有巨大的可擴展性。這種可擴展性得益于最近在價格實惠的硬件技術和云計算方面的創(chuàng)新。

AI的預訓練如何工作

一般而言（具體細節(jié)需要大量篇幅來解釋），AI使用兩種主要方法進行預訓練：有監(jiān)督和無監(jiān)督。在當前一批生成式AI系統(tǒng)（如ChatGPT）出現(xiàn)之前，大多數(shù)AI項目都使用了有監(jiān)督的方法。

有監(jiān)督的預訓練是一個模型在帶有標簽的數(shù)據集上進行訓練的過程，其中每個輸入與相應的輸出相關聯(lián)。

例如，可以對一個包含客戶服務對話的數(shù)據集進行訓練，其中用戶的問題和投訴與客服代表的適當回答標記在一起。為了訓練AI，用戶的輸入將是像“如何重置密碼？”這樣的問題，而輸出將是像“您可以通過訪問我們網站上的帳戶設置頁面，并按照提示進行操作來重置密碼?！边@樣的回答。

在有監(jiān)督的訓練方法中，整體模型被訓練以學習一個能夠準確映射輸入到輸出的映射函數(shù)。這個過程通常在有監(jiān)督學習任務中使用，比如分類、回歸和序列標記。

但是這種方法在可擴展性方面存在限制。人類訓練者必須預測所有的輸入和輸出。訓練可能需要很長時間，并且在主題專業(yè)知識方面有限制。

但是，ChatGPT在主題專業(yè)知識方面幾乎沒有限制。你可以要求它為《星際迷航》中的角色邁爾斯·奧布萊恩（Chief Miles O’Brien）寫一份簡歷，讓它解釋量子物理學，編寫一段代碼，寫一篇短篇小說，比較美國前總統(tǒng)的治理風格。

預先預訓練模型無法預測所有可能被問到的問題，因此無法使用有監(jiān)督模型對ChatGPT進行訓練。相反，ChatGPT使用無監(jiān)督的預訓練，這是一個改變游戲規(guī)則的過程。

無監(jiān)督預訓練是指模型在數(shù)據上進行訓練，其中每個輸入都沒有特定的輸出與之對應。相反，模型被訓練來學習輸入數(shù)據的潛在結構和模式，而沒有特定的任務。這個過程通常在無監(jiān)督學習任務中使用，比如聚類、異常檢測和降維。在語言建模的背景下，無監(jiān)督預訓練可以用來訓練模型理解自然語言的語法和語義，從而在對話環(huán)境中生成連貫且有意義的文本。

正是在這里，ChatGPT的表面上無限知識的能力成為可能。因為開發(fā)者不需要知道輸入產生的輸出，他們只需要將更多的信息倒入ChatGPT的預訓練機制中，這被稱為基于Transformer的語言建模。

Transformer架構

Transformer架構是一種用于處理自然語言數(shù)據的神經網絡。神經網絡通過一系列相互連接的節(jié)點層次結構來模擬人腦的工作方式來處理信息?？梢詫⑸窠浘W絡類比為一支曲棍球隊：每個球員都有自己的角色，但他們在具有特定角色的球員之間傳遞球，共同努力達成進球。

Transformer架構通過使用”自注意力”來處理單詞序列，在進行預測時權衡序列中不同單詞的重要性。自注意力類似于讀者回顧之前的句子或段落，以理解書中新單詞所需的上下文。Transformer會查看序列中的所有單詞，以理解上下文和單詞之間的關系。

Transformer由多個層組成，每個層都有多個子層。其中兩個主要的子層是自注意力層和前饋層。自注意力層計算序列中每個單詞的重要性，而前饋層對輸入數(shù)據應用非線性變換。這些層幫助Transformer學習和理解序列中單詞之間的關系。

在訓練過程中，Transformer接收輸入數(shù)據（如一個句子），并根據該輸入進行預測。模型根據其預測與實際輸出的匹配程度進行更新。通過這個過程，Transformer學習理解序列中單詞的上下文和關系，使其成為處理自然語言的強大工具，如語言翻譯和文本生成等自然語言處理任務。

有一件事需要記住的是，這些模型有可能生成有害或帶偏見的內容，因為它們可能學習到訓練數(shù)據中存在的模式和偏見。實施這些模型的公司正在努力提供”防護措施”，但這些防護措施本身可能會引發(fā)問題。這是因為不同的人有不同的觀點，試圖基于一種思維方式來避免偏見可能會被另一種思維方式視為偏見。鑒于整個社會的復雜性，設計一個通用的聊天機器人是困難的。

讓我們首先討論喂入ChatGPT的數(shù)據，然后再看看ChatGPT和自然語言的用戶交互階段。

ChatGPT的訓練數(shù)據集

用于訓練ChatGPT的數(shù)據集非常龐大。ChatGPT基于GPT-3（Generative Pre-trained Transformer 3）架構。現(xiàn)在，GPT的縮寫有意義了，不是嗎？它是生成型的，意味著它能生成結果；它是預訓練的，意味著它基于吸收的所有數(shù)據；它使用了權衡文本輸入以理解上下文的Transformer架構。

GPT-3是在一個名為WebText2的數(shù)據集上進行訓練的，這是一個超過45TB的文本數(shù)據庫。當你可以用不到300美元購買一個16TB的硬盤時，45TB的數(shù)據集可能看起來并不那么龐大。但與圖片或視頻相比，文本占用的存儲空間要少得多。

這么龐大的數(shù)據量使得ChatGPT能夠以前所未有的規(guī)模學習自然語言中的詞語和短語之間的模式和關系，這也是為什么它在生成連貫且與上下文相關的回答方面如此有效的原因之一。

雖然ChatGPT基于GPT-3架構，但它已經在不同的數(shù)據集上進行了微調，并針對對話式使用場景進行了優(yōu)化。這使得它能夠為通過聊天界面與其互動的用戶提供更加個性化和引人入勝的體驗。

例如，OpenAI（ChatGPT的開發(fā)者）發(fā)布了一個名為Persona-Chat的數(shù)據集，專門用于訓練像ChatGPT這樣的對話式AI模型。該數(shù)據集包含超過16萬個由兩個人參與的對話，每個參與者都被分配一個獨特的角色，描述其背景、興趣和個性。這使得ChatGPT能夠學習如何生成與對話的具體上下文相關的個性化和相關的回應。

此外，還有許多其他用于微調ChatGPT的對話式數(shù)據集。以下是一些示例：

– Cornell電影對話語料庫：包含電影劇本中角色之間的對話。它包括超過20萬個對話交流，涵蓋了超過1萬個角色對，涉及多種主題和流派。

– Ubuntu對話語料庫：由用戶尋求技術支持和Ubuntu社區(qū)支持團隊之間的多輪對話組成。它包含超過100萬個對話，是研究對話系統(tǒng)的最大公開數(shù)據集之一。

– DailyDialog：包含各種主題的人對人對話，從日常生活對話到社會問題討論。數(shù)據集中的每個對話由幾個輪次組成，并標有一組情感、情緒和主題信息。

除了這些數(shù)據集，ChatGPT還在互聯(lián)網上的大量非結構化數(shù)據上進行了訓練，包括網站、書籍和其他文本來源。這使得ChatGPT能夠更加普遍地學習語言的結構和模式，然后可以對特定應用（如對話管理或情感分析）進行微調。

ChatGPT是一個獨特的模型，使用了與GPT系列類似的訓練方法，但在架構和訓練數(shù)據方面存在一些差異。ChatGPT有15億個參數(shù)，比GPT-3的1750億個參數(shù)要少。

總體而言，用于微調ChatGPT的訓練數(shù)據通常是對話式的，并經過專門策劃以包含人類之間的對話，這使得ChatGPT能夠學習如何以對話的形式生成自然而引人入勝的回應。

想象一下ChatGPT的無監(jiān)督訓練方式：它被提供了大量數(shù)據，并被放任自流地尋找模式和理解其中的含義。正是這種機制使得這些新的生成式AI系統(tǒng)能夠如此迅速地擴展起來。

雖然ChatGPT的生成式AI主要通過預訓練來完成，但它還必須能夠理解問題并從所有的數(shù)據中構建答案。這是通過自然語言處理和對話管理組成的推理階段來實現(xiàn)的。

那么在預訓練中人類的參與如何？

盡管非監(jiān)督式預訓練具有內在的可擴展性，但有證據表明在ChatGPT準備用于公眾使用時可能涉及了人類的協(xié)助。

《時代》雜志上的一篇文章揭示了這一情況，該文章討論了肯尼亞的人類“數(shù)據標注員”參與其中，他們每小時賺取1.32至2美元。根據《時代》的報道，這些工人的責任是瀏覽令人恐懼和性露骨的互聯(lián)網內容，并為ChatGPT的訓練標記出來。

另一篇發(fā)布在AI新聞通訊Martechpost上的文章稱，這個大型語言模型是使用一種稱為“人類反饋強化學習”（RLHF）的過程進行訓練的。根據該文章的說法，“訓練過程中使用了經過精細調整的初始模型，采用了有人類訓練師扮演用戶和AI助手的角色的監(jiān)督學習。”

在討論“訓練”一詞的含義時，存在一些微妙之處。根據ChatGPT自己的說法，“OpenAI并沒有使用帶有人類反饋的強化學習來訓練我。相反，我是使用無監(jiān)督和監(jiān)督學習技術的組合進行預訓練的，如語言建模、自編碼和序列預測。我的訓練過程涉及處理來自互聯(lián)網的大量文本數(shù)據，這使我能夠學習詞語和短語之間的模式和關系?！?/span>

AI繼續(xù)說道：“然而，一旦我完成了預訓練，研究人員和開發(fā)者可以使用帶有人類反饋的強化學習來對我進行精細調整，以適應特定的任務或領域，如回答問題或生成文本。在這些情況下，人類可以通過獎勵或懲罰的形式提供反饋，這可以用來更新我的參數(shù)并提高我在類似任務上的性能?！?/span>

這似乎與Marktechpost和TIME的報道相符，即初始的預訓練是無監(jiān)督的，允許大量的數(shù)據被輸入系統(tǒng)。但在構建與用戶進行對話的回應引擎時（稍后會詳細介紹），這些回應引擎顯然在回應類型上進行了訓練，并進行了過濾不適當材料的訓練，而這些訓練似乎是由人類協(xié)助完成的。

自然語言處理

自然語言處理（Natural Language Processing，NLP）專注于使計算機能夠理解、解釋和生成人類語言。隨著數(shù)字數(shù)據的指數(shù)增長和自然語言界面的廣泛使用，NLP已經成為許多企業(yè)的重要技術。

NLP技術可用于廣泛的應用領域，包括情感分析、聊天機器人、語音識別和翻譯。通過利用NLP，企業(yè)可以自動化任務、提升客戶服務，并從客戶反饋和社交媒體帖子中獲得有價值的見解。

實施NLP的一個關鍵挑戰(zhàn)是處理人類語言的復雜性和歧義性。NLP算法需要在大量數(shù)據上進行訓練，以識別模式并學習語言的細微差別。它們還需要不斷地進行改進和更新，以跟上語言使用和上下文的變化。

這項技術通過將語言輸入（如句子或段落）分解為較小的組件，并分析它們的含義和關系，以生成洞察或回應。NLP技術使用統(tǒng)計建模、機器學習和深度學習等多種技術手段，以識別模式并從大量數(shù)據中學習，從而準確地解釋和生成語言。

對話管理

您可能已經注意到，ChatGPT可以詢問后續(xù)問題，以澄清您的意圖或更好地理解您的需求，并提供個性化的回應，同時考慮到整個對話歷史記錄。

這就是ChatGPT如何能夠與用戶進行多輪對話，以一種自然而引人入勝的方式。它涉及使用算法和機器學習技術來理解對話的上下文，并在與用戶的多次交流中保持對話。

對話管理是自然語言處理的重要組成部分，因為它使計算機程序能夠以更像對話而不是一次性交互的方式與人進行互動。這有助于建立與用戶的信任和參與度，并最終為用戶和使用該程序的組織帶來更好的結果。

當然，營銷人員希望擴大信任的建立，但這也是一個可能令人擔憂的領域，因為這是AI可能操縱使用它的人的一種方式。

盡管已經講了3200多個字，這只是對ChatGPT內部工作的一個非?；镜母攀觥１M管如此，也許現(xiàn)在你對為什么這項技術在過去幾個月中爆發(fā)有了一些了解。關鍵在于數(shù)據本身并沒有受到”監(jiān)督”，而AI能夠理解并運用它所接收的數(shù)據。

此外：ChatGPT和Bard：我們是否正在錯誤的地方尋找答案？

真的很棒。

最后，我將整篇文章的草稿輸入ChatGPT，并要求AI用一句話描述這篇文章。這是它的回答：

ChatGPT就像Google和Wolfram Alpha的聰明堂兄，可以做一些它們無法做到的事情，比如寫故事和編寫模塊。

ChatGPT被認為是一項沒有自我意識的技術，但如果這個回答不讓你稍微感到毛骨悚然，那說明你沒有認真聽。

你在使用ChatGPT嗎？你對它的工作原理還有哪些問題？

如果你沒有用過或者沒有其他好用的ChatGPT，現(xiàn)推薦我一直在用的ChatGPT中文版-知否AI問答，支持60余個應用場景，包括論文助手、公司文案、營銷文案、多語言翻譯、行政公文、科研課題、招投標書、輔助編程、學習與教育、生活娛樂等各個領域。