生成式人工智能，特別是大語言模型（LLM，large language models），將在軟件開發(fā)等方面發(fā)揮關(guān)鍵作用。

對于在機(jī)器學(xué)習(xí)操作方面打下基礎(chǔ)、對于企業(yè)有效部署和擴(kuò)展語言模型，生成式人工智能的廣泛使用可謂至關(guān)重要。在這個未知的領(lǐng)域，不當(dāng)?shù)墓芾砜赡軙l(fā)工作流程出現(xiàn)難以處理的復(fù)雜性。

為了開發(fā)和擴(kuò)展企業(yè)級大語言模型，成功的機(jī)器學(xué)習(xí)操作計劃包含以下核心特征。首先是始終如一地部署機(jī)器學(xué)習(xí)模型，用標(biāo)準(zhǔn)化的流程和控制措施監(jiān)控模型的變化、數(shù)據(jù)和特征質(zhì)量。

企業(yè)應(yīng)該能夠復(fù)制和重新訓(xùn)練機(jī)器學(xué)習(xí)模型，通過質(zhì)量保證和治理流程進(jìn)行部署，從而無需大量人工工作或重寫。最后，應(yīng)該確保機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施是有彈性的，比如保證多區(qū)域可用性和故障恢復(fù)、持續(xù)掃描網(wǎng)絡(luò)漏洞、并對其加以妥善管理。

當(dāng)這些工作就位之后，大語言模型還會面臨更復(fù)雜的挑戰(zhàn)，需要細(xì)致入微的方法和考慮，包括基礎(chǔ)設(shè)施、能力、風(fēng)險解決方案和人才儲備。

使用傳統(tǒng)機(jī)器學(xué)習(xí)模型進(jìn)行推理，通常涉及將模型打包為容器，并將其部署在推理服務(wù)器上。隨著對模型需求的增加，比如更多的使用請求、更多的客戶和更多的運(yùn)行決策，擴(kuò)展模型所需要做的就是添加更多的容器和服務(wù)器。

在大多數(shù)企業(yè)的設(shè)置中，CPU 可以很好地進(jìn)行傳統(tǒng)模型的推理。但是，托管大語言模型是一個復(fù)雜得多的過程，其需要額外的考量。

大語言模型由 token 組成，即文本的基本單元，模型用它來生成類似人類的語言。它們通?；谙惹吧傻臉?biāo)記，預(yù)測的方式是以自回歸的方式逐個標(biāo)記，直到到達(dá)一個停止詞。

這個過程很快就會變得很麻煩：生成 token 的過程要根據(jù)模型、任務(wù)、語言和計算資源而變化。部署大語言模型的工程師不僅需要基礎(chǔ)設(shè)施經(jīng)驗，例如在云上部署容器，還需要了解最新的技術(shù)以保持推理成本可控，并能滿足性能服務(wù)等級協(xié)議。

在企業(yè)環(huán)境中部署大語言模型，意味著必須建立向量數(shù)據(jù)庫和其他知識庫，并讓它們與文檔存儲庫和語言模型實(shí)時協(xié)同工作，以產(chǎn)生合理的、與上下文相關(guān)的準(zhǔn)確輸出。

例如，零售商可以使用大語言模型通過消息傳遞接口與客戶進(jìn)行對話。該模型需要訪問存有實(shí)時業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)庫，以調(diào)用最近的交互信息、產(chǎn)品目錄、對話歷史、退貨政策、最新促銷和廣告、客戶服務(wù)指南和常見問題的解答。

這些知識庫正在越來越多地發(fā)展為矢量數(shù)據(jù)庫，以便通過矢量搜索和索引算法對查詢進(jìn)行快速檢索。

（來源：AI 生成）

大語言模型還面臨一個額外的挑戰(zhàn)：針對特定的企業(yè)任務(wù)進(jìn)行微調(diào)以獲得最佳性能。大型企業(yè)級語言模型可能有數(shù)十億個參數(shù)，這需要使用比傳統(tǒng)機(jī)器學(xué)習(xí)模型更加復(fù)雜的方法，包括具有高速網(wǎng)絡(luò)接口的持久計算集群、用于訓(xùn)練以及微調(diào)的 GPU 等硬件加速器。

一旦訓(xùn)練完畢，這些大語言模型還需要多 GPU 節(jié)點(diǎn)來進(jìn)行內(nèi)存優(yōu)化和分布式計算的推理。為了滿足計算需求，企業(yè)需要在專門的 GPU 集群或其他硬件加速器上進(jìn)行更廣泛的投資。

這些可編程硬件設(shè)備可以被定制，以便實(shí)現(xiàn)特定的計算能力，比如矩陣向量運(yùn)算。而公共云基礎(chǔ)設(shè)施是這些集群的重要推動者。

風(fēng)險管控，在模型的整個生命周期中是至關(guān)重要的?？捎^察性、日志記錄和操作追蹤，是機(jī)器學(xué)習(xí)操作過程的核心。它們有助于監(jiān)控模型發(fā)布后的準(zhǔn)確性、性能、數(shù)據(jù)質(zhì)量和漂移，但是還需要考慮額外的基礎(chǔ)設(shè)施層。

大語言模型可能會產(chǎn)生“幻覺”，它們偶爾會輸出錯誤的內(nèi)容。企業(yè)需要適當(dāng)?shù)谋Ｗo(hù)措施，比如規(guī)定好特定的格式或策略，以確保大語言模型在真實(shí)應(yīng)用中返回可接受的回答。

傳統(tǒng)的機(jī)器學(xué)習(xí)模型依賴于定量的統(tǒng)計方法，來解決模型不準(zhǔn)確和使用時的漂移。對于大語言模型來說，這會變得更加主觀。它可能涉及到對模型輸出進(jìn)行定性評分，然后在帶有預(yù)設(shè)護(hù)欄的 API 上運(yùn)行它，以確保得到一個可接受的答案。

企業(yè)對大語言模型的治理將是一門藝術(shù)和科學(xué)，許多組織仍在學(xué)習(xí)如何將它們納入可操作的風(fēng)險閾值。隨著新進(jìn)展的迅速出現(xiàn)，嘗試開源和商業(yè)解決方案是明智的，這些解決方案可以針對特定用例和治理需求進(jìn)行定制。

而這就需要一個非常靈活的機(jī)器學(xué)習(xí)平臺，特別是以高度抽象為基礎(chǔ)的控制臺，并與更廣泛的生態(tài)系統(tǒng)保持同步，而不會影響其用戶和應(yīng)用程序。

Capital One 公司認(rèn)為，構(gòu)建一個可擴(kuò)展的、管理良好的、具有高抽象水平和多租戶的平臺控制臺，對于滿足這些需求至關(guān)重要。

根據(jù)訓(xùn)練數(shù)據(jù)規(guī)模和生成的 token 的不同，大語言模型的性能可能會有很大差異。訓(xùn)練或微調(diào)非常大的模型，并在真實(shí)環(huán)境中大規(guī)模地為它們服務(wù)，是一項重大的科學(xué)挑戰(zhàn)和工程挑戰(zhàn)。這要求企業(yè)必須招聘和留住大量的人工智能專家、工程師和研究人員。

例如，對于一個向數(shù)萬名員工提供服務(wù)的虛擬助手來說，當(dāng)為其部署大語言模型和矢量數(shù)據(jù)庫時，意味著需要將各種領(lǐng)域的工程師聚集在一起。還需要部署量身定制的提示（prompt），以提供準(zhǔn)確的答案，而這需要復(fù)雜的專業(yè)知識。

此外，人工智能專家的能力儲備也需要跟上最新的發(fā)展，以便建立和微調(diào)模型。任何人工智能項目的長期成功都涉及到將數(shù)據(jù)科學(xué)、研究、設(shè)計、產(chǎn)品、風(fēng)險、法律和工程專家結(jié)合起來，這些人才和經(jīng)驗會將人類用戶置于中心。

雖然企業(yè)大語言模型仍處于早期階段，新的技術(shù)能力每天都在發(fā)展，但成功的關(guān)鍵之一是擁有堅實(shí)的機(jī)器學(xué)習(xí)設(shè)施和人工智能基礎(chǔ)設(shè)施。

人工智能將繼續(xù)快速發(fā)展，尤其是在語言模型領(lǐng)域。這些進(jìn)步有望以前所未有的方式進(jìn)行變革。與任何新興技術(shù)一樣，潛在的好處必須與管理良好的操作實(shí)踐和風(fēng)險管理相平衡。

有針對性地、全方面地考慮整個模型的機(jī)器學(xué)習(xí)操作戰(zhàn)略，可以提供一種全面的方法，從而加速實(shí)現(xiàn)更廣泛的人工智能功能。