“我們要去理解客戶需要，然后轉(zhuǎn)化為應(yīng)用場景，進(jìn)而翻譯為技術(shù)問題，最后實(shí)現(xiàn)相關(guān)的功能模塊?！奔o(jì)達(dá)麒解釋。彼時(shí)，達(dá)觀數(shù)據(jù)曾聘請(qǐng)數(shù)十名行業(yè)專家，充當(dāng)客戶與程序員之間的“翻譯員”，嘗試解決這一難題。

隨著人工智能的不斷發(fā)展，機(jī)器智能處理長文本的需求日益緊迫。隨后，達(dá)觀數(shù)據(jù)便投入到大語言模型（LLM，Large Language Model）的開發(fā)工作中，紀(jì)達(dá)麒擔(dān)任該項(xiàng)目總負(fù)責(zé)人。這就是如今的“曹植”大模型誕生的起點(diǎn)。

“想要讓一個(gè)大模型真正能夠處理長文本，它需要聰明地應(yīng)對(duì)多模態(tài)的內(nèi)容，同時(shí)能夠?qū)?fù)雜的結(jié)構(gòu)元素進(jìn)行理解和分析?！?/strong>陳運(yùn)文曾如此強(qiáng)調(diào)大語言模型的難點(diǎn)。

以分析證券領(lǐng)域的研報(bào)為例，計(jì)算機(jī)要像人類般智能，充分理解每個(gè)版面的區(qū)域含義、板塊分布，然后才能用大模型的語義理解做進(jìn)一步的閱讀理解工作。此外，它還要解析沒有邊框或是有各種復(fù)雜嵌套的表格等。在現(xiàn)實(shí)應(yīng)用中，對(duì)各種各樣的文檔資料進(jìn)行理解與分析是其中難點(diǎn)。

在許多實(shí)際應(yīng)用場景中，想要實(shí)現(xiàn)大模型智能化處理長文本，其長文本關(guān)鍵信息抽取任務(wù)是很多應(yīng)用的前置任務(wù)。如在企業(yè)內(nèi)部，合同合規(guī)審查中，合同中的關(guān)鍵信息抽取如果錯(cuò)誤或遺漏，則會(huì)導(dǎo)致后續(xù)的審核結(jié)果出現(xiàn)錯(cuò)誤，造成很大的風(fēng)險(xiǎn)。

“其實(shí)，我們這個(gè)行業(yè)碰到的大的問題就是訓(xùn)練標(biāo)注量少。”紀(jì)達(dá)麒介紹，信息抽取任務(wù)通常被看作是序列標(biāo)注問題，雖然在一些領(lǐng)域基于成熟的標(biāo)注數(shù)據(jù)，信息抽取已經(jīng)取得較好的效果，但在一些垂直領(lǐng)域，尤其是實(shí)際業(yè)務(wù)場景下，往往由于字段類型的不同及標(biāo)注數(shù)據(jù)量少的原因，效果不是很好。

遷移學(xué)習(xí)是提升小數(shù)據(jù)集模型效果的重要手段之一。在機(jī)器學(xué)習(xí)中，遷移學(xué)習(xí)可以利用已有的數(shù)據(jù)，在新領(lǐng)域小數(shù)據(jù)訓(xùn)練集上取得更好的效果?！耙院贤瑢徍藶槔?，我們的‘曹植’大模型在某大型航空公司上線半年里，幫助他們發(fā)現(xiàn)了700多萬元的合同風(fēng)險(xiǎn)?！奔o(jì)達(dá)麒透露。