“LLM（大型語(yǔ)言模型）肯定會(huì)變得更好。但現(xiàn)在，它們有很多局限性。它們提供了錯(cuò)誤的信息?？茖W(xué)家們應(yīng)該非常清楚這一點(diǎn)，并仔細(xì)檢查它們的輸出。”

當(dāng)?shù)貢r(shí)間2023年11月21日，據(jù)《科學(xué)》（Science）雜志報(bào)道，人工智能（AI）有望幫助科研人員消化大量論文，但面臨技術(shù)和法律障礙。

約瑟夫·吉迪奧蒂斯（Iosif Gidiotis）今年開始攻讀瑞典皇家理工學(xué)院（KTH Royal Institute of Technology）教育技術(shù)博士學(xué)位，獲悉AI驅(qū)動(dòng)的新工具可以幫助“消化”文獻(xiàn)，很感興趣。

在全球科學(xué)領(lǐng)域，去年共發(fā)表了近300萬篇論文。在論文數(shù)量激增的情況下，AI研究助理“聽起來很棒”。

吉迪奧蒂斯希望AI能夠找到與其研究問題更相關(guān)的論文，并總結(jié)出亮點(diǎn)。然而事情并不如他想象中順利。當(dāng)他嘗試使用一種名為Elicit的AI工具時(shí)，他發(fā)現(xiàn)只有部分相關(guān)，而且Elicit的摘要不夠準(zhǔn)確，無法滿足他的需求?！矮@得Elicit的結(jié)果后，你的直覺是要自己閱讀原文來驗(yàn)證摘要是否正確，所以它并不能節(jié)省時(shí)間?！?/p>

Elicit“表示”，它正在繼續(xù)為25萬普通用戶改進(jìn)算法。在一項(xiàng)調(diào)查中，該工具平均每周為人們節(jié)省90分鐘的閱讀和搜索時(shí)間。據(jù)悉，Elicit由一家非營(yíng)利性研究組織創(chuàng)建于2021年，旨在幫助科學(xué)家瀏覽文獻(xiàn)。

“這些平臺(tái)呈爆炸式增長(zhǎng)?！卑驳吕飦啞せ鶃喞桌ˋndrea Chiarelli）說，她在研究咨詢公司（Research Consulting）的出版工作中關(guān)注AI工具，然而，這些工具的生成系統(tǒng)容易產(chǎn)生虛假內(nèi)容，并且許多搜索到的論文都需要付費(fèi)。

基亞雷利表示：“很難預(yù)測(cè)哪些AI工具會(huì)占上風(fēng)，而且有一定程度的炒作，但它們顯示出巨大的前景。”

與引發(fā)全球關(guān)注的 ChatGPT（OpenAI研發(fā)的一款聊天機(jī)器人程序）和其他大語(yǔ)言模型 （LLM） 一樣，一些新工具在大量文本樣本上進(jìn)行“訓(xùn)練”，學(xué)習(xí)識(shí)別單詞關(guān)系，這些關(guān)聯(lián)使算法能夠?qū)λ阉鹘Y(jié)果求和。它們還根據(jù)論文中的上下文識(shí)別相關(guān)內(nèi)容，相較于僅使用關(guān)鍵字查詢，會(huì)產(chǎn)生更廣泛的結(jié)果。

從頭開始培訓(xùn)大語(yǔ)言模型對(duì)大部分組織來說太過昂貴，因此Elicit和其他AI工具使用開源的大語(yǔ)言模型，而在其用于“訓(xùn)練”的文本中，許多是非科學(xué)的。

有些AI工具走得更遠(yuǎn)。例如，Elicit 按概念組織論文，查詢“過多咖啡因”，可以出現(xiàn)關(guān)于“減少嗜睡”和“損害運(yùn)動(dòng)表現(xiàn)”的單獨(dú)論文集。高級(jí)版本每月收費(fèi)10美元，還可使用額外的內(nèi)部編程來提高準(zhǔn)確性。

另一個(gè)名為 Scim 的工具有助于將讀者的目光吸引到論文最相關(guān)的部分。該工具是非營(yíng)利性組織——艾倫AI研究所（Allen Institute for AI）創(chuàng)建的語(yǔ)義閱讀器（Semantic Reader）工具的一項(xiàng)功能，它像一個(gè)自動(dòng)墨跡熒光筆，用戶可以對(duì)其進(jìn)行自定義，應(yīng)用于有關(guān)新穎性、目標(biāo)和其他主題的陳述。

“它提供了一篇論文是否值得閱讀的快速診斷和分類，這非常有價(jià)值?！泵绹?guó)密歇根大學(xué)（University of MichiGAN）的信息科學(xué)家艾達(dá)（Eytan Adar）說，他試用過早期版本。還有一些工具可以注釋摘要，允許用戶自己判斷準(zhǔn)確性。

為了盡量避免產(chǎn)生錯(cuò)誤的響應(yīng)，艾倫研究所（Allen Institute）使用受過科學(xué)論文“訓(xùn)練”的大語(yǔ)言模型來操作語(yǔ)義閱讀器，但這種方法的有效性很難衡量。美國(guó)麻省理工學(xué)院（MassachuseTTS Institute of Technology）的計(jì)算機(jī)科學(xué)家邁克爾·卡賓（Michael Carbin）說：“這些都是邊緣的技術(shù)難題?！?/p>

艾倫研究所語(yǔ)義學(xué)者（Semantic Scholar）論文庫(kù)的首席科學(xué)家韋爾德（Dan Weld）的說：“目前，我們擁有的最佳標(biāo)準(zhǔn)是讓受過良好教育的人來觀察AI輸出并仔細(xì)分析它?！?/p>

該研究所已經(jīng)收集了300多名付費(fèi)研究生和數(shù)千名志愿測(cè)試人員的反饋。質(zhì)量檢驗(yàn)顯示，將Scim應(yīng)用于非計(jì)算機(jī)科學(xué)論文會(huì)產(chǎn)生故障，因此該研究所目前僅為大約55萬篇計(jì)算機(jī)科學(xué)論文提供Scim。

其他研究人員強(qiáng)調(diào)，只有當(dāng)開發(fā)人員和用戶能夠訪問論文全文，為搜索結(jié)果和內(nèi)容分析提供信息時(shí)，AI工具才能發(fā)揮潛力。澳大利亞皇家墨爾本理工大學(xué)（Royal Melbourne Institute of Technology，RMIT）計(jì)算語(yǔ)言學(xué)家卡琳·弗斯普爾（Karin Verspoor）說：“如果我們不能訪問文本，那么我們對(duì)這些文本中所捕獲的知識(shí)的看法就很有限?！?/p>

全球最大的科學(xué)出版商愛思唯爾（Elsevier）也將其AI工具限制在論文摘要上。今年8月，這家商業(yè)公司在其Scopus數(shù)據(jù)庫(kù)中首次推出了AI輔助搜索功能，該數(shù)據(jù)庫(kù)列出了9300萬篇研究出版物，成為最大的研究出版庫(kù)之一。為了響應(yīng)查詢，其算法會(huì)識(shí)別最相關(guān)的摘要，并使用 ChatGPT來提供整體摘要。

Scopus AI還按概念對(duì)摘要進(jìn)行分組。目前，用戶的反饋是：這種方法足以“幫助跨學(xué)科領(lǐng)域的研究人員快速了解特定主題” 。

艾倫研究所采取了不同的方法：它與50多家出版商談判達(dá)成協(xié)議，允許其開發(fā)人員對(duì)付費(fèi)論文的全文進(jìn)行數(shù)據(jù)挖掘。韋爾德說，幾乎所有的出版商都免費(fèi)提供訪問權(quán)限，因?yàn)锳I為他們帶來流量。即便如此，根據(jù)許可限制，Semantic Reader用戶只能訪問Semantic Scholar的6000萬篇全文論文中的800萬篇全文。

實(shí)現(xiàn)大規(guī)模的數(shù)據(jù)挖掘還需要讓更多的作者和出版商采用非PDF格式，以幫助機(jī)器有效地消化論文的內(nèi)容。美國(guó)白宮2022年的一項(xiàng)指令要求，由聯(lián)邦資金制作的文件必須是機(jī)器可讀的，但各機(jī)構(gòu)尚未提出細(xì)節(jié)。

盡管面臨挑戰(zhàn)，計(jì)算機(jī)科學(xué)家已經(jīng)在尋求開發(fā)更復(fù)雜的AI，以從文獻(xiàn)中收集更豐富的信息。他們希望收集線索以加強(qiáng)藥物發(fā)現(xiàn)并不斷更新系統(tǒng)評(píng)價(jià)。例如，由美國(guó)國(guó)防高級(jí)研究計(jì)劃局（Defense Advanced Research Projects Agency）支持的研究探索了一種能夠自動(dòng)生成科學(xué)假設(shè)的系統(tǒng)。

目前，使用AI工具的科學(xué)家需要保持合理的懷疑態(tài)度，美國(guó)馬薩諸塞大學(xué)阿默斯特分校（University of Massachusetts Amherst）交互式信息訪問系統(tǒng)研究者哈米德·扎馬尼（Hamed Zamani）說：“LLM肯定會(huì)變得更好。但現(xiàn)在，它們有很多局限性。它們提供了錯(cuò)誤的信息?？茖W(xué)家們應(yīng)該非常清楚這一點(diǎn)，并仔細(xì)檢查它們的輸出?！?/p>