今年7月23日，一位名叫“諾言”的網(wǎng)民在抖音短視頻平臺發(fā)布了一條“2歲女童王喵喵走失的尋人啟事”，在網(wǎng)上引發(fā)關(guān)注。

這個(gè)視頻聲稱，一位名叫王喵喵的2歲女童，在浙江嘉興市南湖區(qū)新豐鎮(zhèn)烏橋超市走失。在這則“尋人啟事”中，不僅詳細(xì)描述了女童的姓名、年齡、身高、體貌特征、走失地等具體信息，還明確指出：事發(fā)地監(jiān)控顯示，該女童被一位五六十歲的大媽抱走。整篇“尋人啟事”表達(dá)了家人的牽掛，并附上了女童“父親”與“母親”的聯(lián)系電話，乍一看，好像確實(shí)是心急如焚的家長在發(fā)出求助信號。

這則消息引發(fā)了廣大網(wǎng)友的關(guān)注，短短十幾個(gè)小時(shí)，該視頻在抖音平臺的播放量就超過160萬次。無數(shù)網(wǎng)友為小女孩揪心不已，主動轉(zhuǎn)發(fā)這條消息幫助尋人。同時(shí)，該視頻也引起了浙江嘉興警方的注意。然而，當(dāng)警方介入調(diào)查后，這起“兒童走失”事件，卻出現(xiàn)了反轉(zhuǎn)。

使用AI生成“尋人啟事”

涉事男子被行拘

民警調(diào)查發(fā)現(xiàn)，“尋人啟事”中所謂“女童王喵喵”的照片，是發(fā)布者套用了其他網(wǎng)友發(fā)布的圖片信息?！罢掌锏呐⒉皇羌闻d市南湖區(qū)人，這是一個(gè)廣東深圳的博主，以前分享的自己女兒的日常照片，并不是一個(gè)走失的照片?！闭憬闻d市公安局南湖區(qū)分局網(wǎng)安大隊(duì)民警張?zhí)斐山榻B。

經(jīng)過一系列驗(yàn)證調(diào)查，浙江嘉興南湖警方確定，這則所謂的“尋人啟事”就是假消息。很快警方鎖定了信息發(fā)布者王某某。

7月25日晚上9點(diǎn)多，嘉興南湖警方在新豐鎮(zhèn)烏橋村百禾里小區(qū)找到了信息發(fā)布者王某某，發(fā)現(xiàn)其并未娶妻生子。面對民警的訊問，王某某交代了事實(shí)。

嘉興市公安局南湖區(qū)分局新豐派出所副所長 于煒彬：我們在訊問的過程中了解到，王某某就是為了在線上博取關(guān)注度、獲取流量，編造了小女孩走失的消息。

為了增加迷惑性和可信度，王某某在使用AI大模型生成尋人啟事時(shí)，特地增加了小女孩“外貌特征”等描述信息，并配上了網(wǎng)絡(luò)搜索的相關(guān)女童圖片。消息一經(jīng)發(fā)布，便引來大量關(guān)注，賬號的粉絲量也從原來的個(gè)位數(shù)增長到了600多。

浙江嘉興市公安局南湖區(qū)分局網(wǎng)安大隊(duì)民警 張?zhí)斐桑涸谕跄衬嘲l(fā)布視頻的十幾個(gè)小時(shí)之內(nèi)，全網(wǎng)播放量已經(jīng)達(dá)到160多萬，點(diǎn)贊量達(dá)到兩三萬，轉(zhuǎn)發(fā)量也達(dá)到了八九千。他不僅造成了互聯(lián)網(wǎng)上的一個(gè)巨大輿情，很多不明真相的網(wǎng)友幫忙尋找女孩，對照片里真實(shí)的小女孩以及她的家屬造成很大的影響。

最終，根據(jù)《中華人民共和國治安管理處罰法》第二十五條第一款規(guī)定，嘉興市公安局南湖區(qū)分局依法對王某某作出了行政拘留的處罰決定。

“AI謠言”有多“野”？

當(dāng)前，AI（人工智能）迅速發(fā)展，給人們的生產(chǎn)生活帶來諸多便利。但AI也被用于制作發(fā)布謠言、不實(shí)信息?！癆I謠言”表現(xiàn)形式多樣，讓不少群眾一度信以為真?！癆I謠言”從何而來、為何泛濫、如何整治？記者進(jìn)行了采訪。

緣何出現(xiàn)？

有人惡意用AI編造虛假信息，也存在“AI幻覺”的可能

“80后5.2%的死亡率，開啟了黃金一代的黯然離場”“80后的死亡率已經(jīng)超過70后”……前不久，一組聲稱源于第七次全國人口普查的數(shù)據(jù)駭人聽聞。很快，有關(guān)部門和專家辟謠：從來源到數(shù)據(jù)都毫無根據(jù)。

這組虛假數(shù)據(jù)從何而來呢？

中國人民大學(xué)人口與健康學(xué)院教授李婷梳理發(fā)現(xiàn)，“AI幻覺”很可能是“罪魁禍?zhǔn)住薄狝I大模型在人口學(xué)專業(yè)領(lǐng)域的訓(xùn)練語料不足，回答問題出現(xiàn)推算錯(cuò)誤，造成“AI幻覺”。

“‘AI幻覺’指生成式人工智能系統(tǒng)在無明確依據(jù)的情況下輸出回答，語言表達(dá)看似合理，但內(nèi)容實(shí)則虛假甚至違背常識?！笔澜缁ヂ?lián)網(wǎng)大會人工智能專業(yè)委員會主任委員、安全與治理推進(jìn)計(jì)劃牽頭人曾毅介紹，該現(xiàn)象在當(dāng)代大語言模型中尤為常見，主要表現(xiàn)就是事實(shí)性幻覺，例如，輸出錯(cuò)誤的人物事跡與關(guān)系、偽造的科學(xué)研究等。

從機(jī)理上看，“當(dāng)前大模型并非‘理解事實(shí)’，而是通過處理大量語料，預(yù)測‘下一個(gè)詞最可能是什么’。這就會在事實(shí)性信息上產(chǎn)生難以預(yù)期的錯(cuò)誤?！痹惴治觥?/span>

還有人別有用心，惡意編造傳播“AI謠言”獲取利益。

有人為了流量，給自媒體賬號炒作“吸粉”。此前上海一女童走失事件中，就有團(tuán)伙利用AI工具，編造“女孩父親系繼父”等謠言，6天內(nèi)發(fā)布268篇文章，多篇文章點(diǎn)擊量超過100萬次。

還有人借此實(shí)施詐騙等違法犯罪行為?！霸購?qiáng)大的AI也無法預(yù)測中獎號碼?！辈痪们埃袊w育彩票的一則辟謠聲明引發(fā)關(guān)注。原來，有平臺聲稱可通過“AI大模型”預(yù)測中獎號碼，誘導(dǎo)用戶付費(fèi)。

甚至有人形成了“需求分析—內(nèi)容生產(chǎn)—精準(zhǔn)投放”的生產(chǎn)鏈條?！拔靼餐话l(fā)爆炸！火光沖天！傷亡不明！”一天，一則“圖文并茂”的新聞在網(wǎng)上流傳，畫面中火光沖天，引發(fā)當(dāng)?shù)厝罕娍只拧：芸?，這則消息被辟謠。經(jīng)調(diào)查發(fā)現(xiàn)，該賬號所屬機(jī)構(gòu)通過AI分析社交平臺熱詞，就關(guān)注度高的話題批量生成謠言，再通過算法定向推送，最高峰一天能生成4000至7000篇假新聞，關(guān)聯(lián)賬號達(dá)800余個(gè)。相關(guān)人員已被公安機(jī)關(guān)抓獲。

為何泛濫？

造謠門檻低，可以短時(shí)間內(nèi)成倍率傳播

“AI謠言”形形色色，有些造成了社會恐慌，甚至給政策推行、搶險(xiǎn)救災(zāi)等造成阻礙。

今年2月，四川筠連縣“2·8”山體滑坡發(fā)生后，部分自媒體賬號用AI軟件翻炒拼湊舊聞，傳播如“山體滑坡被行車記錄儀拍下”“4名遇險(xiǎn)學(xué)生被路過的司機(jī)救出”等帖文，諸多錯(cuò)誤信息給搶險(xiǎn)救災(zāi)帶來困擾；又如，“廣東醫(yī)?；鸪霈F(xiàn)赤字”的“AI謠言”傳出，不僅引發(fā)社會恐慌，還造成群眾對政策的誤解……

“AI謠言”為何傳播力如此之強(qiáng)？

首先與其自身特點(diǎn)密切相關(guān)。

清華大學(xué)新聞與傳播學(xué)院副教授陸洪磊介紹，“AI謠言”可以做到分平臺、分渠道、分時(shí)段、分媒介的定制化生成和發(fā)布，并且成本低廉，可以短時(shí)間內(nèi)成倍率傳播，“AI謠言”間還能彼此交叉、共振與放大，辟謠難度大大增加。

今年年初，西藏定日縣地震牽動億萬人的心。網(wǎng)上流傳的一張“小孩被埋圖”一時(shí)間被大量轉(zhuǎn)發(fā)評論。但是隨后有網(wǎng)友發(fā)現(xiàn)，該圖色彩、光線、動作極不自然。原來，該圖是由AI工具創(chuàng)作。陸洪磊說，這則謠言利用“災(zāi)難+兒童”的組合，并刻意刪除掉AI生成標(biāo)識，引發(fā)快速傳播。

再者，ai應(yīng)用降低了造謠門檻。

某科技論壇上，一名網(wǎng)友上傳教程：用開源AI模型，輸入“生成一張某市發(fā)生恐襲的圖片”，30秒即可獲得以假亂真的畫面。

網(wǎng)友評論一針見血：“以前造謠需要高超的PS技術(shù)，現(xiàn)在只需要一句話就能生成?！?/span>

有何“代際差異”？

“AI謠言”更善于“逃脫”，難以被技術(shù)手段屏蔽

與傳統(tǒng)網(wǎng)絡(luò)謠言相比，“AI謠言”更加難以防治，甚至“進(jìn)化”出了更為“智能”的“反偵查”機(jī)制。

記者發(fā)現(xiàn)，“AI謠言”表述常常接近“真話”，看似清晰有據(jù)，更難以被技術(shù)手段屏蔽。

目前各網(wǎng)絡(luò)平臺都有“謠言庫”，一般通過設(shè)置熱點(diǎn)關(guān)鍵詞屏蔽謠言。但AI模型可通過對抗訓(xùn)練繞過謠言關(guān)鍵詞，例如把“山體滑坡”改為“地質(zhì)活動異?！钡龋用撈帘?。

“傳統(tǒng)謠言像火，撲滅源頭即可；‘AI謠言’像病毒，會不斷變異?！蹦承侣?a class="external" href="http://www.xmqqs.cn/tag/8637" title="查看與 聚合平臺 相關(guān)的文章" target="_blank">聚合平臺內(nèi)容安全治理負(fù)責(zé)人感慨。

此外，傳統(tǒng)網(wǎng)絡(luò)謠言多是有人故意制造，但“AI謠言”中不少是出于“AI幻覺”。對這部分“無意謠言”，目前有辦法從源頭上避免嗎？

曾毅介紹，從當(dāng)前技術(shù)水平來看，完全消除“AI幻覺”具有高度挑戰(zhàn)，“大模型生成機(jī)制本質(zhì)是概率驅(qū)動的語言建模，難以保障全部輸出與現(xiàn)實(shí)完全對應(yīng)；同時(shí)，當(dāng)前評估與糾錯(cuò)機(jī)制仍不成熟，缺乏大規(guī)模、高準(zhǔn)確率的自動化事實(shí)驗(yàn)證能力?！?/span>

“不過，通過技術(shù)手段緩解‘AI幻覺’發(fā)生的頻率與危害是有可能的?！痹阏f，目前已在多模型協(xié)同判斷、事實(shí)增強(qiáng)訓(xùn)練等方面取得了一定成果，大模型的辨別能力將得到提升。

綜合：人民日報(bào)客戶端 央視新聞客戶端

來源：遼寧日報(bào)