之前我們寫過(guò)一篇文章——《別再問我聾人為什么要去音樂節(jié)了》，科普了海外音樂節(jié)的特別崗位：手語(yǔ)翻譯員。

聽障人士雖然聽不見或者聽不清音樂，但他們可以通過(guò)手語(yǔ)翻譯員感染力極強(qiáng)的手部動(dòng)作、面部表情、肢體語(yǔ)言，感受到音樂的律動(dòng)、氛圍的熱烈。

這可能是健聽人意想不到的手語(yǔ)場(chǎng)景。其實(shí)無(wú)論線上線下，需要手語(yǔ)翻譯員的地方還有很多，然而僧多粥少。

英國(guó)人Sally Chalk，2002年開了一家英國(guó)手語(yǔ)翻譯公司，經(jīng)過(guò)20年的經(jīng)營(yíng)，公司規(guī)?？捎^，預(yù)約手語(yǔ)翻譯員的時(shí)間也縮短到了30分鐘，但她還是不滿足。

聽障人士能不能馬上獲取手語(yǔ)翻譯，就像在視頻網(wǎng)站打開字幕一樣？

她的答案是，讓AI加入進(jìn)來(lái)。

從線上到線下，應(yīng)該讓聽障人士多用“母語(yǔ)”

2022年，Sally Chalk開了一家新的初創(chuàng)公司——Signapse，專注開發(fā)生成式AI手語(yǔ)翻譯軟件，將書面文本實(shí)時(shí)翻譯為美國(guó)手語(yǔ)和英國(guó)手語(yǔ)。

今年5月，Signapse拿到了200萬(wàn)英鎊的種子輪融資，其中50萬(wàn)來(lái)自英國(guó)政府。

他們瞄準(zhǔn)的一個(gè)線下場(chǎng)景，是火車站、機(jī)場(chǎng)等交通樞紐。

美國(guó)的辛辛那提/北肯塔基國(guó)際機(jī)場(chǎng)，已經(jīng)和Signapse合作，在屏幕上投放美國(guó)手語(yǔ)，提供歡迎、安全、出發(fā)、到達(dá)等信息。

AI是如何發(fā)揮作用的？Signapse基于大型手語(yǔ)數(shù)據(jù)集，并通過(guò)生成對(duì)抗網(wǎng)絡(luò)（GAN）和深度學(xué)習(xí)技術(shù)，創(chuàng)造了逼真的、翻譯盡可能準(zhǔn)確的虛擬手語(yǔ)翻譯員。

這些虛擬形象基于真人手語(yǔ)翻譯員，每次被商用時(shí)，真人都會(huì)拿到分成。

考慮到機(jī)場(chǎng)的目的地、出發(fā)時(shí)間、站臺(tái)號(hào)碼經(jīng)常變動(dòng)，通過(guò)與交通數(shù)據(jù)集成，Signapse的手語(yǔ)翻譯可以做到實(shí)時(shí)更新。

同時(shí)，Signapse沒有忽視線上的需求，也為網(wǎng)站和視頻流媒體提供手語(yǔ)翻譯。

盡管YouTube等網(wǎng)站都有隱藏式字幕了，但相比字幕，聽障人士往往更喜歡手語(yǔ)，因?yàn)槭终Z(yǔ)具有獨(dú)立于其他語(yǔ)言的語(yǔ)法結(jié)構(gòu)和表達(dá)形式，會(huì)讓他們的上網(wǎng)體驗(yàn)更好。

你應(yīng)該有注意到，提到手語(yǔ)時(shí)，我們會(huì)用美國(guó)手語(yǔ)、英國(guó)手語(yǔ)的說(shuō)法。就像全世界的口語(yǔ)和文字互不相通，手語(yǔ)也包羅萬(wàn)象。

聯(lián)合國(guó)統(tǒng)計(jì)，全世界大約有7000萬(wàn)人將手語(yǔ)作為主要的交流形式，全世界使用的手語(yǔ)有300多種不同類型。僅在美國(guó)，就有50萬(wàn)人使用美國(guó)手語(yǔ)。

所以，Signapse目前所做的其實(shí)也很有限，只覆蓋到了使用美國(guó)和英國(guó)手語(yǔ)的少部分人，以及有限的垂直場(chǎng)景。過(guò)去兩年，Signapse每天創(chuàng)建約5000個(gè)英國(guó)手語(yǔ)交通公告。

Signapse希望，未來(lái)他們的服務(wù)可以更加普適，拓展到教育等場(chǎng)景，也更加個(gè)性化，支持用戶自定義虛擬手語(yǔ)翻譯員的外觀。

一方的水土養(yǎng)一方的AI，國(guó)內(nèi)大廠也有類似的手語(yǔ)產(chǎn)品。

AI手語(yǔ)主播們，曾經(jīng)出現(xiàn)在騰訊的王者榮耀直播間、華為的開發(fā)者大會(huì)。

2022年冬奧會(huì)，央視新聞和百度智能云曦靈聯(lián)合打造的AI手語(yǔ)主播上線，天津理工大學(xué)聾人工學(xué)院參與了手語(yǔ)語(yǔ)料標(biāo)注。

而在AI手語(yǔ)主播背后，百度智能云曦靈的AI手語(yǔ)平臺(tái)，還能滿足醫(yī)院、車站、銀行等不同場(chǎng)景的快速手語(yǔ)翻譯需求，和Signapse英雄所見略同。

更絲滑的出行、更沉浸的觀看體驗(yàn)、更無(wú)障礙的服務(wù)……

如果說(shuō)手語(yǔ)翻譯的改進(jìn)空間比海更深，至少聽障人士獲取公共信息的方式，正在被AI改變，持續(xù)地泛起可見的浪花。

手語(yǔ)界的多鄰國(guó)們

聽障人士也要“聽”音樂？聽障人士看文字是不是就夠了？這是典型從健聽人的邏輯出發(fā)考慮問題。

其實(shí)，我們應(yīng)該反過(guò)來(lái)問：音樂節(jié)怎么讓聽障人士也能有參與感？互聯(lián)網(wǎng)怎么讓聽障人士有更愉快的沖浪體驗(yàn)？

所以，不是某個(gè)人流如織的車站多出了一塊屏幕，而是那塊屏幕本就該出現(xiàn)在那里。

更多公司、更多個(gè)體正在借助技術(shù)的力量，讓手語(yǔ)變得越來(lái)越有存在感。

讓健聽人學(xué)習(xí)手語(yǔ)，就是其中一種比較容易想到的思路。

PopSign是一款邊玩邊學(xué)手語(yǔ)的app，使用AI手語(yǔ)模型，由Google、羅徹斯特理工學(xué)院、佐治亞理工學(xué)院合作開發(fā)，可在Android和iOS上使用，最主要的用戶群體是聽障孩子的健聽父母。

吸取背單詞從“abandon”（放棄）開始、也以放棄終結(jié)的教訓(xùn)，PopSign不是無(wú)聊地播放手語(yǔ)視頻，而是用小游戲增強(qiáng)學(xué)習(xí)手語(yǔ)的興趣和信心，和瘋狂催你打卡的多鄰國(guó)異曲同工。

想做手語(yǔ)界“多鄰國(guó)”的，還有一家叫作SLAIT的美國(guó)公司。他們提供的也是沉浸式的互動(dòng)課程和測(cè)驗(yàn)，如果你做對(duì)了，AI導(dǎo)師會(huì)給予你實(shí)時(shí)反饋，提供適量情緒價(jià)值。

不過(guò)，教手語(yǔ)只是SLAIT退而求其次的選擇，一開始他們想做的，其實(shí)是實(shí)時(shí)視頻聊天和翻譯的AI手語(yǔ)工具。

但巧婦難為無(wú)米之炊，SLAIT是個(gè)小團(tuán)隊(duì)，沒有足夠的數(shù)據(jù)，也沒有足夠的資金，比起直接翻譯手語(yǔ)句子，教單個(gè)手語(yǔ)詞匯更加簡(jiǎn)單，但同樣有價(jià)值。

翻譯手語(yǔ)的辛苦活，就交給財(cái)大氣粗的巨頭們解決了。

2023年8月，聯(lián)想巴西開發(fā)了一款基于AI的實(shí)時(shí)聊天翻譯app，用來(lái)翻譯葡萄牙語(yǔ)手語(yǔ)，未來(lái)計(jì)劃覆蓋到全球更多手語(yǔ)。

當(dāng)聽障人士對(duì)著設(shè)備的攝像頭打手語(yǔ)，算法會(huì)即時(shí)將其翻譯成葡萄牙語(yǔ)文本，傳送給另一端的接收者。

這樣的工具應(yīng)該多多益善，恰好和手語(yǔ)教學(xué)服務(wù)互補(bǔ)，讓聽障人士站在更主動(dòng)的位置，更多地成為對(duì)話的發(fā)起方。

Google則更加產(chǎn)品導(dǎo)向，發(fā)起了2023年Kaggle AI手語(yǔ)識(shí)別競(jìng)賽。

這場(chǎng)競(jìng)賽的主題很有意思——參賽者們基于聽障人士自拍得到的300多萬(wàn)個(gè)手指拼寫字符，構(gòu)建使用智能相機(jī)快速跟蹤手指、手掌和臉部的手指拼寫模型。

手指拼寫屬于手語(yǔ)的一種，使用手指的不同形狀和位置來(lái)表示字母。對(duì)于很多殘障人士來(lái)說(shuō)，使用手指拼寫，比在智能手機(jī)的虛擬鍵盤上打字快得多。

所以，改進(jìn)手語(yǔ)識(shí)別、構(gòu)建手指拼寫模型，是為了讓聽障人士可以直接用更擅長(zhǎng)的手語(yǔ)，而不是打字和說(shuō)話，在手機(jī)上使用搜索、地圖、短信等功能。

更進(jìn)一步，這也有助于開發(fā)手語(yǔ)轉(zhuǎn)語(yǔ)音的應(yīng)用，打破聽障人士無(wú)法用語(yǔ)音召喚數(shù)字助理的僵局。

或者說(shuō)，很多語(yǔ)音優(yōu)先的產(chǎn)品，從一開始就沒有考慮不善口語(yǔ)的用戶，是時(shí)候補(bǔ)上漏洞了。

Google首席無(wú)障礙研究產(chǎn)品經(jīng)理Sam Sepah，在接受福布斯采訪時(shí)提到，他們的目標(biāo)是，讓手語(yǔ)成為使用Google產(chǎn)品時(shí)的通用語(yǔ)言選項(xiàng)。

其實(shí)，這也應(yīng)該是整個(gè)互聯(lián)網(wǎng)的目標(biāo)——讓手語(yǔ)成為數(shù)字世界的通用語(yǔ)言。

多鄰國(guó)作為一款語(yǔ)言學(xué)習(xí)軟件，為每個(gè)人提供了平等的受教育機(jī)會(huì)。而AI手語(yǔ)產(chǎn)品們讓人感覺到的是，本不該有的限制正在解除，哪里都可以互通有無(wú)。

AI越強(qiáng)大，越要珍視人性

5月，GPT-4o發(fā)布時(shí)，一個(gè)Demo視頻很打動(dòng)人，GPT-4o充當(dāng)了眼睛，讓視障人士也能“看到”周圍的環(huán)境。

視障人士從AI口中知道，白金漢宮上空飄揚(yáng)著旗幟，河里的鴨子悠閑地嬉戲，出租車就要到達(dá)跟前，他的嘴角隨著AI的歡快語(yǔ)調(diào)而上揚(yáng)。

俗話說(shuō)技術(shù)打開了新世界的大門，是否可以反過(guò)來(lái)理解，殘障人士們?cè)旧钤谝粋€(gè)不為他們?cè)O(shè)計(jì)的世界？

世衛(wèi)組織數(shù)據(jù)顯示，全球4.3億人需要通過(guò)康復(fù)治療解決殘疾性聽力損失。手語(yǔ)翻譯的數(shù)量遠(yuǎn)遠(yuǎn)不夠，在美國(guó)，聽障用戶與美國(guó)手語(yǔ)翻譯員的比例大約為50比1。

所以目前來(lái)說(shuō)，AI手語(yǔ)只是起到補(bǔ)充和錦上添花的作用，還不到“搶飯碗”的地步。

以上提到的AI手語(yǔ)產(chǎn)品，基本都是小規(guī)模的、垂直的、扎根特定地區(qū)的，彌補(bǔ)真人翻譯不可及的地方。

上個(gè)月，我還看到了一款很酷的AI手語(yǔ)產(chǎn)品。

羅格斯大學(xué)、卡內(nèi)基梅隆大學(xué)等幾所大學(xué)的研究人員，將公開手語(yǔ)視頻處理成包含8種手語(yǔ)的數(shù)據(jù)集，訓(xùn)練了SignLLM——第一個(gè)多語(yǔ)言手語(yǔ)生成模型。

覆蓋多種手語(yǔ)，可以通過(guò)文本提示詞生成手語(yǔ)，那不是太方便了嗎？但研究人員說(shuō)了，請(qǐng)外界不要夸大他們的研究成果，演示視頻并非模型的直接輸出，實(shí)際制作起來(lái)仍然很麻煩。

同時(shí)，也有聽障專家站出來(lái)表示，這些視頻的手語(yǔ)翻譯質(zhì)量參差不齊，有的讓人半懂不懂，有的完全理解不了，而且缺乏面部表情，項(xiàng)目有潛力，但還要改善。

最重要的是，要讓聽障用戶參與，發(fā)表他們的意見，共同完善產(chǎn)品，因?yàn)椤皼]有我們的參與，就沒有關(guān)于我們的決策”。

一個(gè)微妙的感受是，無(wú)障礙產(chǎn)品似乎很難做得“性感”。

它們往往沒法像大模型和AI硬件的發(fā)布一樣讓人心神激蕩，總是和你說(shuō)，功能有哪些，服務(wù)于誰(shuí)，希望以后可以做到更好，不會(huì)“貪多嚼不爛”。

并且在風(fēng)投的眼里，它們也是小眾的、潛力未知的、未必有投資回報(bào)的。

但“AI教母”李飛飛曾說(shuō)，AI是為了幫助人，AI越強(qiáng)大我們?cè)揭湟暼诵浴?/p>

所有人都應(yīng)該不怕錯(cuò)過(guò)航班，所有人都應(yīng)該可以和產(chǎn)品交互，所有人都應(yīng)該享受音樂節(jié)。

那些曾經(jīng)不被看到的、聽到的也該被技術(shù)的光芒照耀。打個(gè)共鳴的響指吧，讓更多人的需求被滿足，更多人的能力被增強(qiáng)，讓我們得到更多，失去更少。