當(dāng)前，人工智能技術(shù)已經(jīng)在人臉識(shí)別、語(yǔ)音處理、自然語(yǔ)言處理等領(lǐng)域取得了巨大突破，而如何將這些技術(shù)最快地應(yīng)用于哪些行業(yè)和業(yè)務(wù)場(chǎng)景以及朝著哪些方向重點(diǎn)發(fā)展，則是行業(yè)共同關(guān)心的問題。
10月12日，以“智啟非凡”為主題的2021中國(guó)人工智能大會(huì)（CCAI 2021）在成都正式開幕，作為我國(guó)人工智能領(lǐng)域的頂級(jí)盛會(huì)，本次大會(huì)設(shè)置了8場(chǎng)主題報(bào)告、1場(chǎng)院士尖峰對(duì)話、9大專題論壇以及6個(gè)同期活動(dòng)面，由23位中外院士領(lǐng)銜、近百位學(xué)術(shù)技術(shù)精英齊聚一堂，通過一系列主題報(bào)告和專題論壇深刻呈現(xiàn)人工智能學(xué)術(shù)前沿、技術(shù)動(dòng)態(tài)、產(chǎn)業(yè)趨勢(shì)，反映了產(chǎn)學(xué)研各界對(duì)產(chǎn)業(yè)數(shù)智化發(fā)展的前沿探索和前瞻思考，引領(lǐng)智能科技在進(jìn)步中與多領(lǐng)域融合發(fā)展，激發(fā)傳統(tǒng)行業(yè)變革活力。在本次CCAI2021中，騰訊優(yōu)圖實(shí)驗(yàn)室研究總監(jiān)汪鋮杰受邀出席了智能創(chuàng)意與視覺知識(shí)表達(dá)專題論壇并發(fā)表了以《視覺內(nèi)容編輯生成技術(shù)研究與應(yīng)用》為主題的演講，向與會(huì)者分享了優(yōu)圖實(shí)驗(yàn)室在視覺內(nèi)容編輯生成技術(shù)領(lǐng)域的研究成果與應(yīng)用實(shí)例，為學(xué)術(shù)研究和技術(shù)創(chuàng)新提供了方向創(chuàng)新。

優(yōu)圖實(shí)驗(yàn)室研究總監(jiān)汪鋮杰

01 以GAN和3D技術(shù)為主研方向 用AI生成更新更好的內(nèi)容

在智能手機(jī)的普及和人們時(shí)間碎片化的態(tài)勢(shì)下，以在線音樂、短視頻、直播、資訊等為代表的內(nèi)容逐漸成為用戶的主要消費(fèi)對(duì)象。隨著用戶精神消費(fèi)品質(zhì)的不斷升級(jí)和興趣面的不斷擴(kuò)展，用戶對(duì)于內(nèi)容的生產(chǎn)效率和品質(zhì)的要求也在不斷提高。而AI技術(shù)的發(fā)展和完善，能夠幫助內(nèi)容生產(chǎn)者在提高內(nèi)容生產(chǎn)效率的基礎(chǔ)上，豐富內(nèi)容生產(chǎn)的多種類并提供更加動(dòng)態(tài)且可交互的內(nèi)容，以滿足日益增長(zhǎng)的內(nèi)容需求。

在此背景下，AI生成內(nèi)容（AIGC）應(yīng)運(yùn)而生。優(yōu)圖實(shí)驗(yàn)室針對(duì)AIGC的主要研究目標(biāo)就是如何用AI技術(shù)生成更新、更好的內(nèi)容。優(yōu)圖實(shí)驗(yàn)室在AIGC方面擁有兩大核心技術(shù)：

1.通過研究生成式對(duì)抗網(wǎng)絡(luò)（GAN）和GAN內(nèi)部涉及的FCN結(jié)構(gòu)，通過深度圖像壓縮技術(shù)生成不同程度、不同分辨率的圖像，以保障圖像在高清影視制作場(chǎng)景下的清晰度；

2.通過在3D的重建、渲染、驅(qū)動(dòng)等環(huán)節(jié)中引入深度學(xué)習(xí)和自監(jiān)督圖形學(xué)習(xí)模式，通過自監(jiān)督學(xué)習(xí)來(lái)獲取大量數(shù)據(jù)，使3D效果的通用性和泛化性得到較為明顯的提升。

02 深度學(xué)習(xí)提升3D人像重建效果 技術(shù)應(yīng)用場(chǎng)景越來(lái)越廣闊

通過融入深度學(xué)習(xí)和自監(jiān)督學(xué)習(xí)機(jī)制，不需要再用復(fù)雜設(shè)備現(xiàn)場(chǎng)采集大量數(shù)據(jù)，而是通過輸入多張人像圖片就能夠相對(duì)輕松地完成對(duì)于人像面部的3D建模。

同時(shí)，在進(jìn)行特征融合時(shí)，優(yōu)圖實(shí)驗(yàn)室的3D重建技術(shù)可以接受任意一張圖片輸入，通過多人臉約束讓重建精度變得更高。

以這種方式生成的3D人像的ID豐富度會(huì)大幅度提升，因?yàn)樵谏傻倪^程中會(huì)將人像的幾何信息和紋理信息一并重建，實(shí)現(xiàn)人面部皺紋級(jí)的細(xì)節(jié)還原，最終讓人像能夠覆蓋各個(gè)年齡段和各種長(zhǎng)相特征。

目前這項(xiàng)3D重建技術(shù)已經(jīng)能夠廣泛應(yīng)用在超寫實(shí)類游戲角色的塑造和低成本3D數(shù)字人制作的領(lǐng)域之中。在實(shí)際應(yīng)用場(chǎng)景中，3D重建技術(shù)可以通過多視角信息融合功能，僅憑幾張照片就可以實(shí)現(xiàn)超寫實(shí)型的角色塑造。

在為游戲《天涯明月刀》進(jìn)行角色建模時(shí)，為了讓最終人像符合原作畫風(fēng)，優(yōu)圖實(shí)驗(yàn)室在3D重建的人像上基于用戶人臉的特征分布以及游戲里面特征分布的差異做細(xì)微調(diào)整，并基于定位以及細(xì)粒度屬性的識(shí)別結(jié)果，對(duì)角色進(jìn)行精細(xì)化修正，最終輸出人們?cè)谟螒蛑锌吹降蔫蜩蛉缟慕巧！?/span>

03 深入研究提升GAN訓(xùn)練模式優(yōu)化效果 讓經(jīng)典影視作品達(dá)到4K標(biāo)準(zhǔn)

近年來(lái),隨著文化產(chǎn)業(yè)政策的利好推動(dòng)和居民消費(fèi)水平的提高,我國(guó)影視行業(yè)發(fā)展較快，催生了海量影視作品圖像畫質(zhì)優(yōu)化的需求：除電影膠片修復(fù)外，很多存量經(jīng)典MV和影視作品也需要去刮痕、去噪，并轉(zhuǎn)換成符合現(xiàn)在用戶觀影需求的4K品質(zhì)。

為滿足影視行業(yè)中廣泛存在的AIGC需求，優(yōu)圖實(shí)驗(yàn)室在2020年就推出了ReaISR技術(shù)。通過構(gòu)建很多跟現(xiàn)實(shí)情況非常接近的低質(zhì)和高質(zhì)的圖像，再借助pixel-wise loss、discriminative loss生成GAN訓(xùn)練模式，以保障修復(fù)后的效果。

但是在這種情況下，畫面修復(fù)會(huì)出現(xiàn)矯枉過正的情況，出現(xiàn)很多高頻的artifacts。為解決此類問題，優(yōu)圖實(shí)驗(yàn)室以ReaISR技術(shù)為基礎(chǔ)，通過增加頻率密度約束來(lái)抑制高頻的artifacts，并根據(jù)圖像狀態(tài)設(shè)計(jì)畫質(zhì)評(píng)估模塊，從而實(shí)現(xiàn)模塊動(dòng)態(tài)的調(diào)整域值的權(quán)重，在保證圖像真實(shí)度的前提下大幅度提升圖像優(yōu)化效果。

在與上海電影學(xué)院和上海電影技術(shù)廠的合作中，優(yōu)圖實(shí)驗(yàn)室的ReaISR技術(shù)已經(jīng)幫助其將膠片電影修復(fù)至2K甚至是4K的標(biāo)準(zhǔn)。此外，優(yōu)圖實(shí)驗(yàn)室還與一些國(guó)外影視制作公司合作，為其提供畫質(zhì)轉(zhuǎn)換、去刮痕、去噪等服務(wù)。

除人工輔助外，騰訊云公有云圖像超分API和騰訊云媒體AI中臺(tái)畫質(zhì)優(yōu)化功能模塊中也集成了ReaISR技術(shù)，能夠幫助用戶用較低的成本實(shí)現(xiàn)數(shù)字內(nèi)容的高清化。

04 優(yōu)化技術(shù)框架讓AI實(shí)現(xiàn)“批量換臉“ 在文化傳播領(lǐng)域得到廣泛應(yīng)用

如今AI換臉對(duì)大眾來(lái)說已經(jīng)并不是一項(xiàng)新鮮的技術(shù)了，但是現(xiàn)有的人臉合成框架只能支持兩個(gè)ID間的更換，即只支持A至B間的換臉，如果想將A換成C或是D的臉，則需要重新構(gòu)建框架。

通過將Src圖像ID特征融合到合成框架中，優(yōu)圖實(shí)驗(yàn)室可以讓框架支持任意ID換臉，提升了AIGC的生產(chǎn)效率。同時(shí)，框架還引入Weak Feature Matching Loss高層語(yǔ)義特征匹配、3D人臉信息、圖像超分模塊等功能，在保障模板人臉中表情、光照的屬性特點(diǎn)都遷移到結(jié)果上的同時(shí)，大幅提升了最終生成人像的真實(shí)度和清晰度。

在文化運(yùn)營(yíng)、推廣活動(dòng)和影視內(nèi)容制作領(lǐng)域中， AI換臉技術(shù)的應(yīng)用場(chǎng)景十分廣泛。比如，可以將用戶的臉與游戲人物融合，以提升用戶和游戲的互動(dòng)性，或者在拍攝需要讓同一人物所飾演的不同角色同框出鏡的鏡頭時(shí)，使用 AI換臉技術(shù)將兩個(gè)角色都換成同一張臉來(lái)減少拍攝成本等。此外，在弘揚(yáng)當(dāng)?shù)厣贁?shù)民族文化時(shí)，也可以使用這項(xiàng)技術(shù)，以各式各樣的民族服飾作為背景，引導(dǎo)用戶上傳照片來(lái)生成自己民族服飾藝術(shù)照，提高當(dāng)?shù)厣贁?shù)民族文化的知名度，助力民族文化傳承。
而在其他領(lǐng)域中， AIGC技術(shù)也得到了廣泛應(yīng)用。比如騰訊會(huì)議中能夠保護(hù)用戶隱私的虛擬背景、虛擬光線等功能；通過3D重建技術(shù)實(shí)現(xiàn)手Q、微視和騰訊會(huì)議中的“人物圖像全年齡演化”功能；此外，優(yōu)圖實(shí)驗(yàn)室正在嘗試將這些技術(shù)應(yīng)用到虛擬美妝領(lǐng)域中，通過算法讓用戶能夠在照片上模擬化妝效果。
作為騰訊旗下頂級(jí)的人工智能實(shí)驗(yàn)室，優(yōu)圖實(shí)驗(yàn)室已擁有超過1000件全球 AI專利，300余篇論文被 AAAI、 ICCV等國(guó)際頂級(jí) AI會(huì)議收錄。未來(lái)，優(yōu)圖實(shí)驗(yàn)室將繼續(xù)專注人工智能技術(shù)發(fā)展。通過推進(jìn) AI基礎(chǔ)設(shè)施研發(fā)的形式為產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型提供助力，促進(jìn)數(shù)字經(jīng)濟(jì)加速發(fā)展。