游戲引擎引入生成式AI技術(shù)：提供更大工具價(jià)值，參與變革游戲開(kāi)發(fā)與設(shè)計(jì) | 「游戲技術(shù)與游戲進(jìn)化」集

AI應(yīng)用信息2年前 (2023)發(fā)布

以ChatGPT為代表的生成式AI全球爆火，引發(fā)了科技生產(chǎn)力上的巨大沖擊?，F(xiàn)階段生成式AI技術(shù)的發(fā)展，對(duì)創(chuàng)作領(lǐng)域的影響逐漸提升。

無(wú)論現(xiàn)階段是否采用、多大程度采用生成式AI技術(shù)，游戲開(kāi)發(fā)者、游戲廠(chǎng)商已難以回避生成式AI是否、以及多久可能從根本上游戲開(kāi)發(fā)的問(wèn)題。

這不會(huì)一夜之間發(fā)生，但已經(jīng)促使很多人思考結(jié)合AI后的游戲開(kāi)發(fā)與游戲設(shè)計(jì)。

作為具有較強(qiáng)創(chuàng)作工具屬性的游戲引擎，背后的技術(shù)人員與相關(guān)公司，已開(kāi)始探索通過(guò)結(jié)合AI，提升工具易用性、簡(jiǎn)化創(chuàng)作過(guò)程。

在現(xiàn)階段，較為務(wù)實(shí)的落地方向包括幫助開(kāi)發(fā)者優(yōu)化創(chuàng)作流程，批量生產(chǎn)、處理、放置資產(chǎn)；同時(shí)也能降低開(kāi)發(fā)門(mén)檻，使開(kāi)發(fā)者更專(zhuān)注于創(chuàng)意本身。一些游戲公司也開(kāi)始儲(chǔ)備相關(guān)人才，尋求有豐富AI經(jīng)驗(yàn)的人才，調(diào)整、優(yōu)化自身引擎和系統(tǒng)，順應(yīng)了新一輪AI能力引入游戲引擎的趨勢(shì)。

與生成式AI技術(shù)結(jié)合，強(qiáng)化游戲引擎創(chuàng)作工具能力

日前GDC 2023上，Unity就專(zhuān)門(mén)推出生成式AI工具，進(jìn)一步擁抱AIGC。Unity發(fā)布“Unity AI”視頻，暗示將在Unity引擎中推出生成式AI工具，幫助開(kāi)發(fā)者更快更好地制作游戲。CEO John Riccitiello表示，Unity將在未來(lái)開(kāi)放一片AIGC專(zhuān)用的市場(chǎng)，供開(kāi)發(fā)者交易AIGC的相關(guān)工具。他還提到，生成型AI將會(huì)是Unity近期發(fā)展的重點(diǎn)。

育碧發(fā)布Ghostwriter這一AI游戲?qū)懯止ぞ吆?，也進(jìn)一步將其融合進(jìn)“Omen”敘事引擎。它可以與游戲敘事文案配合，幫文案把工作中最繁重的任務(wù)簡(jiǎn)單化，同樣可以讓游戲世界里的人物對(duì)話(huà)更豐富。育碧還在為即將推出的《XDefiant》游戲招募AI工程師，這一職位將“根據(jù)XDefiant特定的改進(jìn)和系統(tǒng)拓展Snowdrop引擎的功能”。

隨著AI對(duì)引擎工具能力的提升，不僅加強(qiáng)AIGC，也有望成為UGC的更強(qiáng)助力。Roblox近日就表示將抓住生成式AI的機(jī)遇，將AI工具與平臺(tái)創(chuàng)作整合，并宣布推出第一批AI工具Code Assist（代碼輔助）和Material Generator（材質(zhì)生成器），朝著讓“Roblox的每個(gè)用戶(hù)都成為創(chuàng)造者”的目標(biāo)邁出了一大步。

為此，Roblox也在招聘高級(jí)導(dǎo)航軟件工程師，要求應(yīng)聘者精通游戲引擎并擁有5年以上的AI經(jīng)驗(yàn)。這一職位將“開(kāi)發(fā)必須在所有平臺(tái)上運(yùn)行并將覆蓋數(shù)百萬(wàn)玩家的游戲 AI 系統(tǒng)”，職位描述中還提到“您將成為我們團(tuán)隊(duì)的早期成員，參與我們?yōu)?a class="external" href="http://www.xmqqs.cn/tag/%e5%85%83%e5%ae%87%e5%ae%99" title="查看與元宇宙相關(guān)的文章" target="_blank">元宇宙帶來(lái)生機(jī)的使命?！?/section>

此外，游戲引擎與AI結(jié)合，也能與其他受AI影響的游戲工業(yè)化流程更好匹配。如虛幻引擎目前更多在整個(gè)游戲制作的工業(yè)化管線(xiàn)中滲透AI能力。此前UE4就開(kāi)發(fā)了專(zhuān)門(mén)的AI系統(tǒng)，以便在項(xiàng)目中創(chuàng)建高可信度的 AI 實(shí)體。Epic Games近期又發(fā)布了MetaHuman Animator，用來(lái)簡(jiǎn)化同一組語(yǔ)音線(xiàn)和面部動(dòng)畫(huà)應(yīng)用到不同角色模型的工作量。

除了引擎官方推出AI工具，第三方開(kāi)發(fā)者為引擎開(kāi)發(fā)插件也是集成AI能力的一種方式。近期隨著各類(lèi)AI模型、工具的推出和迭代，游戲引擎的AI插件開(kāi)發(fā)生態(tài)也更加繁榮，在創(chuàng)建虛擬角色和3D資產(chǎn)方向上出現(xiàn)較多參與者。

例如有波蘭團(tuán)隊(duì)為虛幻引擎5開(kāi)發(fā)了PERSONA 3.0插件，用于創(chuàng)建超寫(xiě)實(shí)風(fēng)格的虛擬角色。通過(guò)機(jī)器學(xué)習(xí)算法和攝影測(cè)量法，可以把從概念草圖到角色模型的創(chuàng)建流程縮短至幾分鐘。

近日，Luma AI也發(fā)布了為虛幻引擎提供的插件，將實(shí)時(shí)NeRF（神經(jīng)輻射場(chǎng)）技術(shù)引入虛幻引擎。通過(guò)Luma Unreal Engine alpha插件，開(kāi)發(fā)者可以更便捷地創(chuàng)建真實(shí)對(duì)象的數(shù)字孿生，用于游戲和虛擬生產(chǎn)。

游戲引擎結(jié)合AI，已滲透游戲制作的多個(gè)環(huán)節(jié)

1.美術(shù)、3D資產(chǎn)及場(chǎng)景生成

現(xiàn)階段AI生成2D圖像的技術(shù)已經(jīng)較為成熟，主流產(chǎn)品如Stable Diffusion、DALLE-2等多以擴(kuò)散模型（Diffusion Model）為技術(shù)路線(xiàn)。游戲引擎也有推出相關(guān)功能，如Unity的Unity ArtEngine，也可以通過(guò)API方式鏈接到外部的AI圖片生成工具，在游戲制作中的角色立繪制作、材質(zhì)和貼圖生成等環(huán)節(jié)發(fā)揮作用。

3D資產(chǎn)生成則是近來(lái)生成式AI的熱門(mén)方向，許多技術(shù)大廠(chǎng)和創(chuàng)業(yè)公司都在積極投入這一方向的技術(shù)研發(fā)，已有一些產(chǎn)品面世。

如英偉達(dá)推出的Magic3D，采用文本到圖像擴(kuò)散技術(shù)，分為兩個(gè)階段，由粗到細(xì)地渲染生成3D模型；OpenAI的3D生成算法Point E包含兩個(gè)擴(kuò)散模型，分別是文生圖和圖像到3D的擴(kuò)散模型，能實(shí)現(xiàn)文本到3D點(diǎn)云的快速生成，只需單個(gè)GPU用1~2分鐘即可完成。

3D資產(chǎn)生成這一方向仍處在探索階段，各方的技術(shù)路線(xiàn)不盡相同，既有采用擴(kuò)散模型、神經(jīng)輻射場(chǎng)（NERF）技術(shù)的，也有不少基于生成對(duì)抗網(wǎng)絡(luò)的研究出現(xiàn)。

游戲中一大重要的視覺(jué)要素就是3D場(chǎng)景。如近年來(lái)開(kāi)放世界成為開(kāi)發(fā)商競(jìng)關(guān)注的品類(lèi)，這類(lèi)游戲?qū)?chǎng)景資源的需求量極大，無(wú)法單純依靠人工進(jìn)行地編。游戲引擎也引入了AI驅(qū)動(dòng)的場(chǎng)景生成技術(shù)，例如Unity的Unity World Generation，通過(guò)機(jī)器學(xué)習(xí)技術(shù)幫助開(kāi)發(fā)者根據(jù)場(chǎng)景的地形、地貌特征，自動(dòng)生成并放置植被等資產(chǎn)。

2.動(dòng)畫(huà)

游戲中的角色動(dòng)畫(huà)制作流程通常先在Maya等建模軟件中制作模型、綁定骨骼，然后將模型導(dǎo)入游戲引擎中制作動(dòng)畫(huà)。游戲引擎正在引入AI能力，用以?xún)?yōu)化綁定、動(dòng)作制作等流程。

例如Unity的Deep Pose功能可以通過(guò)控制某個(gè)關(guān)節(jié)，自動(dòng)模擬出在該動(dòng)作下其他關(guān)節(jié)的正確反應(yīng)；Kinematica讓開(kāi)發(fā)者無(wú)需通過(guò)Blend Tree或狀態(tài)機(jī)來(lái)安排角色在兩個(gè)動(dòng)作之間的切換，只需要給定一個(gè)骨骼姿勢(shì)及所需的軌跡運(yùn)動(dòng)，就能自動(dòng)生成相應(yīng)動(dòng)作。

虛幻引擎5也推出了機(jī)器學(xué)習(xí)變形器（ML Deformer）功能，基于Epic Games開(kāi)發(fā)團(tuán)隊(duì)構(gòu)建的框架，可以呈現(xiàn)出比傳統(tǒng)線(xiàn)性蒙皮方法更好的角色變形效果，為復(fù)雜的綁定創(chuàng)建高保真模型，同時(shí)顯著減少GPU的內(nèi)存占用。

3.對(duì)話(huà)、語(yǔ)音

游戲引擎在A(yíng)I生成對(duì)話(huà)方面的進(jìn)展也得益于預(yù)訓(xùn)練大語(yǔ)言模型的技術(shù)迭代。

育碧近期公布的AI寫(xiě)作工具Ghostwriter，用于生成與主線(xiàn)關(guān)聯(lián)不大的NPC臺(tái)詞。Ghostwriter被融合進(jìn)育碧的“Omen”敘事引擎中，開(kāi)發(fā)者輸入NPC的一段基礎(chǔ)臺(tái)詞或發(fā)言動(dòng)機(jī)，就可以自動(dòng)生成若干個(gè)版本的可用臺(tái)詞。育碧在技術(shù)博客中提到，Ghostwriter加入了帶有人類(lèi)反饋的強(qiáng)化學(xué)習(xí)技術(shù)，在人類(lèi)做出數(shù)千次對(duì)合適臺(tái)詞的選擇行為后，它將變得越來(lái)越有效和準(zhǔn)確。

國(guó)內(nèi)市場(chǎng)，Cocos則通過(guò)與百度文心一言合作，全面體驗(yàn)并接入文心一言相關(guān)能力，把百度的智能對(duì)話(huà)技術(shù)成果應(yīng)用在3D實(shí)時(shí)創(chuàng)作領(lǐng)域。

游戲角色的臺(tái)詞除了文字以外，還常常配有語(yǔ)音。除了采用人工配音的方案，近年來(lái)AI語(yǔ)音生成技術(shù)逐漸成熟。AI語(yǔ)音領(lǐng)域涉及語(yǔ)音識(shí)別（ASR）、自然語(yǔ)言處理（NLP）、語(yǔ)言生成（NLG）和語(yǔ)音合成（TTS）等多項(xiàng)技術(shù)。越來(lái)越多技術(shù)公司和個(gè)人開(kāi)發(fā)者，正在為游戲引擎開(kāi)放SDK和插件，例如百度的語(yǔ)音識(shí)別SDK、IBM的IBM Watson Unity SDK等等。

近期的一個(gè)熱門(mén)技術(shù)方向是語(yǔ)音驅(qū)動(dòng)嘴型與面部動(dòng)畫(huà)生成，在此方向上布局的包括英偉達(dá)、網(wǎng)易、聲網(wǎng)等多家公司，并涉及神經(jīng)輻射場(chǎng)、生成對(duì)抗網(wǎng)絡(luò)、擴(kuò)散模型等多個(gè)技術(shù)路線(xiàn)。

4.AI NPC

NPC是大部分游戲都不可缺少的要素，創(chuàng)建AI驅(qū)動(dòng)的NPC也是游戲引擎普遍較早引入的功能。在游戲中創(chuàng)建一個(gè)高可信度的AI NPC，涉及到AI行為樹(shù)、環(huán)境查詢(xún)、AI感知等多個(gè)環(huán)節(jié)。

如在虛幻引擎4中，對(duì)AI NPC的控制是通過(guò)行為樹(shù)（UBehaviorTree）實(shí)現(xiàn)的，行為樹(shù)中的各節(jié)點(diǎn)不斷做出檢測(cè)、判斷，從而驅(qū)動(dòng)AI NPC做出各種設(shè)定好的行為。場(chǎng)景查詢(xún)系統(tǒng)（EQS）讓AI能夠從周?chē)h(huán)境中收集數(shù)據(jù)，并用到行為樹(shù)的操作決策中，例如尋找附近的彈藥等。此外，虛幻引擎4的AI架構(gòu)中還包括AI感知系統(tǒng)（AI Perception System），通過(guò)AI感知組件來(lái)獲取環(huán)境中的刺激源，如噪音、AI受到傷害或AI看到了什么。

游戲引擎+ChatGPT，探索游戲制作方式的變革

在A(yíng)I領(lǐng)域，現(xiàn)階段最受關(guān)注的無(wú)疑是ChatGPT。盡管爆發(fā)時(shí)間點(diǎn)距今不久，各大游戲公司以及一些獨(dú)立開(kāi)發(fā)者已嘗試將其與游戲引擎結(jié)合。作為一種底層工具的游戲引擎在引入ChatGPT相關(guān)能力后，正在探索變革內(nèi)容創(chuàng)作的形態(tài)、方式，這也有望為玩家?guī)?lái)不同以往的游戲體驗(yàn)。

今年年初，Unity工程師Keijiro Takahashi分享了他的ChatGPT插件的視頻。用戶(hù)可以在引擎的編輯器中鍵入自然語(yǔ)言提示，以生成對(duì)象、移動(dòng)對(duì)象、創(chuàng)建點(diǎn)光源、增加其范圍或強(qiáng)度，并運(yùn)行生成的場(chǎng)景。

不過(guò)，目前它還不能被認(rèn)為是一個(gè)100%實(shí)用的解決方案，Keijiro Takahashi也承認(rèn)還有許多指令不能被這個(gè)AI插件正確理解并執(zhí)行，所以游戲開(kāi)發(fā)者和設(shè)計(jì)師目前還無(wú)法期望它完成所有的工作或一些復(fù)雜的任務(wù)。

AI技術(shù)開(kāi)發(fā)公司TREE Industries也發(fā)布了一款一體化編輯器實(shí)用程序UnrealGPT，將GPT-4的功能引入虛幻引擎5，用于控制燈光布局。根據(jù)演示視頻，AI扮演了NLP、意圖解析器、數(shù)據(jù)生成器和實(shí)體提取器的角色，可以實(shí)現(xiàn)生成和放置光源、移動(dòng)光源、改變光源顏色等任務(wù)。

AI能力的引入為游戲制作的方式帶來(lái)了新的可能，在此基礎(chǔ)上也有望為玩家?guī)?lái)不同的游戲體驗(yàn)。

近期個(gè)人開(kāi)發(fā)者Hackmans正在開(kāi)發(fā)中的Tales of Syn受到廣泛關(guān)注，這是一款《輻射》風(fēng)格的AI RPG，開(kāi)發(fā)者使用了Stable Diffusion、ChatGPT、Dreambooth等AI工具，并結(jié)合Zbrush、Unity等常規(guī)游戲開(kāi)發(fā)工具，用AI創(chuàng)建了地圖、角色形象、建模、對(duì)話(huà)和語(yǔ)音。

Hackmans還使用ChatGPT編寫(xiě)Unity腳本，用于角色導(dǎo)航。在演示視頻中，AI NPC“商店老板”能根據(jù)玩家在對(duì)話(huà)窗口中輸入的問(wèn)題，做出相應(yīng)回復(fù)，比如“我不做炸彈，那太危險(xiǎn)了，我不想讓任何人置身危險(xiǎn)之中”。