智東西 6 月 13 日消息，今天，美國(guó) 3D 計(jì)算機(jī)視覺創(chuàng)企 Luma AI 發(fā)布了一個(gè)名為 Dream Machine 的 AI 模型。這一模型具備強(qiáng)大的文生視頻和圖生視頻功能，畫面極為逼真，人物表情豐富，2 分鐘內(nèi)就能完成 5 秒視頻生成。

Dream Machine 最讓人眼前一亮的特點(diǎn)是，它所生成的視頻中包含極為真實(shí)的攝像機(jī)運(yùn)動(dòng)軌跡、自然的光影變化以及較好的一致性。

下方視頻是 Luma AI 放出的官方 demo 之一，內(nèi)容是第一視角的廢墟探險(xiǎn)畫面。隨著探險(xiǎn)者進(jìn)入室內(nèi)，畫面的曝光程度出現(xiàn)了變化，探險(xiǎn)者的手電光線也有自然的晃動(dòng)，十分符合真實(shí)情況。攝像機(jī)的視角就好像廢墟探險(xiǎn)者常常佩戴使用的運(yùn)動(dòng)相機(jī)拍攝的一樣，讓人有身臨其境的體驗(yàn)。

此外，與 sora 等其它大多數(shù)視頻生成模型不同，Dream Machine 目前可在 Luma AI 官網(wǎng)直接免費(fèi)使用，免費(fèi)用戶有每月 30 次的生成額度，這已經(jīng)可以完美滿足大部分人的非商用需求了。

不過(guò)剛剛發(fā)布時(shí)，有大量用戶涌入 Luma 官網(wǎng)，爭(zhēng)相體驗(yàn) Dream Machine 的視頻生成效果。這導(dǎo)致 Luma 官網(wǎng)服務(wù)器一度宕機(jī)，幾乎無(wú)法正常生成視頻，直到目前才有所緩解。

參與 Dream Machine 早期 beta 測(cè)試的人員稱贊該系統(tǒng)能夠忠實(shí)地渲染指定的對(duì)象、角色、動(dòng)作和環(huán)境，同時(shí)保持流暢的運(yùn)動(dòng)和連貫的敘事。

▲官網(wǎng)公告：生成需要 120 秒。然而由于需求激增，您的請(qǐng)求可能需要排隊(duì)。

Luma AI 成立于 2021 年，總部位于舊金山。Luma 此前是一家專注于 3D 內(nèi)容生成的計(jì)算機(jī)視覺初創(chuàng)公司，已經(jīng)完成兩輪融資，曾獲英偉達(dá)和硅谷頂級(jí)風(fēng)投公司 Andreessen Horowitz（簡(jiǎn)稱 a16z）投資，投后估值約 2-3 億美元。Luma AI 之前的明星產(chǎn)品之一是文本轉(zhuǎn) 3D 模型 Genie 1.0，它能在 10 秒內(nèi)根據(jù)文本內(nèi)容完成多種格式的 3D 建模。

▲ Genie 1.0 宣傳片

一、Dream Machine 生成效果實(shí)測(cè)，速度極快質(zhì)量不穩(wěn)定

Dream Machine 一經(jīng)發(fā)布就瞬間爆火，大排長(zhǎng)龍，生成一次視頻大約要排隊(duì) 15 分鐘。不過(guò)在熱度稍減后，智東西終于有機(jī)會(huì)對(duì) Dream Machine 展開大量測(cè)試，獲取第一手的體驗(yàn)報(bào)告。

Dream Machine 的使用體驗(yàn)極為便捷，在簡(jiǎn)單的注冊(cè)流程后，用戶便可以直接進(jìn)入視頻生成界面。Dream Machine 允許兩種類型的提示詞：圖片 + 文字以及純文字提示詞。若勾選輸入框右下角的 “Enhance prompt” 選項(xiàng)，還能自動(dòng)優(yōu)化用戶輸入的提示詞并實(shí)現(xiàn)更好的生成效果。

官網(wǎng)的輸入框下方提供了許多示例提示詞，于是智東西首先使用了這些提示詞進(jìn)行測(cè)試，我們使用的其中一條提示詞是 “Low-angle shot of a majestic tiger prowling through a snowy landscape, leaving paw prints on the white blanket （低角度拍攝一只威嚴(yán)的老虎在雪地中潛行，留下爪印在白色的雪毯上）”。

Dream Machine 的視頻生成速度確實(shí)沒(méi)有夸大，除去排隊(duì)的時(shí)間，這段 5 秒鐘的視頻在不到 2 分鐘的時(shí)間里就完成了，但效果卻不盡如人意。

在 Dream Machine 生成的視頻中，提示詞里關(guān)于拍攝角度的指令完全被忽略了，視頻采用的是鳥瞰而非低角度拍攝。同時(shí)，老虎在雪地上的腳印也幾乎不可見。此外，老虎的跑動(dòng)方式和尾巴的甩動(dòng)都不太符合物理規(guī)律。老虎身上的花紋隨著鏡頭拉遠(yuǎn)不斷變化，一致性也比較一般。Dream Machine 這是要翻車的節(jié)奏？

為進(jìn)一步確認(rèn) Dream Machine 的實(shí)際生成效果，智東西使用 Luma AI 官方賬號(hào)轉(zhuǎn)發(fā)的一位專業(yè)創(chuàng)作者的提示詞進(jìn)行二次測(cè)試。這則提示詞是圖片 + 文字的形式，文字內(nèi)容是 “Girl gazes with wonder（女孩帶著驚奇的目光凝視）”，而輸入的圖片則是荷蘭畫家約翰內(nèi)斯 · 維米爾的名畫《戴珍珠耳環(huán)的少女》。我們還特別生成了兩個(gè)版本，一個(gè)勾選了 “Enhance prompt”，另一個(gè)沒(méi)有勾選。

▲未勾選 Enhance prompt 功能

▲勾選 Enhance prompt 功能

本次生成的速度依舊很快。生成結(jié)果表明，是否勾選 Enhance prompt 功能對(duì) Dream Machine 的生成效果有很大的影響。在未勾選這一功能的第一個(gè)生成結(jié)果中，人物幾乎沒(méi)有任何變化，視頻僅僅是將鏡頭拉近了。而在勾選了這一功能的第二個(gè)生成結(jié)果中，畫中的人物才真正動(dòng)起來(lái)了。隨著視頻里人物的移動(dòng)，她面部和頭巾上的光線和陰影都有比較自然的變化。而服飾上的紋路在人物移動(dòng)的過(guò)程中基本保持了一致。

然而這一生成結(jié)果也并非毫無(wú)破綻。視頻中人物的面部在前幾幀過(guò)后便出現(xiàn)了變化，五官和妝容都與畫中人物有所差異。雖然模型知道人物應(yīng)該佩戴對(duì)稱的一副耳環(huán)，但由模型生成的那一側(cè)耳環(huán)看上去并不像是珍珠耳環(huán)，沒(méi)有原畫中珍珠的光澤和質(zhì)感，形狀和顏色也略有區(qū)別。

▲ Luma AI 官方轉(zhuǎn)發(fā)的視頻

與 Luma AI 官方轉(zhuǎn)發(fā)的視頻相比，盡管智東西使用了相同的提示詞，但我們測(cè)試中生成的這一條視頻中人物的表情和神態(tài)并不像官方視頻中那般豐富。不過(guò)總體來(lái)看，這兩個(gè)視頻生成的效果都是比較好的，基本還原了原畫中人物的著裝，光影和移動(dòng)也比較自然流暢，僅僅在一致性上有一些小問(wèn)題。

作為目前視頻生成模型中的頂流，Sora 在 Dream Machine 發(fā)布后便迅速被各路網(wǎng)友拉來(lái)和 Dream Machine 比較。智東西使用了一則 OpenAI 官方放出的 Sora Demo 中的提示詞，對(duì)兩個(gè)模型的表現(xiàn)進(jìn)行了相對(duì)嚴(yán)格的平行對(duì)比。

▲本次生成中使用的提示詞

▲ Dream Machine 生成結(jié)果

▲ Sora 官方 demo

對(duì)比之下，Dream Machine 生成的效果和 Sora 還存在一定差距。畫面中的主要人物表情神態(tài)都不太自然，”AI 味兒 ” 比較重。人物的右手形態(tài)畸形，而左腿在行走的過(guò)程中還出現(xiàn)了類似 ” 穿模 ” 的問(wèn)題。而模型生成畫面背景中的人物時(shí)也出現(xiàn)了幻覺，背景中的有一位騎著自行車的男士在移動(dòng)過(guò)程中變?yōu)榱藥孜徊⑴判凶叩娜?。Dream Machine 唯一比較可圈可點(diǎn)是在人物走過(guò)路面積水時(shí)，生成了比較真實(shí)的倒影和漣漪，且生成的視頻速度比較符合真實(shí)情況。

不過(guò)，拿 OpenAI 發(fā)布的官方 demo 和 Dream Machine 的用戶實(shí)測(cè)效果比較確實(shí)不太公平。AI 公司們一直有美化 demo 效果的 ” 傳統(tǒng) “，模型的實(shí)際生成效果和 demo 總是存在一定差距的。作為免費(fèi)模型，Dream Machine 用戶實(shí)測(cè)時(shí)大量的生成需求可能會(huì)對(duì)原本就不富余的算力帶來(lái)沖擊，影響實(shí)際生成效果。此外，超長(zhǎng)的提示詞可能也會(huì)給模型帶來(lái)一定壓力。智東西用 ChatGPT 總結(jié)了這一 demo 的提示詞，再給 Dream Machine 一次機(jī)會(huì)。

▲精簡(jiǎn)后的提示詞

▲勾選 Enhance prompt 的生成結(jié)果

▲未勾選 Enhance prompt 的生成結(jié)果

在精簡(jiǎn)提示詞后，Dream Machine 的生成效果確實(shí)得到了一定改進(jìn)。勾選 Enhance prompt 的生成結(jié)果中，人物面部的光線隨著路邊霓虹燈的變化而變化，而她的神態(tài)也基本符合提示詞中的描述，視頻運(yùn)鏡頗有賽博朋克風(fēng)的大片的感覺。美中不足的是背景中的人物仍然存在一些形變，霓虹燈牌上的文字也在人物經(jīng)過(guò)時(shí)產(chǎn)生了一些變化。未勾選 Enhance prompt 的生成結(jié)果在真實(shí)性上竟然有一定程度的提高，但在鏡頭晃動(dòng)時(shí)面部的一致性受到輕微的影響。

綜合以上測(cè)試結(jié)果，Dream Machine 作為一款免費(fèi)的視頻生成工具還是可圈可點(diǎn)的。它在生成速度上無(wú)可挑剔，支持多模態(tài)輸入，還能自動(dòng)優(yōu)化輸入的提示詞。在多次測(cè)試后我們發(fā)現(xiàn)，使用 Dream Machine 生成視頻時(shí)，使用圖像 + 文字的提示詞往往比使用純文字提示詞的效果更好，在生成結(jié)果的真實(shí)性和對(duì)提示詞的遵循程度上都會(huì)有明顯的提升。

但在處理較長(zhǎng)的提示詞時(shí)，這臺(tái) ” 造夢(mèng)機(jī) ” 也會(huì)面臨卡殼的情況。我們?cè)跍y(cè)試時(shí)，長(zhǎng)提示詞的等待時(shí)間要顯著長(zhǎng)于普通長(zhǎng)度的提示詞，最終的生成效果也會(huì)打折扣。若 Dream Machine 不受公測(cè)期間可能的算力短缺問(wèn)題，或許它真的能實(shí)現(xiàn)與 Luma AI 官方 demo 中類似的效果。

二、各路網(wǎng)友大顯神通，Dream Machine 獲高度評(píng)價(jià)

有不少網(wǎng)友和專業(yè)創(chuàng)作者也上手測(cè)試了 Dream Machine，并將它們與其它視頻生成模型進(jìn)行比較。

下方這位網(wǎng)友將 Dream Machine 與 Runway 和 pika 這兩個(gè)視頻生成模型進(jìn)行對(duì)比。這位網(wǎng)友認(rèn)為，Luma AI 的 Dream Machine 在大多數(shù)鏡頭中完勝。

下圖中的網(wǎng)友則認(rèn)為 Dream Machine 在運(yùn)動(dòng)和一致性上表現(xiàn)很好，并且讓普通消費(fèi)者也能體驗(yàn)到 Sora 般的質(zhì)量。這位網(wǎng)友拼接了多個(gè) Dream Machine 生成的視頻并配上音樂(lè)，最終做出了一條 3 分多鐘的 AI 生成 MV。

在專業(yè)創(chuàng)作者的調(diào)教下，Dream Machine 確實(shí)發(fā)揮出了更好的水平。這一視頻中的畫面夢(mèng)幻而又怪誕，與音樂(lè)的風(fēng)格十分契合。

不少網(wǎng)友大開腦洞，找到了 Luma AI 官方也沒(méi)想到的使用場(chǎng)景。有位網(wǎng)友將表情包輸入 Dream Machine 然后生成視頻。這一創(chuàng)意也獲得 Luma AI 官方轉(zhuǎn)發(fā)，稱 Dream Machine 搖身一變成為名副其實(shí)的 Meme Machine（表情包制造機(jī)）。

還有一位網(wǎng)友將自己一家人 30 年前在沖繩旅行時(shí)的照片發(fā)給 Dream Machine，而生成的視頻讓這張 30 年前的照片也有了如今動(dòng)態(tài)照片般的效果。

Dream Machine 還能生成多種風(fēng)格的視頻。有一位網(wǎng)友將自己孩子最喜歡的毛絨玩具變成了動(dòng)畫，還有一位專業(yè)創(chuàng)作者利用 Dream Machine 創(chuàng)作了一條一分鐘的動(dòng)畫短片。

在上方的視頻中，Dream Machine 的一致性再次得到了驗(yàn)證，視頻里的卡通人物主角在不同的場(chǎng)景下外貌都基本一致。此外，視頻中人物表情生動(dòng)，富有感染力，畫面中的其它元素相對(duì)穩(wěn)定，各種動(dòng)作和人物與場(chǎng)景的互動(dòng)也基本符合物理規(guī)律。

來(lái)自美國(guó)科技媒體 Tom ’ s Guide 的記者 Dave LeClair 在觀看了下方這則 demo 后稱，Luma AI 發(fā)布的視頻示例中的攝像機(jī)運(yùn)動(dòng)看起來(lái)非常逼真。如果不告訴他這些視頻是 Dream Machine 制作的，他會(huì)毫不猶豫地相信視頻是用高端攝像機(jī)在軌道上拍攝的。

不過(guò)美國(guó)媒體 VentureBeat 也指出，作為免費(fèi)的視頻生成工具，Dream Machine 將不可避免地面臨濫用的風(fēng)險(xiǎn)。Luma AI 在其網(wǎng)站上向所有人免費(fèi)提供 Dream Machine 的使用權(quán)，并計(jì)劃發(fā)布 API 接口和主流創(chuàng)作軟件的插件。這種開放的方式確實(shí)可以讓 Luma AI 搶占先機(jī)，建立充滿活力的創(chuàng)造者和開發(fā)者社區(qū)，但相關(guān)的治理框架或許無(wú)法趕上科技發(fā)展的速度。在創(chuàng)新和責(zé)任之間找到適當(dāng)?shù)钠胶鈱⒊蔀檎麄€(gè)行業(yè)和社會(huì)面臨的重要挑戰(zhàn)。

三、Luma AI 曾獲 a16z 和英偉達(dá)投資，創(chuàng)始人和高管中都有華人

Luma AI 在發(fā)布 Dream Machine 之前并不是一家知名的 AI 企業(yè)。它成立于 2021 年，總部位于加利福尼亞州舊金山。Luma 先前專注于開發(fā) AI 技術(shù)，以 3D 格式捕捉和體驗(yàn)現(xiàn)實(shí)世界。

在 Dream Machine 之前，Luma 的主打產(chǎn)品是 Luma AI 移動(dòng)應(yīng)用程序，它允許用戶使用手機(jī)相機(jī)捕捉物體和場(chǎng)景的空間 3D 模型。該應(yīng)用程序使用神經(jīng)渲染技術(shù)，如神經(jīng)輻射場(chǎng)（NeRF），生成具有照片級(jí)質(zhì)量的高細(xì)節(jié) 3D 模型。

3D 捕捉可以作為 3D 視頻分享，導(dǎo)出為 3D 對(duì)象，或嵌入到網(wǎng)站和應(yīng)用程序中。Luma AI 服務(wù)于需要高級(jí) 3D 和視覺技術(shù)的行業(yè)，如電子商務(wù)、虛擬現(xiàn)實(shí)和游戲。

Luma AI 是一個(gè)小團(tuán)隊(duì)，官網(wǎng)上的信息顯示目前在 Luma AI 任職的員工僅有不到 40 人。根據(jù)媒體 Z Potentials 的獨(dú)家專訪內(nèi)容，Luma 的創(chuàng)始人兼首席執(zhí)行官 Amit Jain 經(jīng)驗(yàn)豐富，曾在蘋果公司參與 Vision Pro 的開發(fā)工作，在 3D 計(jì)算機(jī)視覺、相機(jī)硬件、機(jī)器學(xué)習(xí)、系統(tǒng)工程和深度技術(shù)產(chǎn)品方面積累了豐富的經(jīng)驗(yàn)。

就如許多其它 AI 公司一樣，Luma AI 的團(tuán)隊(duì)里也有許多華人。Luma 的另一位創(chuàng)始人兼 CTO 余思賢大學(xué)就讀于加州大學(xué)伯克利分校，跟隨一位來(lái)自日本的 Angjoo Kanazawa 教授做早期 NeRF 神經(jīng)渲染研究，同時(shí)也在 Google 和 Adobe 實(shí)習(xí)過(guò)，2021 年畢業(yè)之后，他遇到了 Luma AI 的另一位創(chuàng)始人 Amit Jain 并決定一同創(chuàng)業(yè)，因此拒絕了斯坦福大學(xué)、麻省理工學(xué)院等大學(xué)的博士 Offer。

Luma AI 的首席科學(xué)家宋佳銘畢業(yè)于清華大學(xué)，大二時(shí)便開始研究機(jī)器學(xué)習(xí)。他后來(lái)前往斯坦福大學(xué)深造，畢業(yè)后還拒絕了清華姚班的教職 Offer，加入英偉達(dá)。他的研究成果之一 DDIM ( denoising Diffusion implicit models ) 算法顯著提升了擴(kuò)散模型的生成速度，這一算法在 Stable Diffusion 和 DALL · E 2 中都得到了應(yīng)用。

到目前為止，Luma AI 已經(jīng)籌集了總計(jì) 6730 萬(wàn)美元的風(fēng)險(xiǎn)投資，其中包括他們?cè)?2024 年初的 4300 萬(wàn)美元 B 輪融資。主要投資者包括英偉達(dá)、Andreessen Horowitz（簡(jiǎn)稱 a16z）和 Amplify Partners。Luma AI B 輪投后估值約為 2-3 億美元。

結(jié)語(yǔ)：視頻生成模型賽道再現(xiàn)黑馬，2024 會(huì)是文生視頻爆發(fā)的一年嗎？

近一年來(lái)，AI 視頻生成領(lǐng)域的熱度持續(xù)攀升，多家 AI 公司推出了新的視頻生成模型，引發(fā)了行業(yè)內(nèi)的激烈競(jìng)爭(zhēng)。

較早進(jìn)入文生視頻領(lǐng)域的 Runway 目前已經(jīng)推出了兩代視頻生成模型，還雄心勃勃地勾勒出了 ” 通用世界模型（General World Model）” 的宏大愿景。而華人團(tuán)隊(duì)背景的 Pika 已經(jīng)進(jìn)行了三輪融資，籌款 5500 萬(wàn)美元。OpenAI 更是用 Sora 這一劃時(shí)代的產(chǎn)品，徹底引爆了這條賽道。

Luma AI 從 3D 建模轉(zhuǎn)到視頻生成賽道背后，除了文生視頻領(lǐng)域本身的熱度外，也和他們之前的背景有關(guān)。要生成逼真自然的視頻畫面，對(duì) 3D 物體和空間的理解是必不可少的，而 Luma 在這方面已經(jīng)有一定的積累，并獲得了投資人的認(rèn)可?；蛟S Luma AI 的 Dream Machine 能給這一賽道帶來(lái)新的驚喜。