圖片｜freeflo.ai

?自象限原創(chuàng)

作者丨羅輯、蘇奕

編輯丨程心

2024年開年，科技圈沒有什么比Sora的出現(xiàn)更讓人興奮。

如同ChatGPT在2023年初帶來的LLM創(chuàng)業(yè)潮，Sora的發(fā)布也同樣將視頻生成模型推到了風(fēng)口浪尖。

科技巨頭猛推產(chǎn)品，創(chuàng)業(yè)公司則乘風(fēng)而上。

3月13日，AI視頻大模型公司愛詩科技完成億元級(jí)人民幣A1輪融資；3月12日，生數(shù)科技完成數(shù)億元A輪融資；3月1日，AI視頻生成 SaaS服務(wù)商「布爾向量」完成近千萬元融資…

Sora首次踐行了DiT架構(gòu)，將過去各自獨(dú)立的擴(kuò)散模型和大模型融合在了一起，也將視頻生成模型的歷史翻開了新的篇章。

毫無疑問，一場新的技術(shù)風(fēng)暴正在到來。一夜之間，國內(nèi)大大小小的視頻生成大模型爭搶“中國版Sora”的標(biāo)簽。

為了探究這個(gè)問題的答案，「自象限」通過國內(nèi)已有的視頻生成產(chǎn)品進(jìn)行實(shí)際體驗(yàn)，并結(jié)合公開信息、第三方檢測機(jī)構(gòu)數(shù)據(jù)等多個(gè)維度，對(duì)當(dāng)下主流的視頻生成模型進(jìn)行了全面評(píng)估。

我們將從產(chǎn)品設(shè)計(jì)、實(shí)測效果和行業(yè)分析三個(gè)角度，全面探究，究竟誰能成為“中國版Sora”？

一、DIT的創(chuàng)新，誰能復(fù)刻？

Sora的風(fēng)雖然才剛剛從大洋彼岸吹到了中國，但視頻生成卻不是什么新鮮的話題。

在此之前，這個(gè)賽道已經(jīng)經(jīng)歷了Runway的Gen-2、Pika1.0和谷歌VideoPoet的幾波革命浪潮，終于來到了生成效果更好、時(shí)間更長、邏輯性更強(qiáng)、更穩(wěn)定性的“Sora”時(shí)刻。

「自象限」梳理繪制出了國內(nèi)視頻大模型公司及產(chǎn)品的基本情況。

▲圖：國內(nèi)外視頻生成大模型企業(yè)一覽，訪問量以2024年2月計(jì)

在國外，谷歌、微軟這類“硅谷老錢”很早就投入到了多模態(tài)視頻生成的研究中。去年，谷歌發(fā)布了多模態(tài)大模型Gemini和VideoPoet視頻大模型，讓人從直觀的效果層面看到了多模態(tài)生成視頻的可能性。

在國內(nèi)，多模態(tài)技術(shù)路徑方向上我們看到了更多的可能性，既有技術(shù)積累深厚的大廠百度，也有大模型獨(dú)角獸公司智譜，還有像生數(shù)科技、智象未來一類以多模態(tài)大模型為目標(biāo)的創(chuàng)業(yè)公司。

擴(kuò)散模型路線是文生視頻的主流路線，在保證效果生成上發(fā)揮著重要的作用，所以即使是驚為天人的Sora在底層架構(gòu)上也只是改造，而非全盤顛覆。

無論國內(nèi)外，在這條道路都最為擁擠，首先是一手打造和開源擴(kuò)散模型的Stability AI公司，緊跟其后的是猛猛向前沖的Runway、Pika，然后才是OpenAI、Meta、英偉達(dá)這些巨頭。

回到國內(nèi)，騰訊、阿里、字節(jié)三個(gè)大廠在前期幾乎包攬了視頻生成領(lǐng)域的研究，時(shí)不時(shí)地拋出一個(gè)demo小小地驚艷一下。但真的談到落地產(chǎn)品，還是創(chuàng)業(yè)公司明顯更快一步，比如愛詩科技、Morph studio、右腦科技等公司已經(jīng)開始面向用戶開放。

被稱之為“Sora路線”的DiT，全稱為Diffusion Transformer，本質(zhì)是把訓(xùn)練大模型方法機(jī)制融入到了擴(kuò)散模型之中，從Sora技術(shù)報(bào)告呈現(xiàn)的結(jié)果來看，大力出奇跡之下可能會(huì)產(chǎn)生世界物理模擬器的效果。

如今，Sora的底層架構(gòu)被扒了個(gè)遍，訓(xùn)練的組件和技術(shù)也在開源的路上，但這也并不意味著人手一個(gè)Sora指日可待，技術(shù)、數(shù)據(jù)、算力、訓(xùn)練規(guī)模都是一道道關(guān)卡。

近期，Sora核心團(tuán)隊(duì)負(fù)責(zé)人在采訪中透露：“Sora目前還處于反饋獲取階段，還不是一個(gè)產(chǎn)品，短期內(nèi)不會(huì)向公眾開放?！?/p>

從技術(shù)路線上看，國內(nèi)的愛詩科技是少數(shù)從一開始就堅(jiān)持了DiT路線的企業(yè)，其創(chuàng)始人王長虎在公開采訪中談到，Sora的出現(xiàn)驗(yàn)證了愛詩視頻生成大模型的方向正確性。正因如此，愛詩科技定下了“3—6 個(gè)月趕超Sora”的目標(biāo)，抓住機(jī)會(huì)，奮起直追。

二、產(chǎn)品實(shí)測，用戶“跑分”

在視頻生成模型賽道，目前國內(nèi)的創(chuàng)業(yè)公司大致可以分為兩類。

一類是以愛詩科技（PixVerse）、生數(shù)科技（PixWeaver）、 Morph Studio和智象未來（Pixeling）為代表的自研基礎(chǔ)大模型，聚焦通用場景的視頻生成工具。

另一類則包括右腦科技（Vega AI）、李白AI實(shí)驗(yàn)室（神采promeai）、毛線球科技（6PenArt）、布爾向量（boolv.video）和MewXAI（藝映AI）。這一類數(shù)量更多，也更加產(chǎn)品化，專注于解決某一類場景下的問題，更像是一個(gè)AIGC的在線編輯平臺(tái)。

我們的測試和評(píng)比通過三個(gè)部分組成，分別是使用門檻，基礎(chǔ)產(chǎn)品功能和內(nèi)容生成能力。

首先是使用門檻。我們測試的8款產(chǎn)品，都已經(jīng)支持通過網(wǎng)站使用產(chǎn)品（許多創(chuàng)業(yè)公司產(chǎn)品只能通過Discord使用），也都可以免費(fèi)試用。

但其中，僅有愛詩科技的PixVerse不限制免費(fèi)試用次數(shù)，其他產(chǎn)品都有三到五次的試用限制，超過試用次數(shù)之后就需要開通會(huì)員或充值能量使用，價(jià)格從幾元到幾百元不等。

除了PixVerse之外，其他產(chǎn)品在付費(fèi)之前基本都有功能限制，比如藝映AI和Pixeling只能生成2s、4s的視頻，更長的視頻則需要付費(fèi)。

所以從使用門檻上綜合考慮，PixVerse對(duì)用戶要更加友好，在這一板塊相對(duì)更有優(yōu)勢。其他產(chǎn)品在使用門檻上則相對(duì)平均。

具體情況如下圖：

其次是產(chǎn)品基礎(chǔ)功能。

我們測試的8款產(chǎn)品，除了神采Promeal和6PenArt之外，都同時(shí)具備文生視頻和圖生視頻的能力。而神采Promeal和6PenArt只具備圖生視頻的能力，不具備直接文生視頻的能力。

除了這兩家之外，其他廠家就比較成熟，但產(chǎn)品功能差異卻比較大。

其中，愛詩科技的PixVerse在基礎(chǔ)功能之上還增加了豐富的輔助功能，比如除了正向提示詞，用戶還可以輸入負(fù)向提示詞，要求生成畫面中不要出現(xiàn)某些元素。

圖片生成視頻時(shí)，用戶也可以撰寫提示詞控制輸出效果?？梢赃x擇視頻風(fēng)格，可以調(diào)節(jié)畫面比例等等。

同類產(chǎn)品中，只有Pixeling擁有負(fù)向提示詞、圖生視頻提示詞和視頻比例調(diào)節(jié)，只有藝映AI可以調(diào)節(jié)視頻風(fēng)格、畫面比例。

大模型的技術(shù)水平?jīng)Q定視頻生成的質(zhì)量，而產(chǎn)品能力則決定了大模型是否能夠被很好地利用，與應(yīng)用場景相結(jié)合。

對(duì)于視頻生成產(chǎn)品而言，功能的豐富程度決定了用戶上手的容易程度，對(duì)視頻生成的掌控能力，并最終影響輸出結(jié)果和用戶體驗(yàn)。

所以從產(chǎn)品的完善程度和功能完整度上，PixVerse整體領(lǐng)先，智象未來的Pixeling排名第二，藝映AI第三，Vega AI第四。其中布爾向量相對(duì)例外，作為專注跨境電商的視頻生成工具，其在特定場景下功能更加齊全易用，但在視頻生成方面相對(duì)缺乏競爭力。

當(dāng)然，基本功能之外，更核心還是視頻生成效果。所以第三部分是視頻內(nèi)容生成能力測試。

首先是視頻生成時(shí)長。Sora目前能夠生成60s的視頻，但國內(nèi)創(chuàng)業(yè)公司的視頻生成大模型，時(shí)長大多集中在2s~4s左右，差距并沒有特別大。

其次是依據(jù)提示詞的內(nèi)容表現(xiàn)能力。

Sora發(fā)布時(shí)，輸出過這樣一段視頻，其提示詞是：美麗，白雪皚皚的東京街道很繁華。幾個(gè)人在附近的小攤上享受著美麗的雪天并購物。美麗的櫻花花瓣和雪花在風(fēng)中飛舞。

▲Sora依據(jù)這段提示詞生成的視頻

依據(jù)這段提示詞，我們也分別使用愛詩科技的PixVerse、右腦科技的Vega AI、MewXAI和智象未來的Pixeling生成了同樣一段視頻。（由于生數(shù)科技的PixWeaver網(wǎng)頁端暫停試用，故未納入測評(píng)）

首先是愛詩科技的PixVerse。

4s的內(nèi)容基本還原了提示詞中提到的所有關(guān)鍵詞，同時(shí)體現(xiàn)了“繁華”和“小攤”的氛圍。鏡頭跟著畫面緩緩?fù)七M(jìn)，視頻整體風(fēng)格保持一致，建筑、燈光、路旁的樹木、行人都比較真實(shí)，畫面沒有明顯卡頓，除了人物行走稍有些不自然之外，沒有出現(xiàn)元素扭曲。

▲PixVerse依據(jù)這段提示詞生成的視頻

其次是右腦科技的VegaAI。

同樣4s的內(nèi)容，同樣只有一個(gè)鏡頭，順著人流密集的街道緩緩?fù)七M(jìn)。但與PixVerse將場景放到華燈初上的傍晚不同，VegaAI選擇的是白天。

與愛詩科技的PixVerse相比，VegaAI的人物腳步混亂情況更加嚴(yán)重，部分人物在行走過程中從兩只腳變成三只腳，然后又消失不見。此外，部分人物的生成也非常模糊，只有一個(gè)人影且在不斷變幻。

▲Vega AI依據(jù)這段提示詞生成的視頻

然后是藝映AI。

與PixVerse和VegaAI有一定的鏡頭運(yùn)動(dòng)不同 ，藝映AI生成的視頻鏡頭是固定的，也是這幾個(gè)視頻中唯一一個(gè)選擇了正面視角的視頻。

但選擇正面視角也同樣給藝映AI帶來一個(gè)問題，即在人物的面部表情沒有辦法很好地處理。視頻中迎面走來的兩個(gè)人面部一直沒有穩(wěn)定下來。此外，藝映AI也同樣存在人物移動(dòng)的問題，但由于生成的視頻只有2s，表現(xiàn)得并不明顯。

▲藝映AI依據(jù)這段提示詞生成的視頻

第四是智象科技的Pixeling，4s的視頻，采用固定鏡頭，人物往前運(yùn)動(dòng)。類似的畫面，除了同樣存在人物生成、移動(dòng)等方面的問題之外，Pixeling對(duì)語義的理解明顯更淺。

比如提示詞中的“繁華”，前面的視頻都通過燈光、街道店鋪、人流來進(jìn)行表現(xiàn)，但Pixeling選擇的卻是一個(gè)雨天小巷，人流也比較少。整個(gè)畫面顯得比較冷清。此外，提示詞中的“購物”該視頻中也并沒有體現(xiàn)。

▲Pixeling依據(jù)這段提示詞生成的視頻

最后是Morph Studio。其官網(wǎng)尚未開放公測，「自象限」通過Discord進(jìn)行測試。

Morph Studio有趣的地方有兩個(gè)，其一是英文提示詞的生成效果要大大好于中文提示詞?！缸韵笙蕖瓜仁峭ㄟ^中文提示詞生成視頻，得到的結(jié)果與提示詞毫不相關(guān)，隨后「自象限」將提示詞改為英文，輸出的效果直線提升。

▲圖片：Discord截圖

從視頻內(nèi)容上看，Morph Studio的視頻生成只有3s，要比其他產(chǎn)品的時(shí)長都要短，清晰度要比其他產(chǎn)品更低一些，但整體畫面內(nèi)容更加寫實(shí)。從細(xì)節(jié)上看，Morph Studio生成的視頻仍然存在細(xì)節(jié)模糊扭曲，人物“漂移”、出現(xiàn)又消失等問題。

▲Morph Studio依據(jù)這段提示詞生成的視頻

在文生視頻之外，剩下兩位只支持“圖生視頻”的玩家——神采Promeal和6PenArt。但這兩位，在圖生視頻上的表現(xiàn)也并不好。

其中，神采Promeal僅支持單張圖片生成“動(dòng)態(tài)圖”，也沒有提示詞功能。因此生成的視頻人物形象扭曲，沒有實(shí)際使用價(jià)值。

▲神采Promeal依據(jù)圖片生成的視頻

對(duì)比來看，6PenArt更像一個(gè)AIGC的內(nèi)容社區(qū)，圖片生成和視頻生成只是其中一個(gè)能力。但6PenArt并不支持直接通過提示詞生成視頻，而是需要先在平臺(tái)通過提示詞生成圖片，然后將圖片轉(zhuǎn)化成視頻。

「自象限」通過提示句“一只正在散步柯基，嘴里叼著一朵花。”生成了四張圖片。

▲圖片：6PenArt截圖

然后以這四張圖片為基礎(chǔ)，用提示詞“一只在春天里奔跑的小狗?！鄙梢曨l。

▲6PenArt依據(jù)圖片生成的視頻

可以看到，這個(gè)視頻仍然停留在“動(dòng)態(tài)圖片”的狀態(tài)，與視頻相差甚遠(yuǎn)。

除此之外，布爾向量也沒有被納入到這次評(píng)比中。

因?yàn)閺漠a(chǎn)品使用體驗(yàn)上，布爾向量的boolv.video更像是一個(gè)AI編輯器的概念，當(dāng)我們輸入一段提示詞之后，系統(tǒng)會(huì)自動(dòng)將提示詞拆解成多個(gè)腳本、分鏡，然后撰寫文案，分別輸出多段視頻。生成視頻之后，用戶可以對(duì)每一個(gè)分鏡進(jìn)行編輯，替換視頻、更換旁白和聲音等等。

▲圖片：boolv.video截圖

但boolv.video的視頻生成能力其實(shí)很有限，既無法理解深度語義，也不能生成與提示詞準(zhǔn)確對(duì)應(yīng)的視頻內(nèi)容。

在我們以上測試的產(chǎn)品中，嚴(yán)格意義上只有PixVerse、Morph Studio是專注于視頻生成的大模型，其他產(chǎn)品都是由早期文生圖、圖生圖的AIGC應(yīng)用演變而來。

▲圖片：測試產(chǎn)品是否專注于視頻生成

回過頭來，我們依據(jù)多次測試，針對(duì)以上提到的產(chǎn)品進(jìn)行了整理。

從對(duì)提示詞的理解能力、畫面的邏輯表達(dá)能力、畫面細(xì)節(jié)的表現(xiàn)，到視頻生成的質(zhì)量、畫面的一致性、穩(wěn)定性和流暢性等角度。

在測試的8個(gè)產(chǎn)品后，綜合對(duì)比下來，愛詩科技旗下的PixVerse和Morph Studio綜合能力相對(duì)較好，右腦科技的VegaAI排名第二，藝映AI第三，Pixeling第四。

最后，從整個(gè)測評(píng)從使用門檻，到產(chǎn)品功能，再到內(nèi)容生成能力，中國創(chuàng)業(yè)公司的各類產(chǎn)品各有千秋。但整體來看，在中國創(chuàng)業(yè)公司中，愛詩科技的PixVerse整體能力略高一籌，是中國最具備Sora氣質(zhì)的產(chǎn)品。其次是Morph Studio，這兩者構(gòu)成中國視頻生成模型的第一梯隊(duì)。

其次包括VegaAI、藝映AI、Pixeling則共同處在第二梯隊(duì)（生數(shù)科技因產(chǎn)品暫停使用，未納入測評(píng)），最后神采Promeai、6PenArt和boolv.video則在第三梯隊(duì)。

以下是「自象限」測評(píng)總表：

三、用生產(chǎn)力工具，形成數(shù)據(jù)飛輪

事實(shí)上，對(duì)比了國內(nèi)科技巨頭和創(chuàng)業(yè)公司到目前為止的落地產(chǎn)品后的情況我們會(huì)發(fā)現(xiàn)，大公司更慢，反而是創(chuàng)業(yè)公司的產(chǎn)品和用戶規(guī)模跑地更快。

李彥宏也曾經(jīng)提到：大公司做小創(chuàng)新，小公司才能做大改變。

而想要真正在激烈的角逐中突圍，目前來看，除了技術(shù)路線選擇和產(chǎn)品本身的能力外，產(chǎn)品的使用場景、用戶體驗(yàn)、行業(yè)應(yīng)用等等綜合維度，仍然是視頻生成模型比拼的關(guān)鍵。

產(chǎn)品使用場景方面，如前文所言，一類公司在埋頭做新工具而另一類公司則將技術(shù)嵌入在某些成熟的產(chǎn)品中，這是兩條完全不同的路線。

對(duì)于工具類的產(chǎn)品，產(chǎn)品力的一個(gè)核心體現(xiàn)在于：能否成為生產(chǎn)力工具。

讓我們簡單回顧一下Midjourney的發(fā)展歷程就會(huì)發(fā)現(xiàn)，Midjourney V5版本是文生圖歷史上的一個(gè)關(guān)鍵臨界點(diǎn)，無論是從效果、準(zhǔn)確性和速度等多方面的因素來看，V5正式從“玩具”蛻變成了生產(chǎn)力工具，而這一次產(chǎn)品能力的突破，帶來的是用戶大規(guī)模涌入，數(shù)據(jù)飛輪開始轉(zhuǎn)動(dòng)，效果日新月異。

▲圖：網(wǎng)友制作的V1-V6的生成效果對(duì)比圖，來源X

對(duì)比“V5時(shí)刻”我們發(fā)現(xiàn)，視頻生成模型也即將迎來奇點(diǎn)。

通過真實(shí)的測評(píng)我們發(fā)現(xiàn)，PixVerse生成的視頻在主體一致性、運(yùn)動(dòng)平滑度、運(yùn)動(dòng)幅度、清晰度等方面都更具備使用價(jià)值。

在生產(chǎn)力工具的前提下，也分為兩條產(chǎn)品路線，一類是如Adobe公司踐行的走專業(yè)工具的路線，讓專業(yè)的人更專業(yè)，另一類則是如Word一般，讓普通人也能成為生產(chǎn)力。

在這個(gè)問題上，Pika創(chuàng)始人郭文景在采訪時(shí)表示Pika并不是電影制作工具，而是為日常消費(fèi)打造的產(chǎn)品。PixVerse的思路則更加明確，相比于Pika分層訂閱的商業(yè)模式，PixVerse在用戶量和視頻效果都處于全球第一梯隊(duì)的前提下，仍在持續(xù)向世界各地免費(fèi)開放，這是目前其它視頻生成產(chǎn)品都難以企及的。

也正是由于用戶友好的態(tài)度和領(lǐng)先的視頻生成效果，讓PixVerse的飛輪先轉(zhuǎn)了起來。根據(jù)第三方數(shù)據(jù)監(jiān)測平臺(tái)顯示，目前PixVerse的用戶規(guī)模與Pika處于同等量級(jí)，其訪問量也遠(yuǎn)超國內(nèi)其他主流視頻生成產(chǎn)品。（數(shù)據(jù)來源：similarweb.com）

▲PixVerse，與Pika，Runway產(chǎn)品頁面2024年2月數(shù)據(jù)對(duì)比

▲國內(nèi)主要文生視頻產(chǎn)品2月數(shù)據(jù)對(duì)比

▲國內(nèi)主要文生視頻產(chǎn)品數(shù)據(jù)走勢

通過調(diào)研我們發(fā)現(xiàn)，愛詩科技還積極在國內(nèi)外贊助/舉辦各類AI大賽，推動(dòng)技術(shù)加快落地的同時(shí)，也在加速實(shí)現(xiàn)技術(shù)普惠。這個(gè)過程中，也有越來越多的用戶感受到其產(chǎn)品PixVerse的優(yōu)勢。

除此之外，愛詩科技的用戶生態(tài)做得非常突出，X上每天都會(huì)涌現(xiàn)大量使用PixVerse創(chuàng)作的視頻內(nèi)容，覆蓋英語、漢語、日語、西班牙語等多地區(qū)。這是其它國內(nèi)品牌完全不具備的優(yōu)勢，也一定程度上反映了市場的選擇。

▲作者：Michael Heina 視頻來源：X

▲作者：Ameli Caotica 視頻來源：X

“PixVerse第一個(gè)優(yōu)點(diǎn)是免費(fèi)、免費(fèi)、免費(fèi)；第二個(gè)優(yōu)點(diǎn)是操作簡便且有效，我只需要把圖片放進(jìn)去，不寫任何prompt，讓PixVerse自己決定畫面運(yùn)動(dòng),往往都能得到滿意的結(jié)果。期待PixVerse可以實(shí)現(xiàn)更大幅度的運(yùn)動(dòng)以及更長更穩(wěn)定的視頻?！?2024 MIT AI電影黑客松最佳影片提名獎(jiǎng)獲得者反饋到。

自象限認(rèn)為，免費(fèi)并不意味著放棄商業(yè)化，而是在產(chǎn)品打磨的初期，通過這樣的方式獲得真實(shí)的用戶使用體驗(yàn)和用戶生成后的高質(zhì)量視頻數(shù)據(jù)，再反哺給視頻生成模型，將迭代的速度加快，形成數(shù)據(jù)—訓(xùn)練的飛輪。

四、結(jié) 語

綜合來看，目前國內(nèi)整個(gè)視頻生成模型的技術(shù)仍然在效仿國外，但以愛詩科技為首的創(chuàng)業(yè)公司已經(jīng)找到了自己的發(fā)展節(jié)奏和模式，正通過產(chǎn)品設(shè)計(jì)、用戶規(guī)模、運(yùn)營策略等綜合能力進(jìn)行全面趕超。

相比之下，Sora目前并未開放，能否承受住大規(guī)模用戶同時(shí)在線尚未可知，能否能每次都做到準(zhǔn)確、一致的1分鐘視頻生成仍有待檢驗(yàn)。

所以，并不一定非要找到中國版Sora，以愛詩科技為代表的中國視頻大模型公司，已經(jīng)走出了新的、獨(dú)立的上升曲線。

* 文中配圖來源于網(wǎng)絡(luò)