Sora到底有多炸裂，四款視頻大模型5大場景測評！從ChatGPT到Sora，OpenAI為何能連續(xù)打造出“王炸級神器”

每經(jīng)記者 文巧  鄭雨航    每經(jīng)編輯 蘭素英    

或許，能打敗OpenAI的只有OpenAI。

2022年底，OpenAI推出人工智能聊天機器人ChatGPT，開啟了大模型領(lǐng)域的“競速跑”模式。2024年2月15日，隨著視頻生成模型Sora的橫空出世，OpenAI再度掀起熱潮。

Sora將視頻生成內(nèi)容拉到了一個全新的高度，逼真的視頻效果刷新了社會對AI能力邊界的認知。它的問世，就如同一枚深水炸彈，瞬間引爆全球科技圈。

不少業(yè)內(nèi)人士直言，Sora的到來標(biāo)志著一次質(zhì)的飛躍。英國皇家工程院國際院士、歐洲科學(xué)院院士許彬（Pan Hui）在接受《每日經(jīng)濟新聞》記者采訪時表示，“目前Sora在視頻生成品質(zhì)上面絕對是無可匹敵的。Sora生成的視頻可以從小特寫切大全景，變換不同的機位。”

值得注意的是，文生視頻大模型并不是一條全新的賽道。為了更直觀地呈現(xiàn)Sora的文生視頻能力，《每日經(jīng)濟新聞》記者采用OpenAI官方公布的5條Sora視頻提示詞，對Pika、Runway和PixVerse的文生視頻能力進行了測試，并將生成結(jié)果與Sora視頻進行了對比，測試場景涉及人物特寫、電影預(yù)告片等5類。

對比結(jié)果顯示，Sora在生成長度、連貫性和視覺細節(jié)方面表現(xiàn)出明顯的優(yōu)勢，幾乎實現(xiàn)了“降維打擊”。

從ChatGPT到Sora，為何OpenAI能連續(xù)打造出“王炸級神器”？

加州大學(xué)伯克利分校計算機科學(xué) PHD、知乎作者SIY.Z分析稱，“如果必須用一個詞來展現(xiàn)OpenAI最核心的技術(shù)，我覺得是scaling law——即怎么樣保證模型越大，數(shù)據(jù)越多，效果就越好。”從文本生成模型 GPT、文生圖模型 DALL·E，到文生視頻模型 Sora，OpenAI或許已經(jīng)打造出了一條自己的AGI通用技術(shù)路線。

5大場景實測：

Sora在時長等4個維度上實現(xiàn)“降維打擊”

2月15日，OpenAI正式發(fā)布了首款文生視頻大模型Sora。演示視頻一經(jīng)發(fā)布迅速引發(fā)業(yè)內(nèi)熱議，部分網(wǎng)友更是哀嚎，“要失業(yè)了”。

華大集團CEO尹燁在一篇文章中寫道，“從這一刻，可擬合更多真實物理定律的數(shù)字孿生世界走進了人類社會。我愿意將其類比為，開啟了AI發(fā)展的牛頓時代。”

Sora的文生視頻能力到底有何突出之處？

由于Sora并未開放測試賬號，因此《每日經(jīng)濟新聞》記者采用OpenAI官方公布的5條Sora視頻提示詞，在街頭、卡通動畫、人物特寫、動物特寫以及電影預(yù)告片這5大場景下對同類模型Runway、Pika和Pixverse進行了效果測試。同時，將OpenAI官方公布的Sora視頻與前述3個文生視頻大模型進行了對比。

效果測試對比發(fā)現(xiàn)，Sora在生成視頻的時長、連貫性和視覺細節(jié)方面表現(xiàn)出明顯的優(yōu)勢，幾乎達到“吊打”的程度。

英國皇家工程院國際院士、歐洲科學(xué)院院士許彬（Pan Hui）在接受《每日經(jīng)濟新聞》記者采訪時也表示，“Sora的核心優(yōu)勢可以總結(jié)為，生成高清晰度的長視頻。不論是清晰度，還是時長，目前都是第一。OpenAI更專注在照片寫實主義的技術(shù)，雖然現(xiàn)在去討論它會否引領(lǐng)新浪潮可能為之尚早，但是目前Sora在視頻生成品質(zhì)上面絕對是無可匹敵的。”

不過，需要說明的是，本次效果對比僅基于5個場景下的提示詞，場景和提示詞的數(shù)量均較為有限，并且不同模型生成的結(jié)果可能存在隨機性。

一位技術(shù)從業(yè)者也向每經(jīng)記者表示，盡管Sora與其他文生視頻大模型的結(jié)果對比非常強烈，但不排除Sora的視頻是OpenAI多次生成后選取最好的一條予以發(fā)布，因此展示效果更優(yōu)。

（1）更長的視頻時長

在與Runway、Pika和PixVerse的對比中，Sora生成的視頻平均長度將近16秒，最長達到20秒，而相比之下，其他三個模型生成的視頻長度均在3~4秒左右。Sora最長可以生成長達一分鐘的視頻，這使得Sora能夠更完整地呈現(xiàn)視頻內(nèi)容，使其更適合制作短片、廣告和其他應(yīng)用。

（2）更強的視頻連貫性

Sora生成的視頻具有無縫過渡、自然的攝像機移動和流暢的角色動畫，增強了整體觀看體驗。而相比之下，其他模型制作的視頻經(jīng)常會出現(xiàn)場景突變、畫面不流暢等問題，影響觀看體驗。

許彬表示，“Sora可以改變視頻的視角。Sora生成的視頻，可以像一鏡到底一樣，從小特寫切大全景，變換不同的機位，但是保證畫面中的人物/物品。同時，（Sora生成的視頻中）物體的一致性很強。一致性一向是在視頻生成的領(lǐng)域里比較挑戰(zhàn)性的一環(huán)，而Sora在此方向表現(xiàn)很好。”

（3）更豐富的視覺細節(jié)

此外，每經(jīng)記者發(fā)現(xiàn)，Sora生成的視頻視覺細節(jié)豐富，物體紋理清晰，色彩逼真，整體視頻質(zhì)量更高。相比之下，其他模型生成的視頻通常顯得模糊、細節(jié)不足、色彩不那么鮮艷。

例如，在生成的“女人眨眼睛”的視頻中，Sora對女性眼部的特寫十分到位，從眉毛、睫毛、眼皮褶皺、眼袋、臥蠶和細紋的細節(jié)來看，已經(jīng)達到以假亂真的效果。

（4）更能滿足不同的場景

從上述5大不同場景的呈現(xiàn)效果不難看出，Sora明顯更能夠滿足不同創(chuàng)作者的需求，無論是創(chuàng)作科幻場景、動畫人物，還是模擬真實場景，都可以輕松實現(xiàn)。

華鑫證券研報稱，Sora的核心技術(shù)是基于OpenAI在自然語言處理和圖像生成方面的深厚積累，與Runway、Pika等相比，Sora在視頻生成的真實感、細節(jié)表現(xiàn)上均具標(biāo)志性價值。AI視頻生成雖不是新事，但Sora的推出有望推高AI多模態(tài)的熱度，可關(guān)注AI多模態(tài)應(yīng)用塑造數(shù)字內(nèi)容生產(chǎn)與交互新范式，賦能視覺行業(yè)，從文字、3D生成、動畫、電影、圖片、視頻、劇集等方面，有望帶來內(nèi)容消費市場的繁榮發(fā)展。

從GPT到Sora，OpenAI打通AGI技術(shù)棧

從Sora身上，可以看到OpenAI沿襲了過往大語言模型訓(xùn)練的許多成功經(jīng)驗。

Sora視頻的逼真和連貫程度著實令人驚嘆，而幫助Sora實現(xiàn)能力飛躍的是該模型的兩項核心突破。

首先在底層架構(gòu)上，Sora采用的Diffusion Transformer（DiT，或擴散型 Transformer）架構(gòu)。

OpenAI的文本模型，例如GPT-4，就是采用的Transformer模型，傳統(tǒng)的文本到視頻模型通常是擴散模型（Diffusion Model），Sora采用的DiT架構(gòu)則融合了GPT和傳統(tǒng)的擴散模型架構(gòu)。

從OpenAI官網(wǎng)公布的Sora技術(shù)報告中可以發(fā)現(xiàn)，Sora采用的DiT架構(gòu)的理論基礎(chǔ)是一篇名為Scalable diffusion models with transformers的學(xué)術(shù)論文。該篇論文是2022年12月由伯克利大學(xué)研究人員、現(xiàn)Sora團隊技術(shù)領(lǐng)導(dǎo)William (Bill) Peebles和紐約大學(xué)研究人員謝賽寧共同發(fā)表。

在Sora發(fā)布后，謝賽寧在X平臺上寫道，“當(dāng)Bill和我參與DiT項目時，我們并未專注于創(chuàng)新，而是將重點放在了兩個方面：簡潔性（Simplicity）和可擴展性（Scalability）”。他表示，“可擴展性是論文的核心主題，優(yōu)化的DiT架構(gòu)的運行速度比UNet（傳統(tǒng)文本到視頻模型的技術(shù)路線）快得多。更重要的是，Sora證明了DiT縮放定律不僅適用于圖像，現(xiàn)在也適用于視頻——Sora復(fù)制了DiT中觀察到的視覺縮放行為。”

圖片來源：X平臺

其次，Spacetime Patch也是Sora創(chuàng)新的核心之一。在這一點上，Sora的設(shè)計思路和GPT-4也是一致的。

Patch可以理解為Sora的基本單元，Patch是視頻的片段，一個視頻可以理解不同Patch按照一定序列組織起來的。就像GPT-4 的基本單元是Token，而Token是文字的片段。GPT-4被訓(xùn)練以處理一串Token，并預(yù)測出下一個Token。Sora遵循相同的邏輯，可以處理一系列的Patch，并預(yù)測出序列中的下一個Patch。

許彬向記者解釋，“把視頻數(shù)據(jù)變成一個個小塊（patches），讓模型對圖像的理解能夠像文字一樣。參考過往GPT的表現(xiàn)，GPT對文本的語義理解水平非常細膩，將同樣的原理應(yīng)用在視頻上，可以增加數(shù)據(jù)的靈活性以及模型最后的表達能力。”

圖片來源：Sora技術(shù)報告

正如謝賽寧所談到的“Scalability”一樣，加州大學(xué)伯克利分校計算機科學(xué) PHD、知乎作者SIY.Z在知乎上這樣寫道，“如果必須用一個詞來展現(xiàn)OpenAI最核心的技術(shù)，我覺得是scaling law——即怎么樣保證模型越大，數(shù)據(jù)越多，效果就越好。一句話概括 Sora 的貢獻，便是在足量的數(shù)據(jù)，優(yōu)質(zhì)的標(biāo)注，靈活的編碼下，scaling law在transformer + diffusion model的架構(gòu)上繼續(xù)成立。”

在他看來，數(shù)據(jù)、標(biāo)注、編碼、底層架構(gòu)都是來自于此前大模型的成功經(jīng)驗。謝賽寧在X平臺也曾提到， Sora有兩個關(guān)鍵點尚未被提及，一是關(guān)于訓(xùn)練數(shù)據(jù)的來源和構(gòu)建，二是關(guān)于（自回歸的）長視頻生成相關(guān)的技術(shù)細節(jié)。

可以說，對于目前all in AGI的OpenAI來說，從文本生成模型 GPT、文生圖模型 DALL·E，到文生視頻模型 Sora，OpenAI或許已經(jīng)打造出了一條自己的AGI通用技術(shù)路線。

值得注意的是，建立在此前成功經(jīng)驗之上的Sora路線，可能會成為接下來的文生視頻模型新范式。早在1月，一位前阿里的AI專家在X平臺上表示，“我認為，Transformer框架和LLM路線，將是AI視頻的一個突破口和新范式，它將使AI視頻更加連貫、一致，并且時長更長。目前的Diffusion+Unet路線（如Runway、Pika等），只是暫時的解決方案。”

圖片來源：X平臺

800億美元！“資本狂歡”，OpenAI估值9個月增長兩倍 

從聊天機器人ChatGPT，到文本轉(zhuǎn)圖像模型DALL·E，再到近期的文本轉(zhuǎn)視頻模型Sora，風(fēng)口上的OpenAI成為資本市場不變的關(guān)注焦點。 

實際上，文生視頻大模型并不是一條全新的賽道。很多文生視頻大模型早已走入大眾的視野，例如Stability AI的Stable Video Diffusion、Runway的Gen-2 Video、谷歌的Lumiere、Meta的Make-A-Video、Pika以及PixVerse等等。 

其中，Pika在去年11月正式發(fā)布Pika 1.0后更是掀起全球熱潮，其創(chuàng)始人郭文景也名聲大噪，Pika 1.0也被稱作是Runway Gen-2的最強競品。不過，在Sora火爆出圈后，隨著其所代表的新技術(shù)路線的出現(xiàn)，文生視頻領(lǐng)域的版圖恐怕要重新改寫了。 

一方面，核心技術(shù)是一道鴻溝——Diffusion Transformer和Spacetime Patch并非新鮮事物，但卻只有OpenAI成功推出了Sora。并且，從文生視頻的實測對比來看，Sora的確實現(xiàn)了降維打擊。 

另一方面，從估值和融資規(guī)模來看，背靠微軟的OpenAI在AI初創(chuàng)公司中可以說是斷層領(lǐng)先。之所以其產(chǎn)品一經(jīng)發(fā)布，就能讓行業(yè)震驚于其超強的迭代能力，恐怕也離不開背后的燒錢。 

圖片來源：每經(jīng)制圖

Sora火爆出圈后，資本圈的最新消息是， OpenAI的估值已飆升至800億美元以上，值得一提的是，該公司的估值在9個月的時間里增長了兩倍。

除了各種AI大模型產(chǎn)品之外，OpenAI CEO山姆·阿爾特曼還瞄準了半導(dǎo)體領(lǐng)域。據(jù)報道，阿爾特曼正與潛在投資者、半導(dǎo)體制造商和能源供應(yīng)商等各種利益相關(guān)者接觸，預(yù)計將融資7萬億美元打造芯片帝國。 

在技術(shù)和資金的加持下，OpenAI在接下來的時間里，可能還將繼續(xù)遙遙領(lǐng)先。 

與之相比，Runway截至目前累計融資超2.5億美元。TechCrunch報道稱，Runway的估值在去年6月底達到15億美元，其投資者包括谷歌、英偉達、Salesforce等。 

Pika的估值目前近2億美元，這家僅有四人的初創(chuàng)公司有著非常豪華的投資人陣容，包括前Github CEO Nat Friedman、Quora創(chuàng)始人Adam D'Angelo、OpenAI創(chuàng)始成員Karpathy、Perplexity CEO等。 

去年11月，Stability AI的估值達到約10億美元。不過，Stability AI今年來也不斷面臨著資金方面的壓力。2023年11月，Stability AI被曝出由于財務(wù)狀況壓力巨大正在尋求出售。此外，其重要投資者美國對沖基金Coatue Management還在去年10月致信管理層，要求CEO埃馬德·莫斯塔克辭職。

內(nèi)容創(chuàng)作領(lǐng)域?qū)⒈活嵏?/strong>

監(jiān)管迫在眉睫

圖片來源：新華社記者 黃偉 攝

許多人認為，Sora的出現(xiàn)可以改變一系列創(chuàng)意產(chǎn)業(yè)，從電影制作、廣告到圖形設(shè)計，從游戲開發(fā)到社交媒體、影響力營銷甚至教育科技等領(lǐng)域都將受到影響。

“最直接的是視頻制作領(lǐng)域。不管是電影，還是人人都能參與的短視頻，很多危險的，不容易拍攝的場景，都可以讓AI幫我們完成。這樣大大改變了視頻創(chuàng)作的邏輯，也降低了視頻創(chuàng)作的門檻。不具備視頻拍攝能力的人，通過自己的想象力，也可以變成優(yōu)秀的視頻創(chuàng)作者。”許彬說道。

他同時告訴記者，Sora和其他類似的AI視頻模型在多個行業(yè)都顯示出巨大的商業(yè)潛力和市場需求。“包括媒體和娛樂、銀行、金融服務(wù)與保險、零售以及醫(yī)療保健等行業(yè)將極大受益于生成式AI的進步。這些技術(shù)的應(yīng)用不僅可以優(yōu)化營銷和銷售活動，改善客戶服務(wù)，還能加強產(chǎn)品開發(fā)和風(fēng)險管理。”

許彬同時表示，“生成式AI在這些領(lǐng)域的變革潛力已表明了廣泛的市場需求和跨行業(yè)的巨大經(jīng)濟價值，可能為各個行業(yè)創(chuàng)造2.6萬億至4.4萬億美元的價值。”

此外，據(jù)外媒報道，光速印度合伙人Hemant Mohapatra將Sora的出現(xiàn)比作為潘多拉的魔盒已經(jīng)打開，將會讓一切都發(fā)生改變。“它生成的視頻質(zhì)量之高，會讓庫存視頻生成公司立即感受到威脅。”

二級市場的腥風(fēng)血雨已經(jīng)可以印證這一說法。Sora發(fā)布的次日，美國電腦軟件公司Adobe股價暴跌超7%；美國圖片庫、圖片素材、圖片音樂和編輯工具供應(yīng)商Shutterstock跌超5%；幾周前發(fā)布了“文生視頻”工具Lumiere的谷歌母公司股價下挫1.58%。三家公司一天內(nèi)就合計蒸發(fā)近480億美元的市值。

另一方面，隨著AI的快速發(fā)展，有關(guān)其風(fēng)險的討論也一直未曾停歇，如何防止其被濫用或誤用以及如何避免其對人們的認知產(chǎn)生負面影響是業(yè)內(nèi)許多專家探討的重點之一。

“視頻生成很容易應(yīng)用在詐騙領(lǐng)域。很多地方都有人臉識別，視頻生成也讓過往的技術(shù)變得不再安全。為了減輕這些技術(shù)可能帶來的風(fēng)險，建立健全的道德準則、實施嚴格的數(shù)據(jù)隱私措施，以及確保AI模型開發(fā)和使用的透明度至關(guān)重要。”許彬告訴記者。

隨著AI的發(fā)展，各國也在致力于加強對AI的監(jiān)管。早在去年10月，美國白宮首次發(fā)布針對AI的行政令，將對AI研發(fā)和應(yīng)用制定全面的監(jiān)管標(biāo)準。去年11月，中國、美國、英國、歐盟等多方代表在首屆全球人工智能安全峰會上簽署了《布萊切利宣言》。

許彬認為，未來，重點可能會轉(zhuǎn)向增強（AI）能力，同時確保以合乎道德和負責(zé)任的方式開發(fā)和使用它們，以最大限度地發(fā)揮其對各個行業(yè)的積極影響。“AI視頻模型正在朝著更負責(zé)任的AI實踐方向發(fā)展，（需要）通過投資研發(fā)來增強AI應(yīng)用的安全性和保障。采取積極主動的方法來解決這些社會和倫理問題是可能的。”

記者手記丨從舊架構(gòu)中實現(xiàn)新突破，OpenAI的邊界不止于此

OpenAI的每一次動作幾乎都會給科技圈帶來一次巨震。盡管文生視頻模型已非首次發(fā)表，但毫無疑問，Sora帶來了一次質(zhì)的飛躍，在時長、連貫性和視覺細節(jié)等方面的突破都是前所未有的。

而令記者感到驚訝的是，在查閱相關(guān)的技術(shù)解讀時發(fā)現(xiàn)，Sora從底層架構(gòu)上來說并非是全新的技術(shù)，例如，DiT架構(gòu)和Patch的論文都是去年就發(fā)表的。從Sora身上，也可以看到OpenAI過往大語言模型訓(xùn)練的成功經(jīng)驗。然而，只有OpenAI從舊架構(gòu)中實現(xiàn)了新的突破，這或許意味著，無論是OpenAI這家公司，還是AI算法本身，它們的邊界還遠不止于此。

Sora再次展示了AI的無限可能，行業(yè)的顛覆也可能再次到來。不過，有技術(shù)從業(yè)者也告訴記者，在觀察Sora的提示詞發(fā)現(xiàn)，文生視頻模型的使用門檻比較高，用戶要有比較強的描述能力。若要完成一個品質(zhì)較高的作品，也很考驗用戶的審美能力。

與此同時，也不得不提到AI風(fēng)險的老生常談。更上一層樓的技術(shù)可能將為AI詐騙等犯罪行為提供溫床，因此，建立健全監(jiān)管措施，確保AI不被誤用和濫用是一項重要的議題。

策劃|肖勇 孫宇婷

記者|文巧 鄭雨航

編輯|蘭素英

視覺|劉青彥

視頻|張涵

排版|蘭素英

（實習(xí)生楊藍西、陳君瑤對本文亦有貢獻。）