OpenAI又打出王炸！一句話生成60秒視頻，馬斯克：人類認輸吧

電子發燒友網報道（文/梁浩斌）在大年初七，春節假期的尾聲，OpenAI突然發布的AI文字生成視頻模型Sora被全網刷屏，馬斯克甚至感嘆“gg Humans”（gg是good game的縮寫，在競技游戲中原意為稱贊對方打得不錯，但目前主流的含義是代表認輸退出）。

文字生成視頻的AI模型其實之前也有不少，比如去年11月美國AI初創公司Pika Labs發布的Pika 1.0；去年Runway推出了文生視頻模型Gen-1，并完成了兩次迭代；還有谷歌團隊發布的視頻生成模型VideoPoet。但問題在于，此前市面上的文生視頻模型只能生成數秒，最高十多秒的視頻。而Sora一上來就是60秒的視頻長度，且生成視頻的細節、質量幾乎“秒殺”其他文生視頻模型，這足以顛覆目前的視頻生成模型初創公司的格局。

視頻生成質量炸裂，好萊塢時代要結束了？

Sora生成的視頻效果有多強？下面是OpenAI在官網展示的第一個視頻，也是最能夠表現Sora實力的視頻。


這個視頻的提示詞為“一位時尚女士走在東京的街道上，街道上充滿了溫暖的霓虹燈和動畫城市標志。她穿著黑色皮夾克、紅色長裙和黑色靴子，拿著一個黑色錢包。她戴著太陽鏡，涂著紅色口紅。她走路自信而隨意。街道潮濕且反光，形成了五顏六色燈光的鏡面效果。許多行人四處走動?！?br />
從視頻中，無論是運鏡還是人物、地面、背景的細節，還有拉進鏡頭后人物面部上的皺紋、毛發、墨鏡上的反光，都幾乎可以以假亂真，畫面穩定不錯位。在長達60秒的視頻里，畫面隨鏡頭的大幅度運動并沒有出現錯位的情況，整體風格保持了驚人的一致性。

在復雜場景方面，另一個演示視頻同樣展現了Sora的炸裂效果。下面這個視頻使用的提示詞為：“一段美麗的自制視頻展示了2056年尼日利亞拉各斯的人們。用手機相機拍攝?！?br />
同樣是運鏡幅度巨大的場景，同時背景有大量的人物。在以往的文生圖模型中，類似這種背景有人群的圖片都會產生很多錯位，很容易看出AI的痕跡，而在Sora生成的這個視頻里，背景人群不仔細看很難發現有錯誤，特別是在動態的視頻當中。另一方面在視頻后半段的人物近景里，大幅度運動的鏡頭同樣沒有對人物造成影響，畫面細節極為穩定。

Sora生成視頻的穩定，不止于單鏡頭的運動，即使是多鏡頭的畫面切換中，依然能夠保持色彩、畫面風格的一致

除了真實場景之外，Sora還能以動畫風格生成視頻。比如使用提示詞：“動畫場景特寫了一個跪在融化的紅燭旁的毛茸茸的小怪物。藝術風格是3D和現實主義的，重點是照明和紋理。這幅畫的基調是驚奇和好奇，因為怪物睜大眼睛張著嘴凝視著火焰。它的姿勢和表情傳達出一種天真和頑皮的感覺，就好像它是第一次探索周圍的世界。暖色和戲劇性燈光的使用進一步增強了圖像的舒適氛圍?！?br />

生成出的動畫形象與皮克斯電影幾乎不相上下，此前在動畫電影中大費周章渲染出的毛發，如今AI直接一鍵生成！難怪會有網友表示“好萊塢的時代要結束了”。

有博主將Sora跟Pika、Runway、Stable Video等幾個模型進行對比，對其輸入同樣的提示詞：“美麗、多雪的東京城熙熙攘攘。鏡頭穿過熙熙攘攘的城市街道，跟隨幾個享受美麗的下雪天氣和在附近攤位購物的人。絢麗的櫻花花瓣隨著雪花隨風飛舞?！?br />
結果Sora生成的視頻無論是時間長度、還是運鏡、畫面細節，都完勝其他幾個模型生成出的視頻。比如Pika和Runway生成的視頻在短短幾秒時間里都只有固定鏡頭畫面，Stable Video有鏡頭移動的變化，但時長太短。

Sora還未完美，OpenAI揭秘背后技術

目前Sora還未對大眾開放，OpenAI表示Sora正在面向部分用戶開放，以評估關鍵領域的潛在危害或風險。同時，OpenAI也邀請了一批視覺藝術家、設計師和電影制作人加入以推動模型的發展。

當然，在驚艷的演示視頻外，Sora的視頻生成也并非完美。OpenAI也表示，目前的模型可能難以準確模擬復雜場景的物理特性，也可能不理解因果關系的具體實例，比如一個人咬了一口餅干，餅干上可能沒有咬痕。Sora生成的視頻還可能混淆提示詞中關于空間的細節（比如左右），并且難以準確描述隨時間發生的事件，比如跟隨特定的鏡頭軌跡等。


比如上面動圖中所使用的提示詞為“五只灰狼崽在一條偏僻的碎石路上嬉戲追逐，周圍都是草地。小狗們奔跑跳躍，相互追逐，相互撕咬，嬉戲玩?！?，但實際畫面中灰狼數量出錯，并且部分是憑空出現又憑空消失，出現身體互相重疊等現象。

對于Sora背后使用的技術，OpenAI在官網上發布了一篇報告進行了介紹，但只提到了方便大模型進行訓練的數據處理方式和對Sora局限性的評價，沒有太多技術細節。

根據介紹，Sora是一種diffusion模型，它從一個看起來像靜態噪聲的視頻開始生成視頻，并通過多個步驟去除噪聲來逐漸轉換視頻。與GPT相似，Sora算法層面也采用了transformer，以釋放出強大的擴展性能。

OpenAI表示，Sora是以過于公司對DALL·E和GPT模型的研究作為基礎，使用了DALL·E 3中的重新標注技術。通過用一個能夠生成詳細描述的標注模型，為訓練集中的所有視頻生成詳細的文字說明，這能夠提高文字準確性的同時，還能提升視頻的整體質量。

與DALL·E 3類似，OpenAI也使用了GPT將簡短的用戶提示詞轉換為更詳細的文本，所以Sora能夠準確理解用戶提示，并生成對應視頻。

另外，OpenAI還透露了Sora的其他能力，包括接受圖像和文本說明輸出視頻、能夠以時間線向前或向后擴展視頻、生成圖像、改變視頻風格和環境、無縫連接兩個不同視頻等等。

業界大佬評價：“真的非常?！薄爸忻繟I差距進一步拉大”

Sora的“刷屏”，引起了多位業內大佬的關注。前阿里技術副總裁賈揚清也感嘆“Sora真的非常?！?，并認為對標OpenAI的公司有一波被其他大廠因為害怕錯過AI而收購相關公司的機會。對于其他算法小廠，賈揚清建議“要不就算法上媲美OpenAI，要不就垂直領域深耕應用，要不就開源”，最后他預言AI infra（AI基礎設施）的需求會繼續猛增。

360董事長周鴻祎則回應了如何看待Sora的問題，他認為科技競爭最終比拼的是讓人才密度和深厚積累，“很多人說 Sora的效果吊打Pika和Runway。這很正常，和創業者團隊比，OpenAl 這種有核心技術的公司實力還是非常強勁的。有人認為有了AI以后創業公司只需要做個體戶就行，實際今天再次證明這種想法是非?？尚Φ??！?br />
周鴻祎還表示，AI不一定那么快顛覆所有行業，但它能激發更多人的創作力。關于國內外的AI大模型差距，周鴻祎認為國內大模型發展距離GPT-4.0還有一年半的差距，并且相信OpenAl手里應該還藏著一些秘密武器?！皧W特曼是個營銷大師，知道怎樣掌握節奏，他們手里的武器并沒有全拿出來。這樣看來中國跟美國的AI差距可能還在加大?！?br />
關于大模型本身，周鴻祎對Sora理解為OpenAl利用它的大語言模型優勢，把LLM和 Diffusion結合起來訓練，讓Sora實現了對現實世界的理解和對世界的模擬兩層能力，這樣產生的視頻才是真實的，才能跳出2D的范圍模擬真實的物理世界。而得益于大量視頻的訓練，周鴻祎認為AI對世界的理解將遠超文字學習，可能未來一到兩年就能實現AGI（通用人工智能）。

而作為去年年底爆火的AI視頻生成初創公司Pika創始人，郭文景將Sora的發布視為動力，表示“我們覺得這是一個很振奮人心的消息，我們已經在籌備直接沖，將直接對標 Sora?！?br />