除了刷屏的Sora，國內外還有哪些AI視頻生成工具

電子發燒友網報道（文/李彎彎）近日，OpenAI發布的文生視頻模型Sora全網刷屏。相比之前的文生視頻模型，Sora無論是視頻時長，還是畫面精細度，細節完整性，或是多鏡頭拍攝，都更為突出。Sora的發布也讓AI生成視頻有了突破性進展。

過去一年多，全球科技公司都在發布各種大模型，然而AI生成內容更多集中在文本和圖片方面，AI視頻生成方面卻進展緩慢。從當前的形勢來看，AI視頻生成在今年或許會有一番新景象。那么目前國內外都有哪些AI視頻生成工具，效果如何呢？

Sora

OpenAI發布的新型視頻生成模型Sora，其核心能力是能夠生成長達一分鐘的高清視頻，這一時長遠超之前的生成模型。而且，Sora生成的視頻不僅畫質卓越，細節豐富，而且幀率高、連續性好，幾乎達到了無縫銜接的效果。

從OpenAI官網展示的一個視頻來看，輸入提示詞“一位時尚女士走在東京的街道上，街道上充滿了溫暖的霓虹燈和動畫城市標志。她穿著黑色皮夾克、紅色長裙和黑色靴子，拿著一個黑色錢包。她戴著太陽鏡，涂著紅色口紅。她走路自信而隨意。街道潮濕且反光，形成了五顏六色燈光的鏡面效果。許多行人四處走動?！?br />
生成的視頻，無論是運鏡還是人物、地面、背景的細節，還有拉進鏡頭后人物面部上的皺紋、毛發、墨鏡上的反光，都幾乎可以以假亂真，畫面穩定不錯位。在長達60秒的視頻里，畫面隨鏡頭的大幅度運動并沒有出現錯位的情況，整體風格保持了驚人的一致性。

據IDC中國預測，Sora將率先在短視頻、廣告、互動娛樂、影視制作和媒體等行業中得到應用。在這些領域，利用Sora的多模態大模型能力，可以輔助內容行業的工作者更高效地創作視頻，不僅加快了生產速度，還提高了產出數量，并為用戶帶來前所未有的視覺體驗。這將助力企業實現成本降低、效率提升，并進一步優化用戶體驗。

Pika 1.0

在OpenAI發布視頻生成模型Sora之前，去年11月29日，美國AI初創公司Pika labs發布的文生視頻產品Pika 1.0呈現的效果在當時也相當驚艷。Pika labs是一家成立于去年4月份的初創公司，創始人郭文景和聯合創始人兼CTO Chenlin Meng，都是斯坦福大學AI Lab博士生。一位專注于NLP（自然語言處理）和圖形學，另一位主攻計算機視覺方向。

據介紹，該公司推出的視頻生成模型Pika 1.0能夠生成和編輯3D動畫、動漫、卡通和電影。視頻生成方面，可以通過文字生成視頻，也可以圖片生成視頻。比如，只需輸入提示詞“馬斯克穿著太空服，3D動畫”，一個動畫版本、穿著太空服準備乘坐火箭上太空的馬斯克即可生成，外形、動作、背景等元素均十分逼真，可以媲美花大成本制作的3D動畫影像。

Pika 1.0還可以通過原有視頻生成更高質量的視頻。該公司當時展示了一個騎馬的黑白原視頻，通過Pika 1.0生成了物種不同風格的動畫，幾乎涵蓋現有電影和動畫大部分風格，看上去質量效果非常好。除了視頻生成，Pika 1.0還能夠進行視頻編輯，用戶只需要選定編輯區域，就能根據文本提示詞修改特定區域。

在當時來看，Pika 1.0的出現可以說效果好于之前的文生視頻模型。然而隨著現在Sora的出現，Pika或許會感覺到壓力。Pika公司創始人郭文景表示，“我們覺得這是一個很振奮人心的消息，我們已經在籌備升級中，將直接對標 Sora?！?br />
Gen-2

相比于OpenAI和Pika，成立于2018年的AI初創公司Runway應該是最早探索視頻生成領域的企業。2022年2月，Runway發布了Gen-1，可以對原視頻進行風格化的編輯。3月該公司又發布了生成式AI視頻模型Gen-2，允許用戶輸入文本提示生成四秒長視頻，8月，Runway添加了一個選項，可以將 Gen-2 中人工智能生成的視頻延長至 18 秒。

在隨后的幾個月，Runway還對Gen-2 做了幾次更新。之后更是推出動態筆刷Motion Brush，它是Runway視頻生成工具Gen-2的一部分。Runway動態筆刷是一種利用人工智能技術讓靜止圖片中的物體動起來的功能，你只需要在圖片上用畫筆涂抹你想要動起來的部分，Runway就會自動識別物體的運動軌跡和特征，生成逼真的動態效果。該工具的發布引起業界不小的關注。

在Pika 1.0和Sora出現之前，Runway的Gen-2模型被認為是AI視頻制作的頂尖模型，它制作出來的視頻效果逼真、流暢、高清。隨著OpenAI Sora的發布，Runway接下來或許會有新動作，在Sora發布之后，Runway CEO第一時間在X上發推特稱“game on（競爭開始了）”。

Stable Video Diffusion

在圖片生成領域遙遙領先的Stability AI，去年11月發布了其最新的AI模型Stable Video Diffusion，這款模型能夠通過現有圖片生成視頻，是基于之前發布的Stable Diffusion文本轉圖片模型的延伸，不過當時，這款模型并不是對所有人開放的。

據介紹，Stable Video Diffusion當時還處于Stability AI所謂的“研究預覽”階段。想要使用這款模型的人必須同意一些使用條款，其中規定了Stable Video Diffusion的預期應用場景（例如教育或創意工具、設計和其他藝術過程等）和非預期的場景（例如對人或事件的事實或真實的表達）。

從網友對比反饋來看，Stable Video Diffusion生成視頻的效果可以與當時被看好的的Runway 和Pika Labs 的AI生成視頻相媲美。不過局限性在于，Stability AI的視頻生成模型，不能生成沒有運動或緩慢的攝像機平移的視頻，也不能通過文本進行控制，也不能渲染文字（至少不能清晰地渲染），也不能一致地“正確地”生成人臉和人物。

寫在最后

目前來看，在視頻生成方面，表現比較優秀的幾個模型就是上文提到的OpenAI發布的Sora，以及Pika labs、Runway、Stability AI發布的視頻模型。其中Sora無論是在時長，還是運鏡、畫面細節等方面都更為突出。Stability AI的模型目前還不能進行文本生成視頻。

除了這幾款視頻生成工具之外，還有一些企業在文生視頻方面也有動作，包括Adobe，該公司宣布已收購AI視頻生成創業公司Rephrase.ai；谷歌，其團隊已經發布發布了視頻生成模型VideoPoet。

國內的字節跳動、百度、阿里在這方面也有動作。字節跳動此前就推出了一款視頻模型Boximator，可以通過文本精準控制生成視頻中人物或物體的動作。不過近日，字節跳動對此回應稱，Boximator是視頻生成領域控制對象運動的技術方法研究項目，目前還無法作為完善的產品落地，距離國外領先的視頻生成模型在畫面質量、保真率、視頻時長等方面還有很大差距。

另外值得關注的是，2月23日消息，谷歌資深科學家、VideoPoet項目負責人蔣路已加入字節跳動旗下短視頻社交平臺TikTok。字節跳動接下來在視頻生成方面的研究還是可以期待一下。

早前就傳出百度文心大模型視頻生成功能在內測中，不過目前還沒進展的消息。阿里在去年底也上線了Animate Anyone模型，通過一張圖片就能生成視頻，當時有網友用一張照片生成了一段跳舞視頻，每一個動作都十分自然，幾乎可以亂真，在網絡上引起大量傳播。

總的來說，目前國內外已經有不少企業在探索視頻生成領域，包括國內的字節跳動、百度、阿里，雖然已經逐漸有一些進展。不過相比OpenAI、Pika labs、Runway等的視頻模型，還存在差距。