文生視頻Pika 1.0爆火！一句話生成視頻，普通人也能當“導演”

電子發燒友網報道（文/李彎彎）11月29日，美國AI初創公司Pika labs發布了全新的文生視頻產品Pika 1.0，這款產品能夠生成和編輯3D動畫、動漫、卡通和電影。用Pika 1.0制作視頻幾乎不需要任何門檻，用戶只需要輸入一句話，就可以生成想要的各種風格的視頻，并通過簡單的描述，更改視頻中的形象和風格。

一句話生成視頻，顛覆傳統視頻制作

Pika成立于今年4月，創始人郭文景和聯合創始人兼CTO Chenlin Meng，都是斯坦福大學AI Lab博士生。一位專注于NLP（自然語言處理）和圖形學，另一位主攻計算機視覺方向，都有生成式AI的學術經歷。今年7月，Pika在Discord推出服務器，截至目前用戶已超50萬，每周能生成數百萬個視頻。

11月29日，Pika Labs正式推出了最新一代視頻生成模型Pika 1.0。Pika 1.0 不僅對視頻生成質量進行了提升，還支持 3D 動畫、動漫或電影等多種風格視頻。此外，用戶還能夠通過 Pika 實現畫布延展、局部修改、視頻時長拓展等編輯需求。

具體來看，Pika 1.0的效果有多驚艷。視頻生成方面，可以通過文字生成視頻，也可以圖片生成視頻。比如，只需輸入提示詞“馬斯克穿著太空服，3D動畫”，一個動畫版本、穿著太空服準備乘坐火箭上太空的馬斯克即可生成，外形、動作、背景等元素均十分逼真，可以媲美花大成本制作的3D動畫影像。





這是文字生成視頻，另外也可以圖片配合提示詞生成視頻，圖片為第一幀，再用文字控制動畫變化效果和鏡頭。比如，可以輕松讓名畫《最后的晚餐》變得生動起來。



除了文字生成視頻，圖片生成視頻，還可以通過原有視頻生成更高質量的視頻。其展示了一個騎馬的黑白原視頻，通過Pika 1.0生成了物種不同風格的動畫，幾乎涵蓋現有電影和動畫大部分風格，看上去質量效果非常好。



除了視頻生成，Pika 1.0還能夠進行視頻編輯，用戶只需要選定編輯區域，就能根據文本提示詞修改特定區域。比如，不喜歡視頻中的衣服，可以輕松更換衣服的款式和顏色；只需要用鼠標框一下，輸入“一副酷酷的太陽鏡”，馬上就能給視頻中的狒狒帶上墨鏡。




此外，Pika 1.0還能夠修改輕松修改視頻尺寸。雖然這個技術在AI繪畫領域早就實現了，但是目前Pika第一個將其用在視頻領域。



總的來說，Pika 1.0的功能包括：文本生成視頻、圖像生成視頻功能，只需要輸入簡單的文本描述，或上傳圖像配合文字，就可以創建高質量的視頻；視頻風格轉換；對視頻內容進行編輯，更改或者增加圖片里面的元素，還能夠更改視頻的寬高比尺寸等。

據稱，當前Pika Labs團隊僅有4位全職成員，但兼具學術和創意兩個領域的頂尖人才。Demi Guo 和 Chenlin Meng 同為 Stanford AILab 的博士研究人員，擁有頂尖的學術和科研經歷；Karli Chen 作為團隊第三位創始人及創始工程師擁有CMU的ML&CV碩士學位，Karlin 本科期間就在機器視覺公司 SenseTime 擔任工程師；Matan Cohen-Grumi則在創意領域經驗豐富。

在正式推出Pika 1.0的同一天，Pika也公開透露，目前已完成A輪融資，籌資總額達到5500萬美元。投資人包括OpenAI創始成員安德烈·卡帕西（Andrej Karpath）、Github前CEO納特·弗里德曼（Nat Friedman）、Quora創始人亞當·迪安杰羅（Adam D'Angelo）等。

目前Pika 1.0已經開啟申請試用，該公司表示，正在努力修改算法進一步改進模型，并開發用于過濾受版權保護材料的模型。另外，目前Pika的產品還是免費的，但最終可能會推出分層訂閱模式，付費用戶能享受更多功能。同時Pika也在開啟招聘計劃，包括技術、產品、運營等，預計明年會將團隊擴充到20人。

AI視頻生成技術的前景及挑戰

近段時間，除了Pika 1.0，已經有多家企業發布新的視頻生成工具。11月16日，社交媒體巨頭Meta發布工具Emu Video，能夠基于文本和圖像輸入生成視頻剪輯。幾乎同時，字節跳動發布了PixelDance模型，通過描述（純文本）+首幀指導（圖片）+尾幀指導（圖片），即可生成包含復雜場景和動作的視頻。

11月21日，Runway動態筆刷Motion Brush面世，該工具發布的時候引起不小的關注，其特別之處在于，只需在任意圖片上抹一筆，就能讓其變成一段動態視頻。作為最早探索視頻生成領域的領頭羊之一，過去一年，Runway先后發布了 Gen1、Gen2，此次推出的Motion Brush在可靠性上更是又向前邁進一大步。



11月24日，專注于開發人工智能產品的初創公司Stable AI發布了其最新的AI模型Stable Video Diffusion（穩定視頻擴散模型），這款模型能夠通過現有圖片生成視頻，是基于之前發布的Stable Diffusion文本轉圖片模型的延伸。

除此之外，Adobe也在文生視頻領域有新動作。日前，該公司宣布已收購AI視頻生成創業公司Rephrase.ai，后者主要通過AI技術將文本轉換為虛擬形象視頻。Adobe高級副總裁兼總經理Ashley Still稱，Rephrase.ai團隊在生成式AI音視頻技術、文本到視頻生成工具方面的專業知識將擴展Adobe的生成式視頻功能。

從Adobe收購Rephrase.ai，及國內外企業紛紛布局AI視頻生成領域，可以看到，AI生成內容大潮已經逐漸從文本和圖片，進一步轉向視頻生成。

當前，短視頻、短劇市場方興未艾，AI視頻技術的不斷成熟和應用，有望讓視頻創作更簡單，成本更低。正如在Pika 1.0發布之際，OpenAI創始成員安德烈·卡帕西（Andrej Karpathy）在X平臺發文感慨“每個人都能成為多模式夢想的導演，就像《盜夢空間》中的建筑師一樣?！?br />
全世界最大的AI開源社區Hugging Face的CEO克萊門特（Clement）表示：“2024年，某個主流媒體領域將會充斥AI生成的內容?！?br />
AI視頻生成有著可想象的美好前景，同時當前來看，它也存在一些挑戰。它與此前的AI生成圖片有所不同，Pika Labs創始人Demi接受媒體采訪時表示，視頻有很多和圖片不一樣的問題，比如要確保視頻的流暢性、確保動作，視頻比圖像更大，需要更大的GPU內存，視頻生成需要考慮邏輯問題，還要考慮如何生成，是一幀一幀生成，還是一起生成，現在很多模型是一起生成，生成的視頻就很短。如果要一幀一幀生成，要怎么做，其實視頻生成有很多圖片生成不會面臨的新的技術問題。

該公司的聯合創世人Chenlin談到，雖然視頻的每一幀都是一張圖片，但比圖片困難得多。每一幀的生成質量要高，相鄰幀之間還要有關聯性。當視頻很長時，確保每一幀都協調一致是個相當復雜的問題。在訓練時，處理視頻數據時要處理多張圖片，模型需要適應這種情況。比如，如何將100幀圖片傳輸到GPU上是一個挑戰。而在推理時，由于涉及到生成大量幀，推理速度相對于單張圖片會更慢，計算成本也會增加。

從目前的情況來看，雖然現在的AI視頻生成已經展現出很驚人的效果，不過仍然面臨新的挑戰，還有需要突破的地方，比如視頻的時長，清晰度等等，相關企業對此還需要持續探索。

總結

過去兩年，生成式AI大潮席卷全球，圖片生成率先火出圈并獲得大量使用，不少AI創業企業也因此實現盈利。如今，AI視頻生成逐漸成為創業企業及資本追逐的新熱點，目前已經有眾多企業推出相關產品，隨著Pika 1.0的發布，AI視頻生成技術也走上了一個新高度?？梢韵胂?，隨著技術的不斷突破，AI視頻生成技術將短視頻、短劇等行業帶來新的可能。