阿里云視頻生成技術創新！視頻生成使用了哪些AI技術和算法

電子發燒友網報道（文/李彎彎）日前，阿里云宣布通義實驗室研發的視頻生成模型EMO正式上線通義App，免費對所有人開放。借助這一功能，用戶可以在歌曲、熱梗、表情包中任選一款模板，然后通過上傳一張肖像照片就能讓 EMO 合成演戲唱歌視頻。

阿里云在視頻生成領域的創新

EMO（Emote Portrait Alive）是一個由阿里巴巴集團智能計算研究院開發的框架，一個音頻驅動的 AI 肖像視頻生成系統，能夠通過輸入單一的參考圖像和語音音頻，生成具有表現力的面部表情和各種頭部姿勢的視頻。

據介紹，通義 App 首批上線了80多個 EMO 模板，包括熱門歌曲《上春山》《野狼 Disco》等，還有網絡熱?！袄徖忞u”“回手掏”等。EMO自2月底公布模型論文以來，在海內外引發廣泛關注，并與OpenAI的Sora模型相提并論。

具體來看，EMO的功能包括，音頻驅動的視頻生成，通過輸入一段音頻（如語音、歌曲等）和一張參考圖片（通常是人物的肖像），就能生成一個動態的、與音頻內容同步的視頻。

阿里EMO使用先進的音視頻擴散模型和注意力機制，能夠生成具有高度真實感和豐富表現力的肖像視頻。肖像的表情和動作會非常自然和流暢，與音頻內容緊密同步。

阿里EMO的應用場景非常廣泛。它不僅可以用于娛樂和創作領域，如讓歷史人物“復活”、為電影角色配音等，還可以用于教育、廣告、游戲等多個領域，為用戶提供更多樣化、個性化的視頻內容。

另外，阿里EMO采用高效的算法和計算框架，能夠在較短的時間內生成高質量的肖像視頻。這為用戶節省了大量的時間成本，提高了工作效率。

阿里EMO的框架還具有良好的可擴展性和靈活性，可以根據用戶的具體需求進行定制和優化。例如，可以通過調整參數或添加新的模型組件來優化生成視頻的質量和性能。

阿里在視頻生成領域做過非常多創新，此前還推出過VideoComposer，這是一個結合了空間條件和時序條件的視頻生成框架。它利用單張圖像或草圖作為空間條件，同時結合運動矢量和深度序列等時序條件，來生成具有高度視覺逼真度的視頻。

阿里云還發布了AtomoVideo模型，這是一種能夠從單一靜態圖像生成高保真視頻序列的技術。它結合了個性化文本到圖像（T2I）模型，能夠根據文字描述和靜態圖片生成符合描述的視頻內容。

此外，阿里云視覺智能開放平臺提供了豐富的視頻生產能力，包括視頻摘要、視頻編輯、視頻人臉融合等功能。這些功能可以應用于電商、影視、廣告等多個領域，幫助用戶快速生成高質量的視頻內容。

視頻生成使用到的AI技術和算法

視頻生成是一個涉及多個步驟和技術的過程，目前國內外有多款視頻生成工具，如Pixverse、Pika、Runway Gen-2、Kaiber、Plaiday、Genmo等。其中，Pika因其高質量和穩定的畫面生成能力而受到用戶好評，Runway Gen-2則可以將midjourney生成的圖像轉換為高質量動畫。另外，Sora作為一款新興的視頻生成工具，其獨特之處在于能夠生成高質量的長視頻內容，并理解長文本指令以生成詳盡細節的視頻內容。

從算法的角度來看，視頻生成涉及到一些基本的算法和技術。例如，循環神經網絡（RNN）中的GRU和LSTM可以有效避免梯度下降和衰減的問題，而encoder-decoder架構則使得機器翻譯等任務的效果大幅提升。在視頻生成領域，這些算法和技術可能用于生成視頻的內容、結構、風格等方面。

視頻生成采用了相當多的技術，包括深度學習模型，這是視頻生成中最為關鍵的技術之一。深度學習模型，特別是生成對抗網絡（GANs）和變分自編碼器（VAEs），被廣泛應用于視頻生成中。這些模型能夠學習并模仿視頻數據的分布，從而生成新的、與原始數據相似的視頻。

計算機圖形學，它在視頻生成中扮演著重要角色，特別是在創建虛擬場景、角色和特效時。通過計算機圖形學技術，可以生成逼真的虛擬場景和角色，并將其與真實視頻相結合，創造出獨特的視覺效果。

物理模擬，為了生成更逼真的視頻，物理模擬技術被用來模擬物體的運動和交互。這包括模擬物體的運動軌跡、碰撞效果、光影變化等，以使得生成的視頻更加真實可信。

自然語言處理，隨著技術的發展，自然語言處理（NLP）也被應用于視頻生成中。通過解析文本描述，NLP技術可以指導視頻生成模型生成與文本內容相匹配的視頻。這為視頻生成提供了更多的創意和可能性。

還有音頻合成技術，除了視覺元素外，音頻也是視頻的重要組成部分。音頻合成技術可以生成與視頻內容相匹配的音效和背景音樂，從而提升視頻的觀看體驗。此外，還有一些其他的技術也被用于視頻生成中，如增強學習、遷移學習等。這些技術使得視頻生成更加靈活、高效和多樣化。

寫在最后

經過近些年的發展，視頻生成技術也逐漸成熟，并且在新聞報道、廣告制作、教育培訓、電影與游戲制作、醫療健康等領域有不少實際的應用案例。未來，娛樂與媒體、廣告與營銷、教育培訓、虛擬現實/增強現實、醫療健康等都將會成為視頻生成技術的主流應用。