AIGC或成為音視頻的核心技術之一

編者按：一直以來，王聞宇都是一位對前沿科技有著敏銳嗅覺的技術人。AIGC的爆發和Apple Vision Pro的出現讓他產生了新的靈感，并對未來的音視頻技術有了不一樣的思考。這次，LiveVideoStack對話PPIO創始人王聞宇，分享他對AIGC和元宇宙的獨特見解，以及他會在LiveVideoStackCon上海站分享的內容。

LiveVideoStack：王聞宇老師您好，非常高興您能再次來到LiveVideoStackCon，您已經是我們LVS的老朋友了。能聊聊上次北京站帶給您的收獲嗎？

王聞宇：關于上次大會我的感受有幾個：疫情結束了，這次人非常多，感受到了音視頻行業的紅火，也能和很多朋友見面，很開心；新應用場景多了，元宇宙，云渲染，云游戲類的Topic多了一些；更加面向未來了，更加有趣了。 LiveVideoStack：我們注意到您是一位非常善于觀察，并且對新技術有敏銳嗅覺的技術人。您最近最關注的技術問題或技術趨勢是什么？

王聞宇：從技術發展的角度來看，科技變化的要素通常是決定技術發展方向的關鍵因素。站在2023年的視角，我們可以看到兩個核心的技術變化要素：AIGC和蘋果MR設備的發布。 在AIGC方面，LLM大模型為機器賦予了智能，而StableDiffusion則能夠高效生成圖片和簡單動畫。這些技術的應用前景非常廣闊。 另一方面，蘋果的MR設備Apple Vision Pro定義了混合現實的概念，打破了VR/AR產品的定義。通過超高清攝像頭，MR設備可以通過僅有12ms的延遲原封不動地展示現實畫面，并疊加想要顯示的任何元素。這將會開啟元宇宙的全新篇章。

LiveVideoStack：您本次演講的主題為《AIGC音視頻工具分析和未來創新機會思考》，為什么這次將重點放在了AIGC工具上？

王聞宇：因為AIGC的發展太驚艷了， 實在忍不住想講，而且我預感AIGC能成為音視頻的核心技術之一。它可以通過對音視頻數據的分析和處理，實現更加智能化、高效化的功能，從而提升用戶體驗和生產效率。另外我們作為一個提供算力基礎設施的公司，AIGC領域也是PPIO邊緣云算法的發展方向之一。同時，PPIO邊緣云也在積極探索AIGC技術在音視頻領域的應用，希望能夠為用戶提供更加智能化、高效化的音視頻服務。

LiveVideoStack：您認為大語言模型的出現和AIGC技術的發展為音視頻帶來了哪些最直觀的變化？

王聞宇：從直觀來看，可能帶來了這些變化： ①LLM大語言模型的發展，為機器賦予了智慧，這直接促進了數字人/虛擬人領域的十倍變化要素?；蛟S在不久的將來，我們將會看到虛擬人直播的興起，商家也不再需要辛苦地進行直播了，用戶看到的都是名主播，或者二次元的形象。 ②此外，LLM大語言模型的發展也可能會誕生像游戲《光環》中的數字智能助理Cortana一樣的真人形象智慧數字助理。如果結合元宇宙頭顯，可能還是“全息”的。 ? ③StableDiffusion技術的發展，將會顯著降低內容創作的門檻和提高效率。StableDiffusion Amination技術也能夠制作一些非常簡單的動畫，這將為游戲、電商和短視頻等領域的創作提供更高效率，和更多可能性。

LiveVideoStack：我們注意到，您對Apple Vision Pro的發布非常重視，您認為蘋果頭顯會成為您口中的“超級設備”嗎？它又會為元宇宙、云計算和邊緣計算帶來哪些影響，PPIO在這方面的動作又是什么？ 王聞宇：首先，我認為蘋果Apple Vision Pro是個非常偉大的產品，它引領人類從移動計算時代走向空間計算時代。無縫地將數字內容與您的物理空間融為一體，通過超高清攝像頭把現實畫面通過12ms的延遲原封不動地展示給人眼，還能疊加想顯示的任何東西，創造出一種新的交互環境。還有Apple Vision Pro可以簡單地通過使用您的眼睛、手和聲音來進行操作，不再需要手柄了。

但它是不是“超級設備”呢？還要看上市后市場的反應，目前25000元的價格估計會嚇退不少人，但我相信隨著技術和供應鏈的成熟，價格會逐步下來。Apple Vision Pro的MR設備定位，使得其不僅僅用于游戲場景，它能被用于工作和生活的方方面面，更像元宇宙時代的“手機”。我相信當設備的價格在合適的時候，一定能成為“超級設備”。 我對元宇宙的未來技術思考比較多，我的推演是：元宇宙的終極發展方向是單眼8K+的分辨率，以及20ms以下的M2P延遲。這次蘋果已經做到了單眼4K的分辨率（官方的說法2300萬像素，我猜應該是用的5:4的屏幕，也就是3840*3072，乘以2正好是2300萬像素），另外R1芯片的攝像頭畫面處理，也做到12ms，低于20ms的M2P延遲；我認為這次Apple Vision Pro距離元宇宙的終極體驗，邁進了一大步。 雖然Apple Vision Pro用了MacBook的M1芯片來做計劃，但要實現極致的高清渲染，我看來還是需要顯算分離，具體推演可以看我的文章分析：（PPIO王聞宇：深度解讀蘋果首款MR眼鏡及其對元宇宙技術路線的啟示），在顯算分離的架構下，要做到20ms以下的M2P延遲，邊緣云也是必須的。

我們PPIO邊緣云正通過匯聚邊緣算力資源，提供超低時延和低成本的計算服務。我們要和中心云形成良好的協同，邊緣云并非中心云的替代品，而是起到補足的作用，從而更好地解決客戶需求。

LiveVideoStack：目前，AIGC和音視頻的連接是否還存在一些技術上的障礙，如有，又是哪些呢？

王聞宇：我認為目前AIGC在文字和圖片領域的應用已經取得了很大的成功，但在音視頻領域的應用還比較有限。這并不是因為AIGC技術本身存在障礙，而是因為AIGC技術的成熟度還不夠，使用場景還比較受限。 但我相信，隨著AIGC技術的不斷發展，這些問題都可以得到解決。我們可以想象第一代視頻編解碼技術剛出現時的情況，它們也面臨著各種挑戰和困難。但隨著技術的不斷進步，視頻編解碼技術已經得到了極大的改善和完善，為我們帶來了更加優秀的視聽體驗。同樣地，我相信AIGC技術也將會在音視頻領域中發揮出更加重要和廣泛的作用。

圖為紅衫的AIGC預測表格，Video、3D的Ready for prime time還需要到2030年左右

LiveVideoStack：感謝王聞宇老師的回答。最后，您會給大家帶來哪些精彩內容？您又期待在大會上聽到哪些內容？

王聞宇：之前提到為什么會講AIGC，因為它實在太新奇了，讓我忍不住想分享。所以這次我將主要分享一些音視頻相關的AIGC應用，并思考AIGC與音視頻之間的本質聯系，以及從音視頻行業的角度看，AIGC將帶來哪些創新的機會。希望能夠為大家帶來一些有價值的內容和見解。

編輯：黃飛

?