多媒體夢(mèng)工廠(chǎng)：華為多媒體管線(xiàn)服務(wù)AV Pipeline Kit究竟是什么？

在新聞學(xué)中，有一個(gè)“媒介的雙螺旋”理論，是說(shuō)媒介形式必然會(huì )按照簡(jiǎn)易度和關(guān)聯(lián)度兩條線(xiàn)索螺旋向上升級。無(wú)論是印刷術(shù)、廣播、電視，還是今天的短視頻、直播、VR，每一種媒體形式的出現，都是為了降低用戶(hù)的獲取門(mén)檻，同時(shí)提升內容的關(guān)聯(lián)能力。按照雙螺旋理論，多媒體化的趨勢是不可逆轉的。而優(yōu)秀的表達者、開(kāi)發(fā)者、創(chuàng )業(yè)者，也必然需要多媒體的幫助。

移動(dòng)應用開(kāi)發(fā)者，本質(zhì)上就是利用APP這種介質(zhì)完成對用戶(hù)的表達和溝通。而最能夠幫助開(kāi)發(fā)者提升表達效率，增強用戶(hù)體驗的技術(shù)，可能也就是多媒體技術(shù)了。

曾幾何時(shí)，圖片和文字是APP的主要載體；而今，我們很難想象一款頭部APP中缺少直播、視頻播放的多媒體交互形式。然而對于大部分開(kāi)發(fā)者而言，多媒體功能的開(kāi)發(fā)、部署和運維還存在大量痛點(diǎn)，甚至可能變成開(kāi)發(fā)團隊的過(guò)量成本消耗因素與技術(shù)軟肋。

多媒體開(kāi)發(fā)，本來(lái)應是充滿(mǎn)驚喜感、愉悅感的事情，當然不該成為開(kāi)發(fā)者的瓶頸。此前我們已經(jīng)介紹過(guò)，7月15日HMS Core 6.0正式上線(xiàn)。其中有一項重要更新，叫做華為多媒體管線(xiàn)服務(wù)（AV Pipeline Kit）。

當時(shí)就有朋友希望我們仔細介紹一下AV Pipeline Kit。9月16日，HMS Core AV Pipeline Kit剛剛進(jìn)行了一場(chǎng)線(xiàn)上直播，多個(gè)領(lǐng)域的專(zhuān)家深度講解了AV Pipeline Kit的技術(shù)要點(diǎn)和應用場(chǎng)景。

我們今天就由此出發(fā)，看看AV Pipeline Kit究竟帶來(lái)了什么，又是如何幫助開(kāi)發(fā)者完成和簡(jiǎn)化音視頻采集、編輯和播放等系列工作的。

AV Pipeline Kit通過(guò)一系列技術(shù)與架構設計中蘊藏的驚喜，讓多媒體的開(kāi)發(fā)和管理變得簡(jiǎn)單易用，觸手可及。

它似乎彰顯了這樣一個(gè)理念：多媒體的無(wú)限可能性，本就應該是開(kāi)發(fā)者在智能時(shí)代的夢(mèng)工廠(chǎng)。

實(shí)時(shí)+智能：多媒體與開(kāi)發(fā)者的新約會(huì )

要說(shuō)今天有哪位移動(dòng)開(kāi)發(fā)者沒(méi)有研究過(guò)多媒體開(kāi)發(fā)，那估計是所有人都不信的。

隨著(zhù)消費者“口味”的不斷提升，應用的功能集成性不斷增強，今天的APP早已不是簡(jiǎn)單的網(wǎng)頁(yè)流轉邏輯。試想一下，無(wú)論是社交、旅行、電商，但凡需要用戶(hù)分享和內容分發(fā)的APP，在今天肯定都需要視頻，甚至是直播、AR功能的加入。

但相比于圖文來(lái)說(shuō)，視頻、音頻為代表的多媒體開(kāi)發(fā)與管理有著(zhù)更高的技術(shù)門(mén)檻和開(kāi)發(fā)工作量。尤其隨著(zhù)短視頻、直播的普及，用戶(hù)需要的多媒體玩法也更加復雜。

整體而言，多媒體開(kāi)發(fā)在今天有兩個(gè)核心發(fā)展趨勢：一是更加實(shí)時(shí)化，需要快速完成基于視頻的互動(dòng)和體驗升級，滿(mǎn)足用戶(hù)的及時(shí)分享與獲取需要，這就需要打破傳統的多媒體分發(fā)邏輯，更加關(guān)注端側的性能和能耗；二是更加智能，AI給多媒體帶來(lái)了圖像識別、流媒體超分、語(yǔ)音交互、語(yǔ)音識別的種種可能，這些智能觸發(fā)點(diǎn)極大提升了開(kāi)發(fā)者的能力邊界，但也要求開(kāi)發(fā)者具備更強的技術(shù)能力。

在實(shí)時(shí)化、智能化的新時(shí)代，開(kāi)發(fā)者與多媒體的約會(huì )雖然美好，但也有諸多挑戰。

比如開(kāi)發(fā)難度進(jìn)一步加大，開(kāi)發(fā)成本更高。很多視頻+AI的開(kāi)發(fā)，需要在傳統管線(xiàn)中加入AI處理技術(shù)，這涉及到諸多數據處理能力，對于開(kāi)發(fā)者來(lái)說(shuō)技術(shù)門(mén)檻很高。

再有，端側實(shí)時(shí)化的智能視頻開(kāi)發(fā)很可能遇到算力的瓶頸。云端處理會(huì )導致性能欠佳、體驗較差，但端側算力的性能和框架優(yōu)化卻無(wú)法負載，最終導致很多好的想法付諸東流。

還有一點(diǎn)，給APP添加多媒體功能意味著(zhù)功耗開(kāi)支的加大。如果多媒體缺乏優(yōu)化能力，會(huì )導致APP功耗過(guò)大，容易發(fā)熱，繼而造成用戶(hù)體驗的下降。

這些痛點(diǎn)的存在，讓復雜、創(chuàng )新的多媒體開(kāi)發(fā)經(jīng)常成為工作量大、開(kāi)發(fā)成本大的工作。甚至變成開(kāi)發(fā)者不得不做，但做了之后又占用人力算力過(guò)多，造成開(kāi)發(fā)瓶頸的“雞肋”工作。

那么是不是有什么辦法，可以極大減少開(kāi)發(fā)者在多媒體領(lǐng)域的工作量，并且開(kāi)發(fā)綜合成本極大降低呢？

瞄準這樣的需求，華為海思團隊在2020年年底開(kāi)始了系統設計和相關(guān)調研，今年年初開(kāi)啟開(kāi)發(fā)。在多媒體、NPU、AI算法等相關(guān)團隊的協(xié)同努力下，最終讓集成了多種多媒體管線(xiàn)技術(shù)，并且能極大壓縮開(kāi)發(fā)工作量的AV Pipeline Kit在7月正式發(fā)布。

開(kāi)發(fā)者的創(chuàng )造力與智能時(shí)代的多媒體升級，開(kāi)啟了一場(chǎng)新的約會(huì )。

從智能超分到流水線(xiàn)編排：打開(kāi)多媒體管線(xiàn)的驚喜盒

從音頻到視頻，再到多媒體管線(xiàn)的編排管理，AV Pipeline Kit包含了一系列技術(shù)突破與全新的框架搭建思路。換句話(huà)說(shuō)，它并不是一種單一的技術(shù)插件，而是把多種新技術(shù)、新配置方案放在一起的驚喜盒。打開(kāi)它，開(kāi)發(fā)者可以找到很多期待已久的禮物。

讓我們通過(guò)幾個(gè)AV Pipeline Kit關(guān)注的重點(diǎn)領(lǐng)域，說(shuō)明其中到底蘊藏了哪些驚喜。

首先讓我們來(lái)到“智能+視頻”領(lǐng)域中最常提到的功能：視頻超分。所謂“超分”，可以理解為在視頻播放過(guò)程中進(jìn)行智能識別與銳度優(yōu)化，從而讓視頻看起來(lái)比原本更清晰、明麗。在大型影視和游戲制作中，超分是一種非常關(guān)鍵的技術(shù)，但那有賴(lài)于云端和服務(wù)器。想要在端側在線(xiàn)場(chǎng)景中，幫助開(kāi)發(fā)者獲得實(shí)時(shí)化、高性能的超分，就需要從AI技術(shù)到硬件資源調用的一系列優(yōu)化。

為了幫助開(kāi)發(fā)者便捷獲取真實(shí)可用的逐幀超分能力，實(shí)現超分不卡頓的體驗，AV Pipeline Kit首先在機器視覺(jué)算法上進(jìn)行了一系列技術(shù)突破。比如在A(yíng)I模型結構上應用了卷積神經(jīng)網(wǎng)絡(luò )，提升了復雜真實(shí)場(chǎng)景的超分效果；在數據工程方面，用一系列方法還原了多媒體數據的構造過(guò)程，提升網(wǎng)絡(luò )的優(yōu)化結果；在端側模型壓縮方面，進(jìn)行了新的網(wǎng)絡(luò )小型化探索，確保超分效果可以在端側場(chǎng)景中被很好地執行。

在這一系列的技術(shù)突破后，AV Pipeline Kit可以為開(kāi)發(fā)者帶來(lái)隨時(shí)隨地都能看清的超分效果。通過(guò)調用NPU提供的專(zhuān)項AI處理算力，AV Pipeline Kit可以實(shí)現最高三倍超分效果，將原始片源的觀(guān)看體驗極大提升?；诙藗華I算力和一系列算法優(yōu)化，AV Pipeline Kit在網(wǎng)絡(luò )不均衡的場(chǎng)景下，依舊可以啟動(dòng)超分并達成相對一致的體驗。在給用戶(hù)帶來(lái)智能功能的同時(shí)，還增強了實(shí)時(shí)化的流暢體驗。此外，端側超分技術(shù)的應用可以極大降低開(kāi)發(fā)者的服務(wù)器使用成本，提升開(kāi)發(fā)效率。

目前，AV Pipeline Kit已經(jīng)與某大型流媒體APP達成合作，用戶(hù)在網(wǎng)絡(luò )環(huán)境較差的情況下可以依賴(lài)端側超分，觀(guān)看到流暢自然的視頻畫(huà)質(zhì)。

看過(guò)了“視頻+AI”，讓我們再來(lái)看看音頻領(lǐng)域AV Pipeline Kit帶來(lái)的智能加持?；贏(yíng)I聲音事件檢測技術(shù)，開(kāi)發(fā)者可以實(shí)現非常多前所未有的玩法。比如檢測家中寵物叫聲、檢測孩子哭聲、按門(mén)鈴聲，然后再添加相應的智能服務(wù)。

但AI聲音事件檢測對于開(kāi)發(fā)者來(lái)說(shuō)是比較復雜的技術(shù)，所需的技術(shù)資源與開(kāi)發(fā)經(jīng)驗都很多。AV Pipeline Kit將這些功能以文件配置的形式直接帶給開(kāi)發(fā)者，并且其音頻檢測能力經(jīng)過(guò)華為相關(guān)團隊的長(cháng)期深耕，可以確保聲音識別的準確與穩定。

對于開(kāi)發(fā)者來(lái)說(shuō)，面對多媒體任務(wù)管理與配置時(shí)還有個(gè)很大的問(wèn)題，就是相關(guān)的能力非常復雜，架構相對抽象。這一點(diǎn)讓很多開(kāi)發(fā)者望而卻步，只能應用比較簡(jiǎn)單的多媒體功能，以避免在任務(wù)管理中浪費大量時(shí)間，甚至引發(fā)兼容問(wèn)題。

但這種方式顯然限制了開(kāi)發(fā)者的想象力。AV Pipeline Kit提出了全新的解決方案，也就是流水線(xiàn)編排的多媒體管線(xiàn)服務(wù)。AV Pipeline Kit基于全新的架構梳理，實(shí)現了將不同能力抽象成對應的插件，便于框架進(jìn)行管理。在實(shí)際開(kāi)發(fā)場(chǎng)景中，開(kāi)發(fā)者只需要簡(jiǎn)單配置文件，就可以實(shí)現管理多媒體管線(xiàn)的上下游插件，完成復雜的管線(xiàn)編排。

形象地理解這種操作方式，就是將多媒體任務(wù)放在同一個(gè)“工廠(chǎng)”的框架下，以工業(yè)流水線(xiàn)的形式實(shí)現對各種任務(wù)的編排管理。而各種各樣的多媒體能力就成為了流水線(xiàn)上的產(chǎn)品。作為流水線(xiàn)和工廠(chǎng)的主人，開(kāi)發(fā)者獲得了極高的易用程度，降低了多媒體開(kāi)發(fā)的技術(shù)門(mén)檻。

從AI超分技術(shù)的加入，到流水線(xiàn)編排的實(shí)現，AV Pipeline Kit既有新的能力突破，也有原有功能的重新構筑，可以說(shuō)將多種開(kāi)發(fā)者急需的能力納入一體，帶來(lái)多樣且統一的驚喜盒。

從宏觀(guān)的產(chǎn)業(yè)價(jià)值上看，AV Pipeline Kit又給成為HMS生態(tài)開(kāi)發(fā)者提供了一個(gè)新的契機與理由。

軟硬件一體，構筑HMS的開(kāi)發(fā)夢(mèng)工廠(chǎng)

好萊塢被稱(chēng)為電影的夢(mèng)工廠(chǎng)，不僅是因為這里是大片打造地，更因為好萊塢有各種各樣的產(chǎn)業(yè)鏈、技術(shù)、生態(tài)支撐。在這里，電影人能找到各種所需的硬件、軟件、人才、合作伙伴。最終才能讓那些天才的想法、創(chuàng )造性的點(diǎn)子，變成大熒幕上的真實(shí)夢(mèng)境。

夢(mèng)工廠(chǎng)，從來(lái)都不是一天建造起來(lái)的，而是需要一點(diǎn)點(diǎn)累積和升級，不斷增加生態(tài)的凝聚力和吸引力。致力于打造移動(dòng)生態(tài)第三極的HMS，當然希望成為一座移動(dòng)開(kāi)發(fā)者的夢(mèng)工廠(chǎng)。而HMS Core就肩負著(zhù)這座夢(mèng)工廠(chǎng)的技術(shù)差異化。只有在這里可以實(shí)現的技術(shù)可能性越來(lái)越多，真正滿(mǎn)足開(kāi)發(fā)者需求，這個(gè)技術(shù)生態(tài)才有活力可言。

此前，我們已經(jīng)介紹過(guò)HMS Core的很多組成部分。而最新的AV Pipeline Kit則構筑了HMS Core 6.0時(shí)代關(guān)于A(yíng)I和多媒體的巨大驚喜，也成為HMS技術(shù)生態(tài)的重要組成部分。

在A(yíng)V Pipeline Kit背后，我們可以看到華為在端側的整體軟硬件布局，不斷發(fā)揮著(zhù)協(xié)同與整合的優(yōu)勢。比如為了實(shí)現這個(gè)Kit，就匯集了AI、多媒體、硬件等多個(gè)部門(mén)的協(xié)同合作，才最終讓端側AI超分這樣的新技術(shù)，與多媒體管理平臺融為一體。

再向后看，AV Pipeline Kit與更加底層的華為技術(shù)布局保持著(zhù)深度融合。目前來(lái)看，業(yè)界還沒(méi)有哪個(gè)平臺或者技術(shù)工具，能夠實(shí)現端側化、智能化的多媒體管線(xiàn)服務(wù)。而AV Pipeline Kit能開(kāi)創(chuàng )先河的原因，很大部分來(lái)自軟硬件一體化的協(xié)同優(yōu)勢。

比如說(shuō)，AV Pipeline Kit就和華為HiAI Foundation平臺協(xié)同，實(shí)現了芯片底層的免拷貝式接口對接，與從而節省了非常多的調用開(kāi)銷(xiāo)，讓AV Pipeline Kit在華為硬件平臺上可以實(shí)現更好的開(kāi)發(fā)體驗。

再向底層看，業(yè)界部署超分主要以CPU、GPU為主，但NPU可以帶來(lái)更有針對性?xún)?yōu)化，針對超分業(yè)務(wù)，NPU可以提供更高算力和更優(yōu)的功耗，提供更好的端側AI計算體驗。NPU的能力直接助力AV Pipeline Kit，讓端側超分不僅可以實(shí)現，還可以向更具挑戰性的直播等場(chǎng)景進(jìn)發(fā)。

或許可以說(shuō)，很多HMS Core的組成部分，都在更深層地調用華為在終端側硬件、軟件、AI等技術(shù)的協(xié)同與互補優(yōu)勢，往往能實(shí)現合力創(chuàng )造全新價(jià)值的技術(shù)支點(diǎn)。

這樣的價(jià)值邏輯，將從AV Pipeline Kit延伸到更多的開(kāi)發(fā)者賦能技術(shù)中。開(kāi)發(fā)者們都深知，有技術(shù)才有未來(lái)，有創(chuàng )造性才有市場(chǎng)。AV Pipeline Kit以及HMS生態(tài)，就是帶給他們這樣一份禮物——一個(gè)可以持續期待，永遠充滿(mǎn)未來(lái)的驚喜盒；一座能用“技術(shù)打印機”，把創(chuàng )意變成現實(shí)的夢(mèng)工廠(chǎng)。