為OpenHarmony打造的一款新音視頻引擎——HiStreamer

原標題：OpenHarmony新音視頻引擎——HiStreamer

OpenAtom OpenHarmony（以下簡稱“OpenHarmony”）是由開放原子開源基金會（OpenAtom Foundation）孵化及運營的開源項目，目標是面向全場景、全連接、全智能時代，基于開源的方式，搭建一個智能終端設備操作系統的框架和平臺，促進萬物互聯產業的繁榮發展。面對萬物互聯時代種類眾多、且差異巨大的終端設備，我們為OpenHarmony打造了一款新的音視頻引擎——HiStreamer。

一、 HiStreamer產生背景

數字多媒體技術在過去的數十年里得到了飛速的發展，音樂、電話、電視、電影、視頻會議等等，伴隨著我們度過每一天。為了給用戶提供豐富的多媒體處理能力，業界已經有比較成熟的音視頻引擎，比如開源的音視頻引擎GStreamer。為什么我們還要打造一款新的音視頻引擎呢？

隨著萬物互聯時代的到來，越來越多的智能化設備出現在我們的生活中。比如：智能冰箱可以通過屏幕和聲音，告訴人們儲藏的菜品快要過期了；智能閘機可以通過人臉識別，自動完成檢票工作；智能門鎖可以通過語音和視頻，提升開鎖的效率和安全性......

與PC、手機等標準（Standard）設備不同，很多智能化設備的CPU處理能力比較弱、內存也比較小，傳統的音視頻引擎無法支持此類設備。HiStreamer應運而生，既支持輕量級的Mini/Small設備，也支持Standard設備（目前支持部分功能）。HiStreamer在不斷發展和完善中，未來將會支持Standard設備的更多功能。

二、 “管道+插件”，實現彈性部署

為了支持Mini/Small/Standard設備，HiStreamer采用管道（Pipeline）和插件（plugin）的軟件架構，從而可以根據設備的硬件和需求差異進行彈性部署。HiStreamer把音視頻處理的每個過程抽象成節點，上一個節點的輸出，作為下一個節點的輸入，把多個節點連接起來，整體形成一個管道（Pipeline），完成音視頻的數據讀取、解封裝、解碼、輸出的完整流程。同時，插件可以為Pipeline的節點提供豐富的擴展功能，讓HiSteamer的音視頻處理能力更強大。

1. Pipeline框架介紹

為了讓大家理解HiStreamer的Pipeline框架，下面以MP3音頻播放為例講解：

輸入是一個MP3文件，輸出是播放出的音樂，這中間經過了很多步驟。

先來看一下MP3文件結構：

圖1 MP3文件結構

MP3文件由ID3 Metadata容器頭和若干MP3 Frame（MP3數據幀）構成。每個MP3 Frame又由MP3 Header（MP3頭信息）和MP3 Data構成。這一系列的MP3 Frame稱為ES Data（ Element Stream Data）。

● ID3 Metadata：容器頭，主要包括標題、藝術家、專輯、音軌數量等。

● MP3 Header：包含MP3 Sync word（標識MP3數據幀起始位置）和MPEG版本信息等。

● MP3 Data：包含壓縮的音頻信息。

播放MP3文件，首先需要把MP3文件數據讀進來，然后去掉ID3 Metadata容器頭（即解封裝），再把一系列MP3 Frame解壓縮成PCM（Pulse-Code Modulation）數據，最后驅動喇叭發聲。這個過程按順序可以抽象成如下四個節點：

圖2 MP3音頻播放的Pipeline

1. 輸入節點（MediaSourceFilter）: 讀取MP3原始數據，傳給下一個節點。

2. 解封裝節點（DemuxerFilter）: 解析ID3 Metadata容器頭信息，作為后續節點的參數輸入，并且把一幀幀MP3 Frame（即ES Data）傳給后續的解碼節點。

3. 解碼節點（AudioDecoderFilter）: 把ES Data解碼成PCM數據，傳給輸出節點。

4. 輸出節點（AudioSinkFilter）: 輸出PCM數據，驅動喇叭發聲。

由以上示例可知，HiStreamer通過Pipeline框架把音視頻處理的每個過程抽象成一個個節點。這些節點是解耦的，可以靈活拼裝，從而可以根據業務需要拼裝出不同的Pipeline。同時，為了使多個節點能更好地協同工作，HiStreamer還支持節點間的參數自動協商。

2. HiStreamer插件介紹

了解了HiStreamer的Pipeline框架后，我們再來看看HiStreamer插件。

HiStreamer的Pipeline框架的很多節點（比如輸入節點、解封裝節點、解碼節點、輸出節點等）都支持插件擴展。通過插件，節點的功能變得更加豐富、更加強大。

插件的應用場景非常廣泛，比如：

● 媒體格式非常多，且以后還會有新的格式產生，可以通過插件支持新的媒體格式。

● 不同OS平臺或設備，處理方式存在差異，可以通過插件支持不同的處理方式。

● 不同類型的設備，需求不同，能提供的CPU/ROM/RAM資源多少也不同，也可以通過插件來支持。

3. 彈性部署

HiStreamer基于管道（Pipeline）和插件（plugin）的軟件架構，可以根據設備的硬件和需求差異實現彈性部署。

圖3 HiStreamer彈性部署

如圖3所示，Mini設備（比如音箱），它的CPU處理能力很弱，ROM/RAM資源很少，需要的功能也比較少，只需要音頻播放功能。HiStreamer可以配置成只支持音頻播放，并且選擇輕量級的插件，配置同步解碼模式，減少資源消耗。而Small設備，CPU處理能力強一些，ROM/RAM空間大一些，需要音頻播放和視頻播放功能。HiStreamer可以配置成支持音視頻播放，并且選擇功能更強的插件。

三、HiStreamer邏輯架構

經過上面的介紹，我們了解了HiStreamer的“管道+插件”的軟件架構。下面我們再來看看HiStreamer的詳細的邏輯架構。

圖4 HiStreamer邏輯架構圖

HiStreamer主要由HiStreamer引擎和HiStreamer插件構成。

其中，HiStreamer引擎又分為以下四層：

● 業務封裝層：基于Pipeline封裝實現播放器、錄音機功能，簡化上層應用使用。

● Pipeline框架層：提供Pipeline和若干個節點（輸入、解封裝、解碼和輸出）的實現，支持把多個節點連接在一起形成Pipeline。

● 插件管理層：用于插件生命周期管理，支持動態加載或靜態鏈接兩種方式使用插件。

● 工具庫層：提供框架依賴的工具，隔離操作系統差異，提供調測功能。

HiStreamer插件，則分為平臺軟件插件和廠商硬插件兩類：

● 平臺軟件插件：由OpenHarmony平臺提供，可跨產品復用的軟件算法插件。

● 廠商硬插件：由廠商提供的基于硬件加速的插件，如硬件加速的編解碼插件。

應用開發者可以直接使用現成的插件來實現多媒體功能，節省大量的開發時間。插件越豐富，HiStreamer的音視頻處理能力會更強大。OpenHarmony歡迎廣大開發者參與HiStreamer插件的開發，一起來豐富HiStreamer插件！

四、HiStreamer插件開發及實例

下面就為大家介紹HiStreamer插件的開發過程及實例講解，感興趣的小伙伴們趕緊學起來，一起參與HiStreamer插件開發吧~

1. 插件的開發

HiStreamer插件的開發主要分為插件定義和功能實現兩個部分。

（1）插件定義

HiStreamer插件是通過PLUGIN_DEFINITION宏來定義的。以輸入插件FileSource為例，定義代碼如下：

使用PLUGIN_DEFINITION宏定義插件（即上面最后一行代碼）時，傳入了四個參數：

a) 插件名稱：即示例中的“FileSource”。

b) License信息：即示例中的“LicenseType::APACHE_V2”。

c) 插件注冊函數：即示例中的“FileSourceRegister”，該函數描述了插件基本信息，包括插件對象創建函數，并且還調用AddPlugin把插件注冊到系統中。

d) 插件反注冊函數：可以傳為空實現。

（2）功能實現

實現插件功能時，需根據要實現的插件類型，繼承對應插件接口類，并實現相關接口。比如實現輸入插件FileSource，需要繼承SourcePlugin，并實現SetSource、Read等接口，代碼如下：

FileSource插件的完整代碼可參考碼云平臺OpenHarmony項目：

https://gitee.com/openharmony/multimedia_histreamer/tree/master/engine/plugin/plugins/source/file_source

2. 插件的部署

使用PLUGIN_DEFINITION定義的HiStreamer插件，可以是單一功能的插件，也可以是有多個功能的插件包。每個這樣的插件或插件包，可以獨立編譯成.a或者.so，分別對應以下兩種部署方式：

● 靜態部署：一般用在mini設備上，插件編譯成靜態庫.a，鏈接到系統中。

● 動態部署：一般用在small/standard設備上，插件編譯成動態庫.so，放到系統指定目錄下，動態加載運行。

3. 插件的運行

插件開發完成且部署到系統之后，HiStreamer啟動時就會自動完成插件的注冊。下一步，就是運行插件了。

運行新實現的插件，需要先滿足該插件的運行條件。比如：FileSource只會在播放本地文件時運行；MP3解碼插件只會在播放MP3文件時運行......

開發者可以通過日志信息，查看是否運行了自己的插件。如果有別的插件注冊到系統中，導致自己的插件無法運行時，可以卸載引起干擾的插件。卸載動態部署的插件，刪除對應的.so即可；卸載靜態部署的插件，需要修改編譯腳本取消對應插件的編譯。

五、結束語

OpenHarmony歡迎廣大開發者一起加入HiStreamer插件開發，擴展自己想要的媒體功能，共同豐富HiStreamer媒體生態!

同時，預告大家： HiStreamer的下一個版本將為Standard設備增強更多功能，敬請期待！

審核編輯：符乾江