海思MPP系統概述

1 系統概述

海思提供的媒體處理軟件平臺(Media Process Platform,簡稱 MPP)，可支持應用軟件快速開發。該平臺對應用軟件屏蔽了芯片相關的復雜的底層處理，并對應用軟件直接提供MPI（MPP Program Interface）接口完成相應功能。該平臺支持應用軟件快速開發以下功能：輸入視頻捕獲、 H.265/H.264/JPEG 編碼、 H.265/H.264/JPEG 解碼、 視頻輸出顯示、視頻圖像前處理（包括去噪、增強、銳化）、 圖像拼接、 圖像幾何矯正、智能、音頻捕獲及輸出、音頻編解碼等功能。

1.1 系統架構

架構

系統軟件架構可以分為四層：

最底層是硬件驅動層。

操作系統層；海思支持linux和liteos，此文只涉及linux部分。

媒體層；此層是海思平臺軟件架構的核心，海思平臺將媒體相關的功能都抽象到了這一層，如音視頻輸入輸出、isp圖像處理、編解碼等，最關鍵的是獨立的內存管理機制，物理內存、虛擬內存都有獨立的機制進行分配和回收，減少了與操作系統層的關聯。包含的軟件有各種媒體相關的驅動、庫的支持，還有整套的媒體開發平臺。本文要介紹的MPP就是媒體軟件處理平臺。

最上層是應用層。

1.2 處理流程

海思媒體處理平臺的主要內部處理流程分為視頻輸入（VI）、視頻處理（VPSS）、視頻編碼（VENC）、 視頻解碼（VDEC）、 視頻輸出(VO)、視頻拼接(AVS)、音頻輸入(AI)、音頻輸出(AO)、音頻編碼（AENC）、音頻解碼（ADEC）、區域管理（REGION）等模塊。

VI 模塊捕獲視頻圖像，可對其做剪切、 去噪等處理，并輸出多路不同分辨率的圖像數據。

解碼模塊對編碼后的視頻碼流進行解碼，并將解析后的圖像數據送 VPSS 進行圖像處理， 再送 VO 顯示?？蓪?H.265/H.264/JPEG 格式的視頻碼流進行解碼。

VPSS 模塊接收 VI 和解碼模塊發送過來的圖像，可對圖像進行圖像增強、銳化等處理，并實現同源輸出多路不同分辨率的圖像數據用于編碼、預覽或抓拍。

編碼模塊接收 VI 捕獲并經 VPSS 處理后輸出的圖像數據，可疊加用戶通過 Region模塊設置的 OSD 圖像，然后按不同協議進行編碼并輸出相應碼流。

VO 模塊接收 VPSS 處理后的輸出圖像，可進行播放控制等處理，最后按用戶配置的輸出協議輸出給外圍視頻設備。

上圖也包含很多典型的視頻流的處理流程。sensor負責采集圖像，是海思平臺的輸入，圖像經過海思內部VI、VPSS、VENC和VO后，經由hdmi輸出到顯示屏上，sdk提供的sample_vio中有幾個case就是這個典型的流程，同時sample_vio也是最常用到的samle。

2 MPP部署

在一般的嵌入式開發中，只要將uboot，kernel，rootfs下載到開發板上，就可以進行程序開發了。但是海思又進一步把與多媒體相關的內容整合到MPP平臺中，SDK中推薦使用mount nfs的方法先部署起mpp。

搭建nfs服務器，開發板作為nfs客戶端。

掛載nfs文件系統

mount -t nfs -o nolock -o tcp -o rsize=32768,wsize=32768 xx.xx.xx.xx:/your-nfs-path /mnt，然后就可以在/mnt目錄訪問nfs服務器上的文件。

加載驅動
cd mpp/ko
./ load3519v100 -i -sensor0 imx334

運行sample程序
cd mpp/sample /vio
./sample_vio 0 0

3 視頻輸入

視頻輸入單元 VI（Video Input），可以通過 MIPI Rx（包含 MIPI、LVDS、HiSPi、SLVS-EC）接口、BT.656/601、BT.1120 接口和 DC（Digital Camera）接收視頻數據，存入指定的內存區域。VI 內嵌 ISP 圖像處理單元，可以直接對接外部原始數據（BAYER RGB 數據），VI 的功能框圖如下圖所示。 VI 分成兩個物理子模塊：捕獲子模塊 VICAP 和處理子模塊 VIPROC 組成。

海思SDK對VI的功能框架進行了封裝，VI內部結構對于開發者來說是黑盒，并且黑盒內部的代碼不進行開源。黑盒外部進行了軟件級的封裝，因此VI在軟件層次上劃分4個部分，輸入設備(DEV)、輸入 PIPE、物理通道(PHY_CHN)和擴展通道(EXT_CHN)，如下圖所示，開發者也只需要關注軟件架構上的這四個層級即可。

此處只針對VI進行了講解，其他模塊也需要參考海思手冊，此處不再一一寫出了。

4 開發

4.1 預覽與拍照

下圖是雙 pipe 離線模式拍照的數據通路，上面的pipe是preview通路，下面的pipe是capture通路，一般相機的通路都是如此，preview對圖像質量要求略低，capture對圖像質量要求高。當然，此圖是海思平臺的雙pipe離線模式，還有在線模式、單pipe模式等，大體意思相近，不同模式的選擇需要根據芯片的處理能力和圖像的質量需求進行。

4.2 新sensor開發

準備工作

確認主芯片規格。支持 Master 模式，支持的線性、WDR 接口模式，支持輸入頻率上限。

sensor datasheet。確認圖像傳輸接口模式，輸出頻率。確認曝光時間、增益如何設置，幀率如何修改。確認在 WDR 模式下的以上兩項。

mipi/并口。確認接口，并確認時序。

initialize settings。獲取 Sensor Initialize Settings，一般至少要準備最大規格和標準分辨率兩種序列。

內核層

pinmux的配置

power的檢查

clock的配置

控制通路i2c/spi的檢查

應用層
sensor_ctl.c，sensor的配置，需要結合datasheet完善initialize settings。

cmos.c，isp的基本功能。按如下函數順序進行實現。

cmos_set_image_mode(), cmos_set_wdr_mode()。

sensor_global_init()。

sensor_init(), sensor_exit()。

cmos_get_isp_default(),cmos_get_isp_black_level()。

sensor點亮后還需要進行ae功能的完善，自動配置增益、曝光時間、幀率等。
之后還有白平衡的配置，配置完成后，顏色基本就正常了。
到此處，添加的新sensor基本就可用了，后續就是AF和各種圖像質量調優相關的工作了。

審核編輯：湯梓紅