FFMPEG視頻編解碼流程 H.264硬件編解碼實現

目前，智能手機、PDA和平板電腦等越來越多的嵌入式設備支持高清視頻采集和播放功能，高清視頻的采集或播放功能正廣泛用于游戲設備、監控設備、視頻會議設備和數字網絡電視等嵌入式系統中。這些功能的實現建立在高性能視頻硬件編解碼技術基礎之上。本文闡述了基于FFmpeg的H.264視頻硬件編解碼在S3C6410處理器上的實現方法，為數字娛樂、視頻監控和視頻通信系統開發過程中的高清視頻硬件編解碼的實現提供參考。

FFmpeg［1］是一個開源免費跨平臺的視頻和音頻流方案，屬于自由軟件。它包含非常先進的音頻/視頻編解碼庫libavcodec，提供了錄制、轉換以及流化音視頻的完整解決方案。FFmpeg支持MPEG4、FLV等40多種編碼，以及AVI、ASF等90多種解碼。目前國內較為流行的播放器暴風影音和國外較為流行的Mplayer在音頻/視頻編解碼方面都用到了FFmpeg。

S3C6410［2］是三星公司推出的應用處理器芯片，基于ARM11架構，主頻最高可達800 MHz。它具有多媒體硬件加速功能，其中包括大于30 fps的MPEG4 SP、H.264/263 BP和VC1（WMV9）多種視頻硬件編解碼，可用于手機、平板電腦和游戲機等手持移動設備和其他高性能嵌入式設備。國產手機魅族M8的處理器使用的就是S3C6410。

雖然FFmpeg提供了簡單的應用程序編程接口（API），可以很方便地實現多種格式的視頻軟件編解碼［3］，但是軟件編解碼在處理復雜視頻編解碼（如H.264）時無法運用到處理速度不快、內存空間不多的嵌入式環境中。為了在資源有限的嵌入式環境下使用FFmpeg實現復雜視頻編解碼，下面在分析FFmpeg視頻編碼流程和S3C6410處理器視頻編解碼方法的基礎上，闡述嵌入式Linux操作系統下基于FFmpeg的H.264硬件編解碼在S3C6410處理器上的實現方法。

1　FFmpeg視頻編解碼流程

FFmpeg主要有encode/decode、muxer/demuxer和內存操作3個模塊。encode/decode模塊用于音視頻的編碼和解碼，存放在libavcodec子目錄中；muxer/demuxer模塊用于音頻和視頻的合并與分離（也稱混合器模塊），存放在libavformat目錄中；內存等常用模塊存放于libavutil目錄中。下面以解碼過程為例分析FFmpeg視頻編解碼流程。

解碼基本流程共分4步：

① 注冊所有可能用到的編解碼器和混合器。av_register_all（void）函數中通過執行 REGISTER_MUXDEMUX（X，x）和REGISTER_ENCDEC（X，x），把所有FFmpeg支持的混合器和編解碼器相關信息以鏈式的結構存放在內存中。

② 打開視頻文件。av_open_input_file（AVFormatContext **ic_ptr，const char *filename，AVInputFormat *fmt，int buf_size，AVFormatParameters *ap）函數中偵測文件的格式，根據文件格式從鏈式的混合器中找到相對應的混合器（demuxer）并分離出視頻信息。

③ 獲取視頻信息。通過av_find_stream_info（AVFormatContext *ic）函數獲取視頻格式。根據視頻格式，在鏈式的視頻解碼器中找到相應的視頻解碼器，并通過avcodec_open（AVCodecContext *avctx，AVCodec *codec）函數將解碼器打開用于下一步視頻的解碼。

④ 解碼一幀視頻，通過 avcodec_decode_video（AVCodecContext *avctx，AVFrame *picture，int *got_picture_ptr，const uint8_t *buf，int buf_size）函數解碼一幀視頻。

FFmpeg的編碼過程與解碼過程類似，不同的是第3步根據要求編碼的格式在鏈式的視頻編碼器中找到相應的視頻編碼器，并執行編碼過程。

通過以上對FFmpeg視頻編解碼流程分析可以知道，為了在FFmpeg中添加自定義的視頻編解碼器，并在程序運行時使用這個編解碼器，關鍵在于如下兩點：

① 根據FFmpeg對編解碼器的描述，實現自定義編解碼器。

② 通過REGISTER_ENCDEC（X，x）函數將自定義的視頻編解碼器添加到視頻編解碼器鏈中。在獲取視頻信息時，保證需要編碼或解碼的視頻能找到視頻編解碼器鏈中自定義的視頻編解碼器。

2　S3C6410處理器視頻編解碼方法

S3C6410視頻編解碼軟件架構［4］如圖1所示。底層為操作系統空間，上層為用戶空間，視頻編解碼器通過驅動和操作系統以設備文件的形式使用，使用的方法和普通文件一樣，包括文件打開和關閉、文件讀寫和輸入/輸出控制（ioctl，input/output control）。

圖1　S3C6410視頻編解碼軟件架構

具體操作方法如下：

① 通過open函數打開編解碼器設備文件；

② 使用mmap方法在用戶空間和驅動空間之間映射輸入/輸出緩存空間，這樣做的好處是可以快速進行數據輸入/輸出；

③ 通過ioctl設備編解碼參數，初始化編解碼器；

④ 輸入數據，通過ioctl執行編解碼過程，輸出數據；

⑤ 通過close方法關閉編解碼器設備文件。

值得注意的是，無論編碼還是解碼，處理的數據都是以一幀幀的形式操作的，所以第4步是一個不斷循環的過程，直到所有數據處理完成。另外，雖然編解碼器以設備文件的形式使用，但是它不能使用標準的文件讀寫操作，查看編解碼的設備驅動可以發現，其文件讀寫函數是空的，這一點三星公司的開發文檔并沒有說明。