視頻編碼器的對比和選擇

本文來自Hulu全球高級研發經理、視頻編解碼與傳輸領域資深專家傅德良在LiveVideoStackCon 2018熱身分享，并由LiveVideoStack整理而成。在分享中，傅德良以 Hulu實踐為基礎，介紹了視頻編解碼標準與視頻編碼器間的紛爭以及視頻編碼器對比中的常見誤區。

大家好，我是傅德良，在Hulu主要負責的團隊是在做音視頻編解碼和傳輸相關的一些優化和開發的工作，很高興跟大家聊一聊對于視頻編碼器的對比和選擇。

主要內容分為以下三個方面：

1，紛爭的視頻標準與視頻編碼器

2，視頻編碼器對比中的常見誤區

3，選擇最合適的視頻編碼器

由于今天的熱身分享時間相對比較有限，所以今天主要會講常見誤區這一塊，關于選擇最合適的視頻編解碼器這個領域，更多的會在10月份的LiveVideoStackCon 2018正式分享中進行介紹。

前言

關于Hulu

Hulu是美國的一家在線流媒體服務公司，在中國并沒有業務，主要服務的是美國的用戶。Hulu是由美國最大的幾家傳統的媒體公司合資創辦的，它的使命是為了重新定義電視這一行業。大家也知道電視這一行當已經出現很久了，不過一直到現在，它在每個人的生活中仍然具有相當重要的地位。在Hulu上既有點播，也有直播的內容，我們站上的這些視頻大部分都是高質量的視頻，主要是一些美劇，還有一些電影，同時也有一些自制劇，Hulu近幾年自制劇上面也有一些比較多的好劇出來。

上圖是一個由第三方的數據公司做的美國比較主流的幾個在線流媒體服務公司的一些數據統計，第一列的大概意思就是說，如果一個人從來沒有用過有線電視，他直接就開始在電視上使用在線流媒體服務的情況，我們稱之為Cordless，Hulu在這幾家公司里面是最高的。而且Total OTT Viewing Hours和Viewing Days也是最高的，也就是說對于Hulu來講，用戶在站上的黏性是非常高的。Hulu的商業模式是付費加廣告的一種模型，也就是說首先需要付費成為付費玩家才能夠真正的在我們的站上觀看視頻，在此基礎之上，還可以選擇去廣告或者是有廣告。在這種模式下，為了提供比較優質的內容，視頻質量對于我們的這種服務來講是非常重要的，因此，不斷地提高視頻的傳輸和壓縮的水平是非常重要的。所以，Hulu經常會做一些不同的編碼器，不同的技術之間的一些選型，在這方面我們也積攢了一些相關的經驗。

紛爭的視頻標準與視頻編碼器

1，視頻編解碼標準

視頻編解碼標準一般是由一些標準化組織去組織創辦和制訂的一種規范，它主要規定了我們在網絡上傳輸視頻的碼流格式，從碼流格式中也相應的規定了音視頻編解碼的基本流程。從流程上來講，編解碼標準主要統一的是編碼器和解碼器的接口，它通過規定了碼流的格式，也就規定了在編碼標準中可以使用的一些編解碼工具的集合，也就能夠保證音視頻的壓縮效率。

上圖是目前最常見的混合編碼框架的基本流程圖，這里就不細講了，整個視頻編碼的基本原理就是通過一系列的方法去除冗余，最終達到降低碼率，但是同時又能夠恢復原始圖像的目的。另外，編解碼標準只是對碼流進行了一系列的規定，事實上它并沒有去具體的規定編碼是怎樣做的，如果你去看標準文檔，它其實規定的是整個解碼的流程。

2，視頻編碼器

視頻編碼器實際上跟視頻編解碼標準是有很大不同的，視頻編碼器是視頻編解碼標準的一種代碼實現，但是同一套算法的不同的實現，性能和效率的差別都是很顯著的。視頻編碼器之間的主要差異分為以下幾個方面：

1）視頻編解碼標準中壓縮工具的支持情況

2）針對視頻編碼速度的優化

3）針對視頻編碼質量的優化

4）功能和代碼的可擴展性

5）商用 vs. 免費

舉個例子，有人認為HEVC編碼器一定比H.264的編碼器要強，但是我們知道在HEVC中有很多種不同的預測方向，如果我設計一種編碼器不使用幀間預測，只使用幀內預測，而且不管內容是怎樣的，都使用這一個固定的模式來進行編碼，那么這樣編出來的碼流可想而知，它的預測的效果是很差的，壓縮的效率會非常的低。雖然碼率很高，質量很差，但是這個碼流仍然可能是符合HEVC標準的。相對來說，如果用H.264的來做編碼，但是整個編碼器的優化做得非常的好，整個的碼率控制都優化到了非常優秀的程度，那么這個H.264編碼器編出來的視頻碼流的質量完全可以比HEVC編碼器編出來的效果更好。在視頻編解碼領域，新的標準剛剛出來的時候，大家不會很快的去采用這種新標準的編碼方案，原因就是在于編碼器端的優化還沒有做到位，所以說單純在考慮編碼器的性能和它對這種標準的支持是非常片面的一種做法。因此，在實際的工作中，選擇編碼器一定不要盲目的相信H.265的編碼器就一定比H.264的編碼器好，這個是不一定的，甚至有些時候一些比較Low的標準也可以做得很好。因此，在選擇編碼器的時候，要從上述的視頻編碼器之間的差異出發來選擇。

3，紛爭的編解碼標準與編碼器

在整個編碼器對比的過程中，經常遇到的一個非常大的誤區就是把視頻編解碼標準和視頻編碼器混為一談。

上面簡單羅列一下目前市面上的很多種不同的編解碼標準以及不同標準的編碼器，在實際生產中，作為一個在線視頻提供方，如果希望自己去做視頻的壓縮，那么在編碼器的選擇上，毫無疑問是一個大問題。并不是說，市面上只有那么幾款編碼器直接用就行了，并不是那么的簡單，在很多的場景中，我們都會遇到如何去對比不同的音視頻編碼器來選擇適合的編解碼器的課題。

視頻編碼器對比中的常見誤區

1，誤區一：脫離速度評價質量

從視頻編解碼標準的發展歷史來講，整體來說是復雜度越來越高，效率越來越高。在很多場景下，視頻編碼中速度和質量在一定范圍內是可以相互轉換的，也就是說可以犧牲質量來加快速度。因此，如果只是單純考慮質量維度，但不考慮速度，就會有很大的誤差；此外，即使同一編碼器的不同的速度檔次之間的質量差距也可以非常的巨大。

上圖是我們內部對開源的HEVC編碼器的測試圖，可以看出對于同一編碼器，在不同的速度檔次下，質量是有差距的；在相同碼率下，速度越快，質量也相對較低。因此，我們在對比不同編碼器的編碼質量時，一定要在同一速度下比較編碼質量才有意義。

2，誤區二: 速度對比中環境不一致

為了達成準確的視頻編碼器對比，需要使得編碼器速度一致再進行對比，在這個過程中，有的時候會有一個問題即對比的環境不一致。當編碼器放在不同的這種軟硬件環境下進行測試時，對比結果可能有很多的誤差。由于優化和實現上的區別，各編碼器在不同運行環境下速度差別顯著。在對比不同編碼器的過程中，我們需要考慮到CPU線程數量，硬件加速環境和開關，CPU指令集支持情況和內存容量、帶寬等因素。要在相同的測試環境下對比，不一致或不合理的測試環境會導致編碼器對比結果不正確。

3，誤區三: 脫離碼率范圍對比質量

在視頻編碼的過程中，視頻編碼質量通常與視頻編碼碼率成正相關，但并非線性相關。在大的碼率范圍內，隨著碼率的進一步增加，質量的增加是慢慢的衰減的，這也就意味著說，各個編碼器在不同的碼率范圍的性能表現可能是很不一致的。在實際生產中，視頻編碼碼率潛在范圍非常寬廣，例如，同樣都是720P的AVC的編碼器，有的用5000kbps，有的用500kbps。對于一些硬件編碼器，在低碼率的情況下，速度很快，編碼質量也還可以，它的編碼效果就比一些軟件編碼器要好。但在高碼率的情況下，硬件編碼器可能由于它的編碼工具實現的不夠完善導致質量上不去，這時候軟件編碼器就會表現的更好。因此，在對比編碼器的時候，一定要在它合適的碼率范圍內來比較性能，脫離碼率范圍對比編碼質量很容易導致錯誤結論。

4，誤區四: 僅依賴小規模公開測試序列進行測試

在視頻編碼的過程中，視頻編碼效率與視頻內容高度相關的，同一視頻編碼器在不同類型內容上的表現經常是不一致的。此外，還有一部分編碼工具主要針對某一類視頻有效，它主要針對某一特定場景有效，如果你的測試場景并不包含它，這個測試的結果就不會好。因此在測試過程中，最好能夠針對你的業務需求由真正的應用場景去設計比較大規模的測試集，僅僅依賴小規模公開測試序列測試容易引入誤差。測試群規模小就不能夠涵蓋產品中的所有情況，而且公開測試序列不能體現業務特點與需求，此外還有部分編碼器針對公開測試序列進行了過擬合的調優，這些都會導致測試結果誤差較大。

5，誤區五: 僅使用PSNR評價質量

PSNR為視頻編碼領域經典指標，至今被廣泛應用，它是純客觀指標，單純體現編碼后視頻與原始視頻差異程度。但是像PSNR這樣子的純客觀指標是有一定的局限性的，在很多情況下并不能正確反映視頻主觀質量。

上面兩幅圖如果用PSNR來衡量，與原圖相比較它們的PSNR的大小是一樣的。但是我們很明顯的可以看到，右邊的圖它有一些噪音在里面，在主觀上來看，左邊的圖比右邊的圖質量要好。因此，如果單純使用PSNR評價質量可能會使的我們進入一些誤區，而且近些年，很多的編碼器里都會有基于主觀質量進行的優化。

選擇最合適的視頻編碼器

當我們避開上面的誤區時，選擇的編碼器一般是相對靠譜的。在選擇編碼器的過程中，我們要充分考察業務需求，選定必要功能，還要詳細考察運行環境，并相應制定測試環境。在測試的過程中，要明確定義測試目標，要注意編碼速度和碼率范圍。此外，如果是你只是想做個學術的研究，只用公開的序列就足夠，對于工業實踐還要根據自己的業務需求定制特定的測試序列，而且測試序列規模應當足夠大。最后評價編碼器的編碼質量要主觀質量和客觀質量結合起來，不可僅僅從單一方面評價好壞。

Q&A

Q1: 請問有沒有公開大量數據集的計劃？

A:如果你關注的話，你會發現在業界對于數據集的公布，成本是比較高的，因為它除了拍攝還有一個處理的過程，還有包括一些版權，這些相對來講還是比較復雜的，我們目前暫時沒有公布測試數據集的一種行為。在業界有一些公司其實是能夠找到一些的，但是數量坦白的說也并不是非常的大，個人建議就是說還是在自己的業務場景里邊根據自己的需求去做，像這樣相對來講比較靠譜一些。

Q2: 數字水印有什么好的測量方法呢？

A:這塊沒有太多涉及，在我們的業務中比較少涉及到數字水印，不同的水印原理也不一樣，據我所知在美國市場上有一些這種數字水印，它并不一定是加在視頻上的，有的時候是加在音頻上的，據我所知，尼爾森有一些這種數字水印的技術，它的原理是把它加在人耳不容易感知到的頻段上，再使用相關的設備進行相關的提取。視頻上面的話，沒有接觸過。

Q3: X264除了參數調優以外提升質量還有哪些的優化？

A:X264這個編碼器本身的優化做得已經比較好了，如果說參數調優不考慮在內的話，這個也要看你的業務場景，如果說你的業務場景是這種對編碼速度要求很高的情況的話，你可以考慮對它的這種原有的這些速度級別進行有針對性的一些篩選，比方說它原來給你提供了大概八九個不同的速度的級別，但是如果你需要一個比較快的檔次的話，你可以自己對這些工具進行定制化的改動。其他的話，就是比較外圍的，很多都是跟參數調優相關的。