深度解析索尼的多重曝光HDR技術

1，什么是 HDR

HDR 的英文全稱為 High Dynamic Range，意思就是“高動態范圍”。

其“高”之程度是相對于以前的 SDR（標準動態范圍）而言，那么這個“動態范圍”又是啥呢？

這個詞所代表的，就是圖像所能清晰呈現之明暗差別。

所以 HDR 的實際意義就是，圖像能以更高質量同時顯示畫面的亮部和暗部。

這樣，用戶拍照的時候就能化身為“神筆馬良”，借助手機相機鏡頭（畫布），用所調配之豐富色彩的顏料（HDR傳感器），“畫”出最美最真實的圖像。

當然，HDR 的實現也依賴于顯示設備——畢竟能拍出來但看不出來也白搭，所以在 HDR 顯示器越來越強的今天，HDR 傳感器技術也變得越來越重要。

但是，由于智能手機的內部空間限制，手機CIS的 HDR 能力要明顯弱于數碼單反。

畢竟單反傳感器那動輒3微米或更高的像素尺寸，以及動輒14位或更高級的 ADC（模數轉換器），在動態范圍方面可以說是能將手機CIS吊起來打了。

那么，在滿阱容量和電路規格兩方面被單反CIS碾壓的手機CIS，該怎么提高 HDR 能力呢？

2，如何提高動態范圍

上圖所示，即為動態范圍的三個計算式。其中第一個代表的是最大信號量和最小信號量的比值，其所代表的意思可由第二個計算式解釋。

第二個計算式所代表的，是 FWC（滿阱容量）與 TN（暫態噪聲）的比值，這里面的滿阱容量代表單像素的最大電荷存儲量，而暫態噪聲則代表光電轉換過程中出現的數值波動。

和第一個計算式所遇到的困境一樣，在像素尺寸上手機CIS與單反傳感器完全沒法比，相對應的就是滿阱容量被單反傳感器碾壓。

如上圖所示，綠色部分標注 noise 的就是噪聲之源——在光子轉換為電子以及電子傳輸到 ADC 這兩個過程中都會產生噪聲，而暫態噪聲就是這些噪聲之和。

實際上第三個計算式所代表的正是這個意思，其中分母項分別標注 Quant 和 Readout 的字母N，便分別是光量子轉換為電子的噪聲與信號讀出的噪聲之意。

通過這三個計算式可以看出，要提高動態范圍，就得提高滿阱容量，或者減少暫態噪聲。要達到這些目的，就得改變像素結構，以及改進電路設計。

落到實處，該怎么實現呢？單反上那套平面堆料之做法肯定是行不通的，畢竟整部手機的內部空間才多大。所以一般都是通過技術的進步，來改造像素的結構并改進電路設計。

例如從前照式演進為背照式，再推進到堆棧式，直至索尼最新的雙層晶體管技術。這些不斷演進的CIS結構技術，不僅能夠提高滿阱容量，還能減少讀出電路的噪聲。

至于光電轉換噪聲方面的努力，最重要的就是 DTI（深槽隔離）技術，其能將每個像素隔離，以克服光串擾；同時還能促進像素縱深的擴展，從而提高滿阱容量。

當然，在動態范圍方面被單反CIS碾壓的手機CIS，單靠以上這些努力是不夠的——那些形形色色的 HDR 技術下面就該上場了。

3，早期 HDR 技術

基礎技術方面的突破完成之后，最終就輪到 HDR 技術登場了。最早被普及的 HDR 技術，就是最簡單的不同曝光時間圖像之多幀合成——Multi-frame HDR（多幀異曝光HDR）。

首先引入這個 HDR 技術的，是2011年發布的蘋果 iPhone4S 所搭載之IMX145，這就是 iPhone4S 的傳奇之處——開創性地引入“手機計算攝影”概念！

不過由于當時使用的還是背照式技術，所以合成 HDR 圖像的過程都是手機芯片代勞，另外曝光時間引起的“運動偽影”也是繞不過去之難題（例如下圖的“八條馬腿”）。

于是，索尼便推出了 BME-HDR 技術，并由2012年的公版旗艦IMX135首發。

這個技術的全稱為 Binning Multiplexed Exposure（像素合并多重曝光），技術原理如下圖所示。就是通過合并同時進行長、短曝光的兩行，從而獲得高動態范圍之圖像。

而之所以要每兩行像素為一組，則是因為 Bayer 排列的RGGB濾鏡需要占用兩行。

此外，由于這次的IMX135首開堆棧式技術之先河，從而讓CIS的電路層集成了圖像處理器——這便是硬件級HDR的基礎；這不僅能更快生成HDR圖片，還能實現HDR錄像。

但是，BME 的缺點也很明顯，那就是最終圖像的分辨率會直接減半。當時正是追求高像素的年代，這能忍？而且其圖像也不夠自然。

于是，后面大法又推出了 SME-HDR 技術，其全稱為 Spatially Multiplexed Exposure（空間多重曝光），該技術由2014年發布的公版旗艦IMX214首發。

如下圖所示，通過“Z字形”的曝光陣列，將長、短曝光之圖像融合在兩行范圍之內，從而將分辨率損失壓到了20%的可接受水平。隨著大法持續地在手機端“飚像素”，2018年 Quad Bayer 排列開始流行，至此因其而生的 QBC HDR 技術也迎來了普及時刻。

這個HDR技術由2017年發布的，索尼旗艦級安防傳感器IMX294首發，其利用 Quad Bayer 排列中四個同色像素聚在一起的特性，直接實現了片上HDR！

如下圖所示，通過每個對角線一組的曝光策略，每組同色四像素便能輸出分別對應長、短曝光的兩組圖像，融合之后便能得到一張HDR圖像。

4，在用 HDR 技術

QBC HDR 技術可以說是 SME-HDR 技術的完美迭代，其優點除了速度快之外，效果還很好，所以非常適合應用在視頻拍攝中。

但是，隨著 Quad Bayer 技術的不斷發展，更復雜的 QBC 3-HDR 技術后面也被開發了出來。

如下圖所示，通過在同色四像素內分別施以三重曝光，其中 S、M、L 分別代表短、中、長曝光，融合后便可獲得動態范圍更廣的HDR圖像。

雖然 QBC 3-HDR 技術確實牛，能夠實現等同于肉眼所見的動態范圍，但其與 SME-HDR 一樣皆無法解決“運動偽影”問題（多重曝光所致）。

于是，索尼又研究出了 DOL-HDR 技術。這個 DOL 技術不僅沒有 BME 那損失分辨率和圖像不自然的兩大缺點，還大幅改善了“運動偽影”問題！但由于技術難度比較大，這項源于2018年的技術，到了2020年才由IMX766首發。

DOL 是 Digital Overlap（數字重疊）的簡稱，具體工作原理如下圖所示——能夠利用滾動電子快門的特點，讓曝光與讀出交織進行從而實現“準同時”曝光。

具體展開來說的話，就是以往的多幀 HDR 在執行一次曝光之后，要先從上到下完整讀取出整個畫面的數據，才能開始下一次曝光。

而在 DOL-HDR 技術的加持下，每行像素完成讀取后，可以立即開始下一次曝光，這樣就可以省下等待其它像素完成讀取的時間——“準同時”曝光之原理就是這么來的。

和 BME-HDR 技術那樣只有長、短兩種曝光的，被稱作2exp-DOL。至于后面出現的，包含長、中、短三曝光的則被稱為3exp-DOL（下圖所示）。

總結：

動態范圍——要提高這個 HDR 的核心指標，一是提高滿阱容量，二為減小暫態噪聲。這兩方面的實現方式除了CIS結構技術的進步外，還有像素細分工藝和HDR技術的引進。

BME-HDR 技術——索尼史上首個硬件級 HDR 技術，通過單幀長、短曝光合成解決了“運動偽影”問題，但損失了一半的分辨率，可謂是“殺敵一千自損五百”。

SME-HDR 技術——依然是單幀 HDR 技術，但對“運動偽影”問題進行妥協，將長、短曝光通過“Z字形”排列融合于單幀的每行像素之中，從而將像素損失率降低至20%。

QBC-HDR 技術——引進 Quad Bayer 排列，在四個同色像素組中分別進行長、短曝光并分別合成（SME技術的改良），后面又出現效果更好的長、中、短三重曝光之3-HDR技術。

DOL-HDR 技術——引進全新的“多幀逐行”技術，能將長、短曝光或者長、中、短曝光的多幀圖像“準同時”完成，既大幅改善了“運動偽影”問題又獲得了優秀的 HDR 效果。

假如單看這些多重曝光的 HDR 技術，那么 DOL 無疑是最優秀的。但隨著技術的發展，能夠從根本上徹底解決“運動偽影”難題的單曝光 HDR 技術也被研發了出來，而這個更為硬核的HDR技術正是下篇要講的內容。

編輯：黃飛

?