淺談傳感器和鏡頭的匹配設計

傳感器和鏡頭的匹配設計 ? ?

奈奎斯特頻率成像

在奈奎斯特頻率下成像是吸引人的，該頻率在高級鏡頭選擇的等式1中定義。然而，這通常不是一個好主意，因為這意味著正在觀察的特征正好落在一個像素上。如果成像系統移動半個像素，則感興趣的對象將落在兩個像素之間，并且將完全模糊。因此，不建議在奈奎斯特頻率下成像。假設沒有使用子像素插值，通常建議在奈奎斯特頻率的一半處成像，因為這將允許感興趣的特征總是占據至少兩個像素。

通常不恰當地做出的另一個假設是，除非鏡頭在與其一起使用的傳感器的奈奎斯特頻率下具有相當大（>20%）的對比度，否則該鏡頭不適合與特定相機一起使用。事實并非如此。如前所述，在奈奎斯特極限下成像是不明智的，可能會產生幾個問題。需要查看整個系統，以確定鏡頭是否適合給定的相機傳感器，這通常取決于應用。下一節將介紹在奈奎斯特頻率或接近奈奎斯特頻率時成像系統中發生的情況，以及對整體系統分辨率的影響。

理解相機傳感器和成像鏡頭之間的相互作用是設計和實現機器視覺系統的重要部分。這種關系的優化常常被忽視，它對系統整體分辨率的影響很大。不正確配對的相機/鏡頭組合可能導致在成像系統上浪費金錢。不幸的是，決定在任何應用中使用哪個鏡頭和相機并不總是一件容易的事：更多的相機傳感器（直接結果是更多的鏡頭）繼續被設計和制造，以利用新的制造能力并提高性能。這些新的傳感器為鏡頭帶來了許多需要克服的挑戰，并使正確的相機與鏡頭配對變得不那么明顯。

第一個挑戰是像素繼續變小。雖然較小的像素通常意味著較高的系統級分辨率，但一旦考慮到所使用的光學器件，情況并非總是如此。在一個完美的世界里，系統中沒有衍射或光學誤差，分辨率將簡單地基于像素的大小和被觀察物體的大?。ㄒ姺直媛剩?。簡而言之，當像素尺寸減小時，分辨率增加。當較小的對象可以適合較小的像素并且仍然能夠分辨對象之間的間距時，即使該間距減小，也會發生這種增加。這是一個關于相機傳感器如何檢測物體的過于簡化的模型，沒有考慮噪聲或其他參數。

鏡頭也有分辨率規格，但基本原理并不像傳感器那樣容易理解，因為沒有像像素那樣具體的東西。然而，當通過鏡頭成像時，有兩個因素最終決定特定物體特征在像素上的對比度再現（調制傳遞函數或MTF）：衍射和像差內容。任何時候光通過光圈都會發生衍射，導致對比度降低（艾里斑和衍射極限中的更多細節）。像差是發生在每個成像鏡頭中的誤差，其根據像差的類型而模糊或錯位圖像信息，如真實世界性能中所述。對于快鏡頭（≤f/4），光學像差通常是系統偏離衍射極限所規定的“完美”的原因；在大多數情況下，如公式1所示，鏡頭在其理論截止頻率（ξcutoffξcutoff）下根本不起作用。

將這個等式與相機傳感器聯系起來，隨著像素頻率的增加（像素大小下降），對比度下降-每個鏡頭都會遵循這一趨勢。然而，這并不能說明鏡頭的真實硬件性能。鏡頭的公差和制造的緊密程度也將對鏡頭的像差內容產生影響，并且真實世界的性能將不同于標稱的設計性能。根據標稱數據來估計真實世界鏡頭的表現可能會有差異，但實驗室中的測試可以幫助確定特定鏡頭和相機傳感器是否兼容。

(1)

了解鏡頭在特定傳感器上的表現的一種方法是用美國空軍1951年的棒靶測試其分辨率。條形目標比星形目標更適合確定鏡頭/傳感器的兼容性，因為它們的特征與正方形（和矩形）像素排列得更好。以下示例顯示了使用相同的高分辨率50mm焦距鏡頭和相同的照明條件在三個不同的相機傳感器上拍攝的測試圖像。然后將每個圖像與鏡頭的標稱軸上MTF曲線（藍色曲線）進行比較。在這種情況下僅使用軸上曲線，因為測量對比度的感興趣區域僅覆蓋傳感器中心的一小部分。圖1A顯示了50mm鏡頭與具有2.2μm像素的1/2.51/2.5ON Semiconductor MT9P031配對時的性能，放大倍率為0.177倍。

圖1：（a）2.2μm像素的ONSemiconductor MT9P031、（B）3.45μm像素的SonyIXC655和（C）7.4μm像素的ONSemiconductorKai-4021上的高分辨率50mm鏡頭的標稱鏡頭性能與實際性能的比較。紅線、紫線和深綠線分別表示傳感器的奈奎斯特極限。黃線、淺藍線和淺綠線分別表示傳感器奈奎斯特限值的一半。

使用分辨率公式1，傳感器的奈奎斯特分辨率（ξsensor）為227.7，這意味著系統在放大倍率為0.177x時理論上可以成像的最小物體為12.4μm（使用分辨率公式1的替代形式）。

(2)

請記住，這些計算沒有與之關聯的對比度值。圖1A的左側顯示了美國空軍1951目標上的兩個元素的圖像；左圖顯示每個特征兩個像素，右圖顯示每個特征一個像素。在傳感器（227）的奈奎斯特頻率下，系統以8.8%的對比度對目標成像，該對比度低于可靠成像系統所推薦的20%的最小對比度。注意，通過將特征尺寸增加兩倍至24.8μm，對比度增加了近三倍。在實際意義上，成像系統在奈奎斯特頻率的一半處將可靠得多。

(3)

成像系統不能可靠地對尺寸為12.4μm的物體特征進行成像，這一結論與分辨率方程所示的結論截然相反，因為從數學上講，物體在系統的能力范圍內。這一矛盾突出表明，一階計算和近似不足以確定成像系統是否能夠達到特定的分辨率。此外，奈奎斯特頻率計算并不是為系統的分辨率能力奠定基礎的可靠指標，只能用作系統將具有的限制的指南。8.8%的對比度太低而不能被認為是準確的，因為條件的微小波動很容易將對比度降低到無法分辨的水平。

圖1B和1C顯示的圖像與MT9P031上的圖像類似，但使用的傳感器是索尼ICX655（3.45μm像素）和安森美半導體Kai-4021（7.4μm像素）。每個圖中的左側圖像顯示每個特征兩個像素，右側圖像顯示每個特征一個像素。這3個圖之間的主要區別在于，圖1B和1C的所有圖像對比度都在20%以上，這意味著（乍一看）它們在分辨該尺寸的特征時是可靠的。當然，與圖1A中的2.2μm像素相比，它們可以分辨的最小尺寸對象更大。然而，在奈奎斯特頻率下成像仍然是不明智的，因為物體的輕微移動可能會使兩個像素之間的所需特征發生偏移，從而使物體無法分辨。請注意，當像素尺寸從2.2μm增加到3.45μm，再增加到7.4μm時，對比度從每個特征一個像素增加到每個特征兩個像素的影響較小。在ICX655（3.45μm像素）上，對比度變化略低于2倍；Kai-4021（7.4μm像素）進一步減弱了這種影響。

圖2：在三種不同像素大小的相機傳感器上，使用相同的鏡頭和光照條件拍攝的圖像。頂部圖像以每個特征四個像素拍攝，底部圖像以每個特征兩個像素拍攝。

圖1中的一個重要差異是標稱鏡頭MTF與實際圖像中的真實對比度之間的差異。圖1A頂部的鏡頭的MTF曲線顯示，當產生的對比度值為8.8%時，鏡頭在頻率227處應達到約24%的對比度。造成這種差異的主要因素有兩個：傳感器MTF和鏡頭公差。大多數傳感器公司不公布其傳感器的MTF曲線，但它們具有與鏡頭相同的一般形狀。由于系統級MTF是系統的所有部件的MTF的乘積，因此鏡頭和傳感器的MTF必須相乘在一起，以提供系統的整體分辨率能力的更精確的結論。

如上所述，鏡頭的公差MTF也是偏離標稱值。所有這些因素共同改變了系統的預期分辨率，就其本身而言，鏡頭MTF曲線并不是系統級分辨率的準確表示。

如圖2中的圖像所示，最佳系統級對比度出現在使用較大像素拍攝的圖像中。當像素尺寸減小時，對比度顯著下降。一個好的最佳實踐是使用20%作為機器視覺系統中的最小對比度，因為低于該對比度的任何對比度值都太容易受到來自溫度變化或照明串擾的噪聲波動的影響。使用50mm鏡頭和圖1A中的2.2μm像素拍攝的圖像的對比度為8.8%，由于鏡頭即將成為系統中的限制因素，因此對于與2.2μm像素尺寸相對應的物體特征尺寸，圖像數據太低，無法依賴圖像數據。像素遠小于2.2μm的傳感器當然存在，并且非常受歡迎，但遠小于該尺寸的傳感器幾乎不可能讓光學器件分辨到單個像素級別。這意味著在分辨率中描述的方程對于幫助確定系統級分辨率在功能上變得毫無意義，并且類似于在上述圖中拍攝的圖像將不可能被捕獲。然而，這些微小的像素仍然有用處——僅僅因為光學不能分辨整個像素并不會使它們變得無用。對于某些算法，如斑點分析或光學字符識別（OCR），它不是關于鏡頭是否可以實際分辨到單個像素級別，而是關于可以在特定特征上放置多少像素。對于較小的像素，可以避免子像素插值，這將增加用它進行的任何測量的精度。此外，當切換到具有拜耳模式濾波器的彩色相機時，在分辨率損失方面的損失較小。

要記住的另一個要點是，從每個特征一個像素跳到每個特征兩個像素會產生大量的對比度，特別是在較小的像素上。盡管通過將頻率減半，最小可分辨物體的大小實際上增加了一倍。如果絕對有必要觀察到單像素水平，通常最好將光學放大倍數加倍，并將視場（FOV）減半。

這將導致特征尺寸覆蓋兩倍的像素，并且對比度將高得多。這種解決方案的缺點是整個場的可見度較低。從圖像傳感器的角度來看，最好的做法是保持像素大小，并將圖像傳感器的格式大小加倍。例如，使用具有2.2μm像素的?“傳感器的1倍放大成像系統將具有與使用具有2.2μm像素的1”傳感器的2倍放大系統相同的FOV和空間分辨率，但使用2倍系統，對比度理論上加倍。

不幸的是，將傳感器尺寸加倍會給鏡頭帶來額外的問題。成像鏡頭的主要成本驅動因素之一是其設計的格式尺寸。為較大規格的傳感器設計物鏡需要更多單獨的光學元件；這些部件需要更大，并且系統的公差需要更嚴格。繼續上面的例子，為1“傳感器設計的鏡頭的成本可能是為?”傳感器設計的鏡頭的五倍，即使它不能達到相同的像素限制分辨率規格。

審核編輯：黃飛

?