如何提高攝像機標定算法的魯棒性和視覺問題的解決方案

引言

機器視覺的基本任務之一是從攝像機獲取圖像信息并計算三維空間中物體的幾何信息，以由此重建和識別物體。而空間物體表面某點的三維幾何位置與其在圖像中對應點之間的相互關系是由攝像機成像的幾何模型決定的，這些幾何模型參數就是攝像機參數。在大多數條件下，這些參數必須通過實驗與計算才能得到，這個過程被稱為攝像機定標（或稱為標定）。標定過程就是確定攝像機的幾何和光學參數，以及攝像機相對于世界坐標系的方位。由于標定精度的大小，直接影響著計算機視覺（機器視覺）的精度。因此，只有做好了攝像機標定工作，后續工作才能正常展開，可以說，提高標定精度也是當前科研工作的重要方面。

1、 攝像機透視投影模型

攝像機通過成像透鏡將三維場景投影到攝像機二維像平面上，這個投影可用成像變換（即攝像機成像模型）來描述。攝像機成像模型分為線形模型和非線性模型。針孔成像模型就屬于線形攝像機模型，本文就討論在這種模型下，某空間點與其圖像投影點在各種坐標系下的變換關系。圖1所示為三個不同層次的坐標系在針孔成像模型下的關系。其中（Xw，Yw，Zw）為世界坐標系，（x，y，z）為攝像機坐標系，XfQfYf為以像素為單位的圖像坐標系，XOY為以毫米為單位的圖像坐標系。

圖像中某點在以毫米為單位的圖像坐標系中的坐標與其在以像素為單位的圖像坐標系中的坐標的變換關系如下：

空間某點在世界坐標系中的坐標與其在攝像機坐標系中的坐標變換關系如下：

其中，為3×3正交單位矩；t為三維平移向量；M2為4×4矩陣。

由于針孔成像模型有如下關系：

所以，將（1），（2）代入上式的齊次坐標和矩陣表示可得：

其中，M1為攝像機內參數，M2為攝像機外參數。確定某一攝像機參數稱為攝像機定標。

2 、標定分類

總的來說，攝像機標定可以分為傳統的攝像機標定方法和攝像機自標定方法兩大類。傳統攝像機標定的基本方法是在一定的攝像機模型下，通過對特定標定參照物進行圖像處理，并利用一系列數學變換公式計算及優化，來求取攝像機模型內部參數和外部參數。然而，該方法在場景未知和攝像機任意運動的一般情況下，其標定很難實現。20世紀90年代初，Faugeras，Luong，Maybank等人首次提出了攝像機自標定方法。這種自標定法利用攝像機本身參數之間的約束關系來標定，而與場景和攝像機的運動無關，所以更為靈活。

3、 傳統攝像機標定方法

傳統的攝像機標定方法按照標定參照物與算法思路可以分成若干類，如基于3D立體靶標的攝像機標定、基于2D平面靶標的攝像機標定、以及基于徑向約束的攝像機標定等。

3.1 基于3D立體靶標的攝像機標定

基于3D立體靶標進行攝像機標定是將一個3D立體靶標放置在攝像機前，靶標上每一個小方塊的頂點均可作為特征點。每個特征點相對于世界坐標系的位置在制作時應精確測定。攝像機獲得靶標上特征點的圖像后，由于表現三維空間坐標系與二維圖像坐標系關系的方程是攝像機內部參數和外部參數的非線性方程，如果忽略攝像機鏡頭的非線性畸變并把透視變換矩陣中的元素作為未知數，來給定一組三維控制點和對應的圖像點，那么，就可以利用直接線性變換法來求解透視變換矩陣中的各個元素。所以，由靶標上特征點的世界坐標和圖像坐標，即可計算出攝像機的內外參數。

3.2 基于2D平面靶標的攝像機標定

該方法又稱為張正友標定法，這是一種適合應用的新型靈活方法。該方法要求攝像機在兩個以上不同的方位拍攝一個平面靶標，攝像機和2D平面靶標都可以自由移動，且內部參數始終不變，假定2D平面靶標在世界坐標系中的Z=0，那么，通過線性模型分析就可計算出攝像機參數的優化解，然后用基干最大似然法進行非線性求精。在這個過程中得出考慮鏡頭畸變的目標函數后就可以求出所需的攝像機內、外部參數。這種標定方法既具有較好的魯棒性，又不需昂貴的精制標定塊，很有實用性。但是，張正友方法在進行線性內外參數估計時，由于假定模板圖像上的直線經透視投影后仍然為直線，進而進行圖像處理，這樣，實際上會引入誤差，所以，嘎方法在廣角鏡畸變比較大的情況誤差較大。

3.3 基于徑向約束的攝像機標定

Tsai（1986）給出了一種基于徑向約束的兩步法標定方法，該方法的核心是先利用RAC（徑向一致約束）條件用最小二乘法解超定線性方程，以求出除tτ（攝像機光軸方向的平移）外的其他像機外參數，然后再在攝像機有和無透鏡畸變等兩種情況下求解攝像機的其他參數。Tsai方法的精度比較高，適用于精密測量，但它對設備的要求也很高，不適用于簡單的標定。這種方法的精度是以設備的精度和復雜度為代價的。

4、 攝像機自標定方法

不依賴于標定參照物，僅利用攝像機在運動過程中周圍環境圖像與圖像之間的對應關系來對攝像機進行的標定的方法稱為攝像機自標定方法。目前已有的自標定技術大致可以分為基于主動視覺的攝像機自標定技術、直接求解Kruppa方程的攝像機自標定方法、分層逐步標定法、基于二次曲面的自標定方法等幾種。

4.1 基于主動視覺的自標定法

所謂主動視覺系統，是指攝像機被固定在一個可以精確控制的平臺上，且平臺的參數可以從計算機精確讀出，只需控制攝像機作特殊的運動來獲得多幅圖像，然后利用圖像和已知的攝像機運動參數來確定攝像機的內外參數。其代表性的方法是馬頌德提出的基于兩組三正交運動的線性方法，后來楊長江，李華等人提出了改進的方案，即分別是基于4組平面正交以及5組平面正交運動并利用圖像中的極點信息來線性標定攝像機參數。此種自標定方法算法簡單，可以獲得線性解，不足之處在于必須有可以精確控制的攝像機運動平臺。

4.2 基于Kruppa方程的自標定方法

Faugeras，Luong，Maybank等提出的自標定方法是直接基于求解Kruppa方程的一種方法，該方法利用絕對二次曲線像和極線變換的概念推導出Kruppa方程?；贙xuppa方程的自標定方法不需要對圖像序列做射影重建，而是對兩圖像之間建立方程，這個方法在某些很難將所有圖像統一到一致的射影框架場合會比分層逐步標定法更具優勢，但代價是無法保證無窮遠平面在所有圖像對確定的射影空間里的一致性，當圖像序列較長時，基于Kruppa方程的自標定方法可能不穩定。且其魯棒性依賴于給定的初值。

4.3 分層逐步標定法

近年來，分層逐步標定法已成為自標定研究中的熱點，并在實際應用中逐漸取代了直接求解Kruppa方程的方法。分層逐步標定法首先要求對圖像序列做射影重建，再通過絕對二次曲線（面）施加約束，最后定出仿射參數（即無窮遠平面方程）和攝像機內參數。分層逐步標定法的特點是在射影標定的基礎上，以某一幅圖像為基準做射影對齊，從而將未知數數量縮減，再通過非線性優化算法同時解出所有未知數。不足之處在于非線性優化算法的初值只能通過預估得到，而不能保證其收斂性。由于射影重建時，都是以某參考圖像為基準，所以，參考圖像的選取不同，標定的結果也不同相。

4.4 基于二次曲面的自標定方法

Triggs是最早將絕對二次曲面的概念引入自標定的研究中來的，這種自標定方法與基于Kruppa方程的方法在本質上是相同的，它們都利用絕對二次曲線在歐氏變換下的不變性。但在輸入多幅圖像并能得到一致射影重建的情況下，基于二次曲面的自標定方法會更好一些，其根源在于二次曲面包含了無窮遠平面和絕對二次曲線的所有信息，且基于二次曲面的自標定方法又是在對所有圖像做射影重建的基礎上計算二次曲面的，因此，該方法保證了無窮遠平面對所有圖像的一致性。

5、 結束語

本文對基于機器視覺的攝像機標定理論與各種方法進行了研究。傳統的攝像機標定需要標定參照物。為了提高計算精度，還需確定非線性畸變校正參數。而新的比較符合攝像機成像物理模型且又便于分析計算的實用模型是條另辟蹊徑的發展方向。攝像機自標定相對于傳統方法有更好的靈活性和實用性，通過十多年的不懈努力，理論上的問題已基本解決，目前研究的重點是如何提高標定算法的魯棒性以及如何很好地用這些理論來解決實際視覺問題。為了提高魯棒性，建議更多的使用分層逐步自標定方法，并應對自標定的結果進行線性優化。

責任編輯：gt