機器人視覺—三維成像技術綜述

引言

3D視覺成像是工業機器人信息感知的一種最重要的方法，可分為光學和非光學成像方法。目前應用最多的還是光學方法，包括：飛行時間法、結構光法、激光掃描法、莫爾條紋法、激光散斑法、干涉法、照相測量法、激光跟蹤法、從運動獲得形狀、從陰影獲得形狀，以及其他的 Shape from X等。本次介紹幾種典型方案。

節選于盧榮勝，史艷瓊，胡海兵《機器人視覺三維成像技術綜述》一文。

飛行時間3D成像

飛行時間（TOF）相機每個像素利用光飛行的時間差來獲取物體的深度。

在經典的TOF測量方法中，探測器系統在發射光脈沖的同時啟動探測接收單元進行計時，當探測器接收到目標發出的光回波時，探測器直接存儲往返時間。目標距離Z可通過以下簡單方程估算：

這種測距方式也稱為直接TOF（DTOF）。D-TOF通常用于單點測距系統，為了實現面積范圍3D成像，通常需要采用掃描技術。

無掃描TOF三維成像技術直到近幾年才實現，因為在像素級實現亞納秒電子計時是非常困難的。

與直接計時的D-TOF不同的方案是間接TOF（I-TOF），時間往返行程是從光強度的時間選通測量中間接外推獲得。I-TOF不需要精確的計時，而是采用時間選通光子計數器或電荷積分器，它們可以在像素級實現。I-TOF是目前基于TOF相機的電子和光混合器的商用化解決方案。

TOF成像可用于大視野、遠距離、低精度、低成 本的3D圖像采集。其特點是:檢測速度快、視野范 圍較大、工作距離遠、價格便宜，但精度低，易受環境光的干擾。

掃描3D成像

掃描3D成像方法可分為掃描測距、主動三角法、色散共焦法等。其實，色散共焦法是掃描測距法的一種，考慮到目前在手機、平板顯示等制造行業應用比較廣泛，在此單獨介紹。

1、掃描測距

掃描測距是利用一條準直光束通過一維測距掃描整個目標表面實現3D測量。典型掃描測距方法有：

1、單點飛行時間法，如連續波頻率調制（FM-CW）測距、脈沖測距（激光雷達）等；

2、激光散射干涉法，如基于多波長干涉、全息干涉、白光干涉散斑干涉等原理的干涉儀；

3、共焦法，如色散共焦、自聚焦等。

單點測距掃描3D方法中，單點飛行時間法適合遠距離掃描，測量精度較低，一般在毫米量級。

其他幾種單點掃描方法有：單點激光干涉法、共焦法和單點激光主動三角法，測量精度較高，但前者對環境要求高；線掃描精度適中，效率高。

比較適合于機械手臂末端執行3D測量的應是主動激光三角法和色散共焦法。

2、主動三角法

主動三角法是基于三角測量原理，利用準直光束、一條或多條平面光束掃描目標表面完成3D測 量的。

光束常采用以下方式獲得：激光準直、圓柱或 二次曲面柱形棱角擴束,非相干光(如白光、LED 光 源)通過小孔、狹縫(光柵)投影或相干光衍射等。

主動三角法可分為三種類型：單點掃描、單線掃描和多線掃描。目前商業化的用于機械手臂末端的產品大多數是單點和單線掃描儀。

在多線掃描方法中,條紋極數可靠識別是難點。為 了準確識別條紋編號,通常采用兩組垂直光平面高 速交替成像，這樣還可以實現“FlyingTriangulation” 掃描，其掃描與三維重構過程如下圖所示。多線條投影一次頻閃成像產生一幅稀疏3D視圖, 通過縱橫向條紋投影掃描生成若干幅3D視圖序列,再通過三 維圖像準配生成高分辨率的完整致密的三維曲面模型。

3、色散共焦法

色散共焦似乎可以掃描測量粗糙和光滑的不透明和透明物體，如反射鏡面、透明玻璃面等，目前在手機蓋板三維檢測等領域廣受歡迎。

色散共焦掃描有三種類型：單點一維絕對測距掃描、多點陣列掃描和連續線掃描，下圖分別列出了絕對測距和連續線掃描兩類示例，其中連續線掃描也是一種陣列掃描，只是陣列的點陣更多、更密集。

在商業產品上，目前較為知名的掃描光譜共焦傳感器是法國的 STIL MPLS180，采用180個陣列點形成一條線，最大線長4.039mm（測量點11.5pm，點與點間距為22.5pm），另一款產品是芬蘭的 FOCALSPEC UULA，采用的是色散共焦三角法技術。

結構光投影3D成像

結構光投影三維成像目前是機器人3D視覺感知的主要方式，結構光成像系統是由若干個投影儀和相機組成，常用的結構形式有：單投影儀-單相機、單投影儀-雙相機、單投影儀-多相機、單相機-雙投影儀和單相機-多投影儀等典型結構形式。

結構光投影三維成像的基本工作原理是：投影儀向目標物體投射特定的結構光照明圖案，由相機攝取被目標調制后的圖像，再通過圖像處理和視覺模型求出目標物體的三維信息。

常用的投影儀主要有下列幾種類型：液晶投影（LCD）、數字光調制投影（DLP，如數字微鏡器件（DMD）、激光LED圖案直接投影。

根據結構光投影次數劃分，結構光投影三維成像可以分成單次投影3D和多次投影3D方法。

1、單次投影成像

單次投影結構光主要采用空間復用編碼和頻率復用編碼形式實現，常用的編碼形式有：彩色編碼、灰度索引、幾何形狀編碼和隨機斑點。

目前在機器人手眼系統應用中，對于三維測量精度要求不高的場合，如碼垛、拆垛、三維抓取等，比較受歡迎的是投射偽隨機斑點獲得目標三維信息，其3D成像原理如下圖所示。

2、多次投影成像

多次投影3D方法主要采用時間復用編碼方式實現，常用的圖案編碼形式有：二進制編碼、多頻相移編碼τ35和混合編碼法（如格雷碼十相移條紋）等。

條紋投影3D成像基本原理如下圖所示，利用計算機生成結構光圖案或用特殊的光學裝置產生結構光，經過光學投影系統投射至被測物體表面，然后采用圖像獲取設備（如CCD或CMOS相機）采集被物體表面調制后發生變形的結構光圖像，利用圖像處理算法計算圖像中每個像素點與物體輪廓上點的對應關系；最后通過系統結構模型及其標定技術，計算得到被測物體的三維輪廓信息。

在實際應用中，常采用格雷碼投影、正弦相移條紋投影或格雷碼十正弦相移混合投影3D技術。

3、偏折法成像

對于粗糙表面，結構光可以直接投射到物體表面進行視覺成像測量；但對于大反射率光滑表面和鏡面物體3D測量，結構光投影不能直接投射到被測則表面，3D測量還需要借助鏡面偏折技術，如下圖所示。

在這種方案中，條紋不是直接投影到被測則輪廓上，而是投射到一個散射屏上，或用液晶顯示屏代替散射屏把條紋直接顯示出來。相機通過光亮表面折返光路，獲取被光亮表面曲率變化調制的條紋信息，然后解算出三維輪廓形貌。

立體視覺3D成像

立體視覺字面意思是用一只眼睛或兩只眼睛感知三維結構，一般情況下是指從不同的視點獲取兩幅或多幅圖像重構目標物體3D結構或深度信息。

深度感知視覺線索可分為ocular cues和 Binocular cues（雙目視差）。目前立體視覺3D可以通過單目視覺、雙目視覺、多（目）視覺、光場3D成像（電子復眼或陣列相機）實現。

1、單目視覺成像

單目視覺深度感知線索通常有：透視、焦距差異、多視覺成像、覆蓋、陰影、運動視差等。在機器人視覺里還可以用鏡像1，以及其他 shape from X10等方法實現。

2、雙目視覺成像

雙目視覺深度感知視覺線索有：眼睛的收斂位置和雙目視差。在機器視覺里利用兩個相機從兩個視點對同一個目標場景獲取兩個視點圖像再計算兩個視點圖像中同名點的視差獲得目標場景的3D深度信息。

典型的雙目立體視覺計算過程包含下面四個步驟：圖像畸變矯正、立體圖像對校正、圖像配準和三角法重投影視差圖計算，如下圖。

3、多（目）視覺成像

也稱多視點立體成像，用單個或多個相機從多個視點獲取同一個目標場景的多幅圖像，重構目標場景的三維信息。其基本原理如下圖所示。

多視點立體成像主要用于下列幾種場景：

1）使用多個相機從不同視點，獲取同一個目標

場景多幅圖像，然后基于特征的立體重構等算法求取場景深度和空間結構信息。

2）從運動恢復形狀（SM）的技術。使用同一相機在其內參數不變的條件下，從不同視點獲取多幅圖像，重構目標場景的三維信息。該技術常用于跟蹤目標場景中大量的控制點，連續恢復場景的3D結構信息、相機的姿態和位置。

4、光場成像

光場3D成像的原理與傳統CCD和CMOS相機成像原理在結構原理上有所差異，傳統相機成像是光線穿過鏡頭在后續的成像平面上直接成像，一般是2D圖像。

光場相機成像是在傳感器平面前增加了一個微透鏡陣列，將經過主鏡頭入射的光線再次穿過每個微透鏡，由感光陣列接收，從而獲得光線的方向與位置信息，使成像結果可在后期處理，達到先拍照，后聚焦的效果，如下圖所示。

機器人視覺3D成像方法比較

（1）類似于ToF相機、光場相機這類相機，可以歸類為單相機3D成像范圍，它們體積小，實時性好，適合Eye-in-Hand系統執行3D測量、定位和實時引導。

但是，ToF相機、光場相機短期內還難以用來構建普通的Eye- inHand系統，主要原因如下：

①ToF相機空間分辨率和3D精度低，不適合高精度測量、定位與引導。

②對于光場相機，目前商業化的工業級產品只有德國 Raytrix一家，雖然性能較好，空間分率和精度適中，但價格太貴，一臺幾十萬元，使用成本太高。

（2）結構光投影3D系統，精度和成本適中，有相當好的應用市場前景。它由若干個相機-投影儀組成，如果把投影儀當作一個逆向的相機，可以認為該系統是一個雙目或多目3D三角測量系統。

（3）被動立體視覺3D成像，日前在工業領域也得到較好應用，但應用場合有限。因為單目立體視覺實現有難度，雙目和多目立體視覺要求目標物體紋理或幾何特征清晰。

（4）結構光投影3D、雙目立體視覺3D都存在下列缺點：體積較大，容易產生遮擋。因為這幾種方法都是基于三角測量原理，要求相機和投影儀之間或雙目立體兩個相機之間必須間隔一定距離，并且存在一定的夾角θ（通常大于15°）才能實現測量。

如果減小相機與投影儀（結構光光源）的夾角，雖然在某些程度上可以解決問題，但是卻會嚴重降低系統的測量靈敏度，影響該測量系統的應用。

針對上述問題雖然可以增加投影儀或相機覆蓋被遮擋的區域，構成投影儀-相機-投影儀系統、相機-投影儀-相機測量系統或者多個相機投影儀系統，增大可視范圍，減小陰影區域，擴大測量區域，但會增加成像系統的體積，減少在Eye n-hand系統中應用的靈活性。從 Eye-in-Hand系統的角度來看，最佳的方案是開發一種成本低廉、精度適中、被動單目3D成像系統。