電子發燒友App
自動駕駛車輛上通常會安裝多個傳感器作為感知輸入源，而首先來說它們之間的坐標關系是需要確定的，那么，傳感器標定就是自動駕駛的基本需求。一般情況下，整個標定工作可分成內參標定和外參標定兩部分。內參是決定傳感器內部的映射關系，比如攝像頭的焦距，偏心和像素橫縱比（+畸變系數），而外參是決定傳感器和外部某個坐標系的轉換關系，比如姿態參數（旋轉和平移6自由度）。
傳感器校準是智能車輛穩健性能的基礎。傳統且常用的標定方法是通過對智駕車輛在工廠下線電檢階段進行的。一旦完成標定和校準，其內外參數在交付至客戶手里后將不會自動優化更新。
眾所周知，整個智駕感知領域幾乎無一例外的用到了計算機視覺相關的AI處理技術，比如深度學習、人工智能、數據驅動的各種優化等。
?
以感知最常規的車道線識別為例。隨著自動駕駛時代的到來，需要車道線識別的應用場景也越來越廣泛，相應車道線識別技術也越來越重要，具體原因如下：
第一，覆蓋場景廣，車道線識別存在于自動駕駛大多數的應用場景，是自動駕駛不可或缺的 基礎算法；
第二，重要安全保障，車道線識別能精準的識別道路并最終幫助機器決策，也是行車安全的 重要保障。
第三，在高精地圖或輕地圖構建領域，車道是所有高精地圖要素的道路關聯的主鍵，所以車 道線要素在高精地圖中是重中之重，車道線識別算法也至關重要。
基于此，自動駕駛對于車道線識別結果精度的超高要求，而我們發現在真正識別過程中，已經有很多Tier1或者Tier2都會或多或少的在實際路測過程中發現一些不利的感知結果。
比如在車輛從產線上下線后上路跑一定時間的路試后，很容易出現車道線跳變，目標感知不準確等結果。實際上這類問題的源頭這些算法供應商也是有一定分析和應對能力的。因為大部分這類問題的源頭都來自于由標定內外參數所決定的投影矩陣P或單應矩陣H。通常情況下，他們采用的優化方式包括如下幾種：
1）如果兩條車道線間歇性跳變，則可能是感知算法本身的原因導致的，這時候考慮在規控端做預處理。方法是以兩條車道線做原始輸入，卡爾曼濾波預測輸出行駛中心線；
2）如果是其中一條車道線做間歇性跳變，則考慮是否是傳感器的某些內外參數值隨著時間推移出現了校準偏差。解決方法是利用車道線和目標來計算一個較好的相機Pitch值，再在后端加上一些平行假設便可以很好的解決這類問題；
3）相機系統的長期運行和免維護優勢只能通過自動校準方法來保證，它可以根據需要更新相機參數。然而，在自然環境中，干擾很容易對校準造成挑戰。一種可能性是使用已知形狀的自然物體來重新校準傳感器。如果考慮利用識別到的環境靜態目標對傳感器進行實時在線標定時，則是利用光流或其他先進的視頻跟蹤檢測技術則可以獲得一個高質量的Pitch值。
01
自校準方法概述
常用的相機標定方法需要一些特殊的參考圖案，例如棋盤，其物理尺寸等。并且，這些都是事先已知的。然而，當車輛在路上時，這些特殊圖案并不容易獲得。在這種情況下，自動校準系統就需要從其環境中提取參考信息。
總結起來，對于自動校準的方法而言可歸類為如下幾種：
1）從道路虛線中提取消失點或道路拐角進行在線標定。
2）接收來自其他汽車的預定義特征點來建立對應模型，用于獲取交通攝像頭參數。
3）基于定義車輛流的三個消失點來監控攝像頭校準。
4）通過將行走的人物目標為垂直線段來完成相同的工作。
實際上，對于自校準方法來說，當前考慮的策略是可以從道路線中提取特征點用于校準，但不可能假設不同區域的道路線寬度相同。此外，由于磨損，沿道路線的輪廓可能存在缺陷。這些偽圖像和圖像變化將會導致一定的校準錯誤。
針對以上問題將有兩種解決方案。一種方法是在車端設計一個結構化道路環境（在道路上繪制的已知大小的網格），當車輛駛近時，攝像機會檢測到該環境。另一種方法使用放置在汽車引擎蓋上的幾個標記，快速估計車載攝像頭的相對位置和方向。然而，這可能會分散其他司機的注意力，假設引擎蓋在攝像頭的視野范圍內，并且如果引擎蓋不平坦，則不同車輛的性能可能會有所不同。因此，如上兩種方法都不適合真實的駕駛場景。
02
本文提出的優化自校準方案
本文的重點就是研究一種新的優化方案對傳感器的實時在線標定。這里的重點是基于識別環境中的交通標志（例如停車標志、限速標志等幾類常規的標志）并將其用于重新校準相機的方法。該方法基于檢測、幾何估計、校準和遞歸更新幾個步驟來具體實現。實時標定的結果可以清楚地顯示其收斂和改進的性能。
與設計圖案不同，停車標志無處不在。停車標志的物理尺寸由交通部標準化。與城市環境中存在的其他參考信息相比，使用交通標志，尤其是停車標志具有三個優勢：
可以亞像素精度檢測到足夠的特征點（從停車標志的內八角開始至少八個）。
與其他參考對象（例如道路線）相比，停車標志的相關幾何屬性保持不變，因為它們由對外力具有魯棒性的金屬制成。
車輛在接近停車標志時減速，減少圖像模糊和滾動快門效果。
傳感器校準是智能車輛穩健性能的基礎。在自然環境中，干擾很容易對校準造成挑戰。一種可能性是使用已知形狀的自然物體來重新校準傳感器。因此，我們提出了一種使用停車標志進行自動校準的方法。
整個標定邏輯流程圖如下：
如上所描述的檢測重點在于如下幾個重要的模塊處理。
1）交通標志檢測：
對于依靠路標進行實時在線標定的情況，需要在行車過程中實時檢測道路中的交通標志信息。當前，在卷積神經網絡 (CNN) 的幫助下，目標檢測一直是一個研究得很好的領域。通用的檢測架構（例如 YOLO、YOLOv3）可以輕松地實時運行（45 Hz）；而基于提案的架構（例如 Faster R-CNN 、FPN）需要更多資源并且通常需要更長的運行時間，在準確性方面通常優于前者，尤其是對于小物體和復雜場景。此外，標記對象像素的實例分割方法也可用于查找停車標志邊界框。
2）形狀匹配：
形狀匹配是通過使用相似性度量檢查需要比較較的兩個標志形狀的相似性。特別是在我們這種利用停車標志進行在線標定的例子中，檢測到的停車標志邊緣包圍的形狀必須是八邊形。這里可以用旋轉函數表示多邊形并測量 Lp 距離。當然，也可以進一步考慮（除了旋轉、平移和尺度不變性之外）仿射不變性。
智能汽車實時在線標定系統可分為七個模塊（如下圖）。
前五個部分從城市圖像序列生成角點的 2D-3D 對應對，后兩個部分是計算內在參數的最后兩個步驟。這里我們將分別進行過程闡述。
1、停止標志檢測Stop Sign Detection
標志檢測階段通過使用能夠具有 ResNet-50 和特征金字塔網絡主干的Mask R-CNN 模型對圖像幀進行處理，從而生成 2D 邊界框（如上圖a中的綠色框）。Mask R-CNN 模型相對較低的速度不會影響我們當前的非實時系統，因為開銷主要在于邊緣線擬合模塊。因此，與 Faster R-CNN 相比，Mask R-CNN 具有更高的停車標志檢測率，這可能通過提供更多參考候選來提高我們系統的校準精度。
2、通過顏色分割檢測輪廓點
該模塊從停車標志中檢測紅色內八邊形的輪廓點（如上圖b）。圖像預處理階段，可以使用從 RGB 到 HSV的顏色空間轉換來對帶閾值的紅色部分進行提取。
然后，在 HSV 圖像上，使用常規的邊緣檢測算法（如Canny/Devernay 算法）進行邊緣提取，從而以亞像素精度來獲得八邊形的輪廓點。由于邊緣檢測算法在本文中是十分重要的。因此，這里可以簡單說明下Canny算法和Devernay的技術原理。
A、Canny算法
Canny算法實際上是將高斯濾波器的一階導數應用于圖像檢測中，從而可以獲得圖像梯度，其中邊緣點是沿法線方向 n 的局部最大值。
與邊緣正交的方向 n 可以用圖像梯度近似：
如上公式中， G 和 I 分別是高斯濾波器和圖像， * 代表卷積運算符。
B、Devernay 亞像素校正
通過 Canny 算法雖然可以實現基礎的邊緣檢測過程，但是其獲得的邊緣點是整像素精度級別的。而對于我們的系統而言，處理過程都是需要亞像素精度，這可以通過使用 Devernay 矯正算法對Canny進行算法改進。假設B是用Canny算法得到的像素點（對應法線方向n上的局部梯度最大值）。B 沿 n 的兩個相鄰點的梯度可以通過線性插值來近似。然后，邊緣點的子像素位置被細化為所有這三個點（沿 n）的一維二次插值的最大值。
接下來是需要對處理結果進行輪廓點鏈接。為了實現這個目的，需要將上述獨立的邊緣檢測點分組形成若干鏈。為了確保輪廓檢測的唯一性，需要采用密集點檢測方法，將包含最多點的一個就會選定為內八邊形的輪廓。
3、邊緣線擬合
如上八邊形雖然檢測出了整體的輪廓，但是還需要依靠一定的邊緣線擬合算法將這些輪廓點擬合成真實的八邊形。
操作過程針對給定上面停車標志輪廓上的一組二維點 X ∈ R N×2，將其擬合八條線，每條線的估計都會生成八邊形的一條邊。通過找到具有最多“支持點”的線，一次估計一條邊。當點到線的距離在接近閾值（本文中，閾值固定為 0.5 個像素距離可以確保亞像素被準確估計）內時，則認為該輪廓點可以“支持”對該對應線的估計。
如上輪廓線的選擇是通過對原始輪廓點集合運行 RANSAC 算法來完成的。請注意，此處迭代次數受 N2 的限制，方法是遍歷所有對。一旦一條邊被擬合，所有的支持點都從原始集合中移除，這樣就可以重復相同的算法來找到不同的邊。
結合概率p ∈ [0, 1) 最終最小二乘線是最受支持的線的概率，迭代次數 K 可以計算參照如下公式：
其中 w =1(8?i)2 , i ∈ {0, ..., 7} 是從支持集中選擇一個點的機會，假設 X 中輪廓外的異常值很少。確定 p 涉及考慮估計精度和運行時間之間的權衡。假如當前設定精度比運算效率更重要，則需要將 p 設置為盡可能接近 1（例如 0.999）。
4、垂直搜索線細化
RGB/HSV類型圖像梯度的大小可以實際表示出八邊形輪廓的位置，其中顏色在鄰域中變化最突然?？紤]到智能汽車可能行駛在夜間或可見度不足的場景下，這時由于光照不足可能會導致 HSV 空間中的誤導性顏色分割，原始點可能會偏離輪廓。因此，線細化是必要的，這里可以通過局部搜索將移動的線調整回真正的八邊形邊緣。
從估計線開始，我們沿著線的垂直方向搜索局部最大梯度，并旋轉線以與其對齊。在曝光不足/曝光過度的情況下，邊緣的梯度峰可能會消失。因此，引入細化邊界可以很好的解決這個問題。假設細化應該是微妙的，只有當超過一半的 S 細化點在邊界內時，才會更新一條線。
細化邊界可以用百分比 B ∈ [0, 1] 進行參數化，這意味著細化點最多是白色邊界寬度的 100 % 沿垂直方向遠離原始位置。為了估計停車標志的白色邊框寬度，可以將估計的線段的長度乘以交通標志規則中記錄的內部多邊形邊緣的寬長比。
5、交點估計
八條估計線最多有28 個交點，而其中只有八個是有效的八邊形角。一種簡單有效且常用的方法是選擇靠近線段端點（例如，在 10 像素距離內）的交點。然后，角點數不等于 8 的任何估計都會被丟棄。
例如，按順時針順序（相對于點的幾何中心）對角點進行排序有助于獲得 2D-3D 對應關系。此外，第一個角始終可以設置為字符“S”的左上角，因為停車標志通常是直立的。
為了進一步驗證角點的有效性，采用Hausdorff距離方法來保證最終的八點集在仿射變換下形成八邊形。
6、平面物體校準
通常這類標準的模型可使用針孔相機模型進行校準。即，將世界坐標中的 3D 點 (X, Y, Z) 投影到圖像中作為像素 (u, v)表示。通過以下等式可以將 (u, v) 與 (X, Y, Z) 聯系起來：
其中 s 是未知標量，A ∈ R 3×3 是相機固有矩陣（假設無偏斜約束）。r1, r2, r3 是旋轉矩陣的列，t 是平移向量。它們通常被稱為相機外部參數，因為它們具有將世界坐標點轉換為相機坐標系的功能。
在標定過程中，如果 3D 坐標系固定在棋盤或停車標志等平面物體上，則等式 3 中的 Z 分量始終為零，從而得到一個簡化的等式：
我們用 M = (X, Y, 1)T 和 m = (u, v, 1)T 分別表示平面物體上一點的位置和它在圖像中的位置。它們的關系由單應矩陣 H 定義如下：
很明顯，H 是一個 3 × 3 矩陣，直到一個比例因子?？梢允褂?N ≥ 4 個點來計算單應性矩陣 H。
在我們的系統中，檢測到停車標志的 8 個角點后就可以用H =[h1 h2 h3] 來表示 H。由式5可得：
基于 r1, r2 是標準正交的知識，我們得到計算內參矩陣 A 所需的兩個約束如下：
這樣就可以獲得計算內參矩陣 A 所需的兩個約束。
在我們的系統中，假設主點固定在圖像平面的中心，只有焦距 fx 和 fy 被計算并迭代更新，那么對于棋盤校準，我們也需要出于比較的目的強制執行此假設。
封閉形式的解決方案可以通過最大似然推理進行改進：原始校準需要用作非線性優化問題進行初始推算，也可以使用Levenberg-Marquardt 算法進行求解。目前，這部分不包含在我們的系統中。
7、卡爾曼濾波器校準的時間更新
這里的優化更新目標是隨著時間的推移可能會產生其他的一些噪聲，這時就需要通過不斷地優化來整合相機內參矩陣。我們一般假設該推理過程會引入一些標準的高斯噪聲，那么我們就可以使用具有不同噪聲協方差矩陣的卡爾曼濾波器來進行優化和更新。
標準的卡爾曼濾波器預測公式如下：
其中 xt, xt+1 是在不同時間估計的相機內參向量。研究的一個基本假設是如果假設內在參數在短期估計內是恒定的，那么F 就可以成為單位矩陣。
此時，整個更新步驟是通過如下公式進行的：
過程噪聲和測量噪聲 δ 是具有零均值的高斯隨機向量。它們的協方差分別由（對角線）矩陣 Q = E( T )、R = E(δδT ) 表示。Q 指定了我們認為內在參數隨時間變化的程度，對于較短的估計期應該較低。R 確定一次估計中有多少噪聲。直觀地說，隨著過程的進行，這種測量噪聲應該從高值開始降低，因為使用的圖像越多，校準就越準確。
03
結論
高階駕駛輔助系統對其傳感器是否具有穩健的性能要求十分嚴苛，因為這是系統能否實現準確環境感知的關鍵。從當前的發展趨勢看起來，最有前途的傳感模式則是成像模式，因為從圖像中可以計算出低成本且豐富的環境信息。由于相機系統經常用于距離感知、速度推理和目標檢測。對于此類應用，相機參數通常對于重建部分場景和影響測量精度至關重要。影響參數準確性的往往來自原相機的精確校準及自適應優化過程。然而，當攝像頭安裝在車輛上時，攝像頭固有的由于道路顛簸引起的機械振動或天氣引起的溫度波動參數會發生變化。因此，長期使用反復校準相機也將是一個挑戰。
本文提出了一種基于識別交通標志（例如停車標志）并將其用于重新校準相機的方法。該方法是基于檢測、幾何估計、校準和遞歸更新來實現的?？梢栽谛枰钚∠鄼C運動的任務開始之前校準一次相機，因為可以假定相機內部參數是靜態的。實際證明，采用這類道路靜態目標對相機的實時校準是非常有效且受用的。后續我們可以推斷出其他類型的道路靜態目標校準方式，比如限速牌，人行橫道等典型的標識。實際是越多的圖片加入校準庫，對于實時在線校準越有利，但是同時也要關注到整個中央域控的運算能力等。
審核編輯：劉清
工商網監
評論