毫米波雷達與攝像頭單應性變換標定方法誤差因素分析

摘 要 ：目前在交通監測領域中毫米波雷達和攝像頭已經被大量使用，傳感器融合可以彌補單一傳感器的劣勢，做到優勢互補，兩者融合需要標定出傳感器間的空間轉換關系。對于毫米波雷達與攝像頭空間轉換關系已有文章提出一種基于單應性變換原理的交通監測毫米波雷達與攝像頭標定方法，該方法只需提取交通監測場景中目標在兩傳感器中對應的坐標點對就能解算出傳感器間的轉換關系。相比傳統方法對攝像頭內參數、傳感器自身以及傳感器之間的旋轉角度等參數進行標定，該方法更加簡潔有效，可以更高效的解決坐標轉換問題，但目前還缺乏對影響單應性標定方法誤差因素的分析。針對這一問題，文中將通過實驗對單應性標定方法中特征點空間分布以及數量對于標定精確度的影響進行研究并給出合適的標定方案。

0 引 言

根據世界衛生組織（World Health Organization, WHO）報告數據 [1]，每年有大約 135 萬人死于道路交通事故，平均每 24 s 就有 1 人在道路上失去生命 ；道路交通傷害是 5 ～29 歲兒童和年輕人的主要死因，全球道路交通安全形勢嚴峻 [2-3]。交通事故的頻發給人們的生活健康和經濟產生了巨大影響，所以優良的交通監測技術對人們的生活有著重大意義。目前在交通監測領域，較為普遍的是使用單一光學攝像頭對車輛進行識別跟蹤或者使用雷達對車輛進行測速測距。但是這些傳統的監控方式都存在一定的局限性，光學攝像頭可以獲得較為豐富的目標及場景的紋理特征，但其測速測距能力較弱，且光學傳感器容易受到天氣、光照等因素的影響。而毫米波雷達在測速測距以及抗天氣干擾等方面具有天然的優勢，但卻無法獲得目標的紋理信息等特征。將光學攝像頭與毫米波雷達傳感器進行融合可以做到優勢互補。因此，光學攝像頭與毫米波雷達信息的融合已成為智能交通系統的研究熱點 [4]。

在進行傳感器數據融合之前，首先要通過傳感器標定來解決毫米波雷達與光學攝像頭間的空間轉換問題。目前已經有學者研究出了一些較為有效的毫米波雷達與光學攝像頭標定方法。日本豐巴技術中心研究人員研發出了基于毫米波雷達和攝像頭的障礙物檢測分類系統，首先利用攝像頭獲取圖像，使用毫米波雷達選出并建立感興趣區域，然后利用神經網絡進行待測車輛識別，但這種方法識別效果的精確性較差[5]。Nabati，Ramin & Qi[6] 等提出了一種中心融合的深度學習網絡，實現了雷達與攝像頭的融合，該方法為車輛檢測建立了立體的視錐而不再是檢測框，從而提高了自動駕駛過程中2 個傳感器標定及融合的準確性。張富有 [7] 提出一種通過標定攝像頭內參數以及毫米波雷達與光學攝像頭三軸旋轉自由度的方法來解算空間轉換關系，從而實現傳感器間的標定。但這種方式需要標定的參數過多，增加了實驗難度，并且攝像頭標定誤差也會受多種因素影響 [8-9]。已有文章提出一種基于單應性變換的毫米波雷達與攝像頭標定方法，該方法通過在毫米波雷達與攝像頭共同采集區域中設置定標物，然后提取定標物在雷達數據以及攝像頭像素數據中的坐標形成特征點對，通過多個特征點對可以標定出兩者的空間轉換關系。但基于單應性變換的毫米波雷達與攝像頭標定方法缺少對影響標定誤差的因素的分析。

基于單應性變換的毫米波雷達與攝像頭標定方法缺少對影響誤差因素的分析，本文將通過實驗從特征點空間分布以及數量對單應性標定誤差的影響進行分析。

1 單應性標定原理及誤差建模

1.1 毫米波雷達與攝像頭單應性標定原理介紹

單應性變換原理常被應用于圖像領域，比如相機成像可以把現實世界中的三維目標表示在二維的像素平面中。由此單應性變換可以用來表示三維目標點與二維目標點之間的映射關系 [10]。毫米波雷達采集的目標數據為二維坐標 (xr, yr)，而攝像機采集的目標像素點坐標為 (u, v)，假設雷達檢測到的目標以及攝像機檢測到的目標全部在雷達采集平面 xroryr與像素平面 ucocvc 上，如圖 1 所示。

圖 1 所示為一個在毫米波雷達與攝像頭公共視場內的目標，假設其在毫米波雷達坐標下的位置為 Pr(xr, yr)，在攝像機像素坐標系中的位置為 Pc(u, v)。由單應性變換原理可知，標定雷達采集的目標點與攝像機像素坐標之間的空間轉換關系就是標定雷達采集平面 xroryr 與像素平面 ucocvc 之間的映射關系，根據單應性原理可得雷達采集平面與圖像像素平面關系 ：

式中，H 為雷達平面與像素平面之間的單應性矩陣，其表示兩個采集面之間的轉換關系，H 是一個 3×3 的矩陣，s 為常數。雷達采集平面和像素平面之間的關系可以通過估計單應性矩陣 H 得到，此過程不需要對攝像機內外參數等進行單獨標定，也不需要對各坐標軸旋轉角度進行標定。根據式（1）將單應性矩陣展開可得：

將式（2）展開可以得到 ：

在雷達平面與像素平面取 N 個對應的目標點對，帶入式（3）化為矩陣則有 ：

式（4）左矩陣為 2N×9 階的矩陣，右部分矩陣為 9×1 階的矩陣，記為單應性矩陣 H。最小需要 4 個不共線的特征點對可以求解出單應性矩陣，并且對于超定方程組，可以通過最小二乘法求解，但為了減少數據中噪聲對單應性矩陣標定的影響，采用最小中值估計的方法來增加 H 的準確性和魯棒性。定義每個標定出的單應性矩陣 H 的標定誤差為：

最小中值優化估計實現步驟如下 ：

（1）對于包含 N 對特征點的集合，每次隨機抽取 4 個特征點對組成一個集合 ；

（2）對于每一個樣本集，使用最小二乘法估計得到一個單應性矩陣 hi ；

（3）對于每一個 hi，可以求出整個數據集所有點對的標定誤差 ei，再找出 ei 的中值 emedi ；

（4）求解出使 emedi 最小的 hi。通過上述方法可以求解出毫米波雷達與攝像頭之間的單應性矩陣，只需采集一定數量的定標物特征點對就可以完成毫米波雷達與攝像頭之間的標定，實現毫米波雷達坐標與像素坐標之間的轉換。

1.2 誤差因素建模

根據式（2）可知，單應性標定法中如果獲得一定數量的特征點對，即成對的 (xr, yr) 與 (uc, vc) 就可以求解出單應性矩陣，并且由于單應性矩陣實際是一種超定方程組，因此求解至少需要 4 對特征點對。但是特征點對的數量選擇多少以及特征點對選取的位置對標定精度產生的影響需要進一步實驗探究。針對單應性變換標定方法將其標定誤差與其影響因素定義如式（6）所示 ：

式中：etotal 表示標定的總誤差；r 為雷達自身采集誤差；l 為特征點空間分布的位置；n 為特征點數量。公式說明標定總誤差為3 個誤差因素共同作用下產生的結果。在這 3 個誤差因素中，雷達采集誤差受雷達硬件自身測距精度與測角精度的影響，因設備差異的不同會導致不同測距測角精度誤差。

2 實驗分析

2.1實驗設備介紹

本文采用的實驗設備為77G 大陸 ARS408 毫米波雷達以及?？低?/u>光學監控攝像頭，設備如圖2 所示，雷達采集界面示意圖如圖3 所示，雷達采集數據示意圖如圖4所示。毫米波雷達參數見表1 所列，攝像頭參數見表2 所列。