探索自動駕駛傳感器仿真模型的可信度

引言

智能網聯汽車是近年來汽車領域的發展趨勢，是先進技術的發展方向，對于L3及以上的自動駕駛系統，模擬仿真測試是主要的研發手段。在智能網聯汽車仿真測試過程中，傳感器建模是一個關鍵環節，其建模質量決定了仿真測試中智能汽車感知環境目標對象的逼真度，傳感器感知到的周圍環境信息不同，將影響自動駕駛系統決策和控制模塊的響應[1]。

環境感知作為實現自動駕駛的首要環節，主要是通過智能網聯汽車搭載的視覺相機、激光雷達、毫米波雷達等傳感器感知周圍的道路環境并快速準確的獲取周圍目標的類別、位置、尺寸和速度等信息，是自動駕駛系統決策、規劃與控制的基礎。

圖1?自動駕駛系統技術框架

為了使驗證的結果具有更高的可靠性，仿真測試平臺中所建立的傳感器模型也越需要更高的還原度。聯合國世界車輛法規協調論壇（UN/WP.29）自動駕駛驗證方法非正式工作組提出一種自動駕駛新型測評方法（NATM）[2]，NATM中針對仿真測試提出了可信度評估框架與流程，在建模和仿真確認部分指出：應對相關系統（如傳感器、車輛及其他子系統）進行確認。2023年11月17日，工業和信息化部、公安部、住房和城鄉建設部、交通運輸部四部委聯合發布的《關于開展智能網聯汽車準入和上路通行試點工作的通知》中針對仿真測試驗證也明確要求：應證明使用的模擬仿真測試工具鏈置信度，以及車輛動力學、傳感器等模型可信度，并通過與封閉場地和實際道路測試結果對比等手段驗證模擬仿真測試的可信度[3]。因此，高精度傳感器模型的研究是智能網聯汽車仿真測試領域重要的研究方向，確保在仿真系統中，更加精準和真實的表征車輛的感知過程，進而準確感知外在環境，為決策系統提供依據，對智能汽車產品研發具有重要的意義。

基于賽目科技前期提出的《關于模擬仿真測試可信度評估方法的研究（上）——評估框架》研究成果，本篇文章總結了傳感器建模層級及模型驗證方法，并提出傳感器模型比對思路，為后續開展傳感器模型可信度評估提供參考。

傳感器建模層級

根據對真實世界感知結果的保真度以及傳感器建模的復雜程度，傳感器模型可分為理想傳感器、混合傳感器、物理傳感器三個層級。

理想傳感器：通常表示沒有誤差的傳感器模型，主要考慮環境中的幾何關系（幾何模型），通過設置傳感器檢測邊界，直接從仿真軟件的環境數據中提取探測范圍內的環境真值（Ground Truth，GT）作為傳感器感知目標的檢測結果。理想傳感器模型的輸入輸出均為目標列表。

物理傳感器：針對傳感器的具體物理結構和物理原理，從物理特性的角度對傳感器工作鏈路進行全物理級建模，還原傳感器信號生成、傳輸、接收、處理的全過程，并在其中考慮環境條件、材料特性或傳感器特定效應對信號的干擾與影響，例如電磁波的多路徑反射、動態傳感器性能，包括探測丟失率、目標分辨率等。物理傳感器模型將仿真環境提供的虛擬環境作為輸入，傳感器的視頻或點云等原始數據作為輸出[4]。

（1）攝像頭

攝像頭主要由鏡頭、光學傳感器和圖像信號處理器組成。來自場景的光通過光學鏡頭獲取視角范圍內物體反射的光線，并通過光學傳感器將光信號轉換為圖像信號，然后由圖像信號處理器運行一系列圖像處理算法，并完成數據格式的轉換，最終輸出RGB、YUV等多種圖像數據。根據攝像頭的物理成像原理，對攝像頭的結構與光學特性、內部圖像處理過程進行仿真，例如畸變、景深模糊、亮度調節、白平衡、伽瑪校正等。

圖2?攝像頭傳感器模型工作鏈路

（2）毫米波雷達

毫米波雷達主要由雷達發射機、雷達接收機和雷達信號處理單元組成。雷達發射模塊發射出的電磁波在空間中傳播，受電磁波頻率和場景信息的影響，經波傳播模型轉換為回波信號后，輸入給毫米波雷達的接收模塊，然后由雷達信號處理單元對回波信號進行一系列處理，輸出得到雷達原始點云數據。

圖3?毫米波雷達傳感器模型工作鏈路

（3）激光雷達

激光雷達主要由發射模塊、掃描模塊（如有）、接收模塊和處理模塊組成。激光發射模塊發射激光脈沖，由掃描模塊實現激光光束偏轉，激光觸碰目標反射后向各方向散射，部分散射光返回到激光雷達的接收模塊，當回波經過接收的各級電路，最終被送至信號處理模塊。處理模塊會對數據進行處理，輸出不同時刻每束激光探測到的目標點的位置信息，即“點云”，如點云三維坐標、激光反射強度等。

圖4?激光雷達傳感器模型工作鏈路

混合傳感器：除理想傳感器和物理傳感器以外的其他類型傳感器則為混合傳感器，其建模思路可能包括以下兩種情況：① 在理想傳感器的基礎上考慮噪聲和目標物屬性等因素，在理想待輸出對象的數據信息中增加誤差信號（如能量衰減模型與噪聲模型）；② 對傳感器工作鏈路進行部分物理級建模，輸出傳感器原始數據?；旌蟼鞲衅髂Ｐ涂蓪⒛繕肆斜?環境參數作為輸入，目標列表/傳感器原始數據作為輸出。

基于上述傳感器建模的三個層級，在環境感知-決策規劃-控制執行的循環中，可將感知任務分為物理測量和感知計算兩部分。在物理測量階段，傳感器通過自身工作特性捕捉周圍環境信息并生成傳感器原始數據；而在感知計算階段，通過目標檢測算法進一步將傳感器原始數據轉換為目標列表（目標檢測）。理想傳感器和一部分混合傳感器模型同時包括物理測量和感知計算，對傳感器模型進行整體建模，其傳感器模型的輸出是目標列表，可作為決策規劃模塊的輸入，從而支持規劃控制算法的仿真測試。而物理傳感器和其他混合傳感器模型只包括物理測量任務，因此，它們的輸出是傳感器原始數據，可作為感知模塊的輸入，從而支持包含感知模塊的完整算法的測試。

圖5?“感知-決策-控制”循環流程框架

在感知系統的傳感器仿真建模評價方面，Li等[5]對雷達的物理參數進行了系統的分析，并建立了雷達物理模型，其中能量衰減模型如式（1）所示。根據物理機制對雷達探測性能進行仿真，通過對雷達模型和真實雷達測量數據的擬合，采用統計方法對距離誤差、速度誤差和角度誤差進行對比分析，驗證了雷達傳感器模型的準確性。

其中：

Zhao等[6]提出了一種由幾何模型和物理模型組成的面向數據的激光雷達模型。物理模型能夠說明天氣現象如何影響激光雷達的距離測量性能，其中信號衰減模型是激光雷達物理模型的一部分，它描述了激光雷達的有效探測范圍隨激光傳輸介質而變化的現象，如式（2）所示。最后針對激光雷達模型輸出的目標檢測結果與實際測量結果進行比較，驗證所提出的傳感器模型在不同天氣條件下的準確性。

其中：

Khatry R等[7]基于物理的傳感器建?？蚣?，模擬傳感器在現實世界中的工作原理。通過判斷與真實傳感器的接近程度進行模型評估，將真實數據和模型生成的數據通過目測檢查或使用巴倫相關系數和皮爾遜相關系數等定量指標來直接進行比較。Rosenberger等[8]開發了一種基于光線投射的激光雷達傳感器模型來生成點云，并推導出了應用于激光雷達點云數據的評價指標，從而能夠在點云數據生成的不同階段對仿真和真實傳感器數據進行定量比較。Manivasagam等[9]利用仿真得到的點云數據、其他平臺仿真得到的點云數據與真實點云數據分別進行了語義分割與目標檢測等工作，并計算目標的探測精度，實現了對激光雷達傳感器模型的簡要評價。Arsalan等[10]通過對傳感器時域和點云級別的仿真數據與實際測量數據進行比較，并定義了關鍵性能指標（KPI），以測量所提出的模型的保真度。結果表明，在激光雷達建模時，需要考慮完整的信號處理步驟和真實激光雷達傳感器的性能缺陷，才能得到接近實際傳感器的仿真結果。

? ?傳感器模型可信度評價思路

在自動駕駛功能系統設計從規范化階段過渡到集成實際硬件與實施應用階段，其仿真測試需要使用可信的傳感器模型。上篇《模擬仿真測試可信度評估方法研究》一文中針對傳感器模型可信度評價，提出“測試環境構建+對比參數”的驗證框架。傳感器模型配置主要是通過攝像頭、毫米波雷達、激光雷達等傳感器物理特性根據仿真測試需求進行建模，并將傳感器模型的輸出結果與真實傳感器的輸出結果進行比較。

圖6?傳感器模型可信度評估框架

本篇文章基于理想傳感器、混合傳感器、物理傳感器的建模層級分類以及傳感器仿真建模評價研究，進一步梳理出以下三個層面的傳感器模型可信度驗證思路。

1、目標列表層面：通過對傳感器模型輸出的目標檢測結果與傳感器實測結果進行統計對比，驗證傳感器模型的可信度。

·?攝像頭：目標對象的特征及形狀、顏色、位置，車道線的顏色、種類等；

·?毫米波雷達：目標對象的相對距離、相對速度、方向和高度等。

·?激光雷達：目標對象的相對距離、相對速度、加速度、大小和方向等。

2、傳感器原始數據層面：與目標列表相比，傳感器原始數據取決于建模的傳感器類型。

·?圖像用作攝像頭原始數據，攝像頭仿真每一幀的原始數據包括2D/3D包圍盒、語義/實例分割圖和光流等。

·?點云信息用作毫米波雷達和激光雷達原始數據。

3、傳感器仿真過程各階段輸出結果：

針對傳感器工作鏈路進行物理級建模，是搭建高保真傳感器模型的關鍵方法。傳感器仿真主要考慮了外部組件和內部組件兩部分，外部組件主要指信號傳輸過程中環境因素的影響；而內部組件是指傳感器自身的物理結構與特性。因此我們需要考慮傳感器的工作模式、完整的信號處理工具鏈和真實傳感器的特定缺陷，基于傳感器信號生成、傳輸、接收、處理的全過程，對每個階段的輸出結果進行對比，從而實現傳感器模型的精確評價。

此外，為了評估傳感器仿真的真實性和可靠性，可以使用一些定量指標來反映仿真軟件中傳感器數據與真實環境中傳感器數據之間的差異。根據不同的傳感器類型和仿真目的，定量指標可以有不同的選擇和定義，包括：均方根誤差，相關系數，結構相似性指數，信噪比，精確度，召回率等。

小結

總的來看，提升傳感器模型的仿真精度、效率，以及建立具有更高保真度的通用傳感器模型是未來研究需要關注的重點。同時，傳感器仿真模型可信度評價的通用指標與標準體系尚不成熟，本文初步提出了針對不同傳感器的不同建模層級，選取不同對比方法進行傳感器模型可信度評價。此外，對于不同傳感器模型也會對應不同的評價指標或評價體系，在此方面賽目未來還將繼續開展更多的研究與探索。

參考文獻

[1] 劉煒,陸存豪.自動駕駛汽車環境感知傳感器研究[J].汽車實用技術,2023,48(10):197-203.

[2] New Assessment/Test Method for Automated Driving (NATM) Guidelines for Validating Automated Driving System (ADS). Informal Working Group (IWG) on Validation Methods for Automated Driving (VMAD),2022.

[3] 工業和信息化部、公安部、住房和城鄉建設部、交通運輸部.《關于開展智能網聯汽車準入和上路通行試點工作的通知（試行）》, 2023.

[4] 王若萱,吳建平,徐輝.自動駕駛汽車感知系統仿真的研究及應用綜述[J].系統仿真學報,2022,34(12):2507-2521.

[5] Li X, Deng W, Zhang S, et al. Research on Millimeter Wave Radar Simulation Model for Intelligent Vehicle [J]. International Journal of Automotive Technology (S1229-9138), 2020, 21(2): 275-284.

[6] Zhao J, Li Y, Zhu B, et al. Method and Applications of Lidar Modeling for Virtual Testing of Intelligent Vehicles [J]. IEEE Transactions on Intelligent Transportation Systems(S1524-9050), 2021, 22(5): 2990-3000.

[7] Khatry R, Thompson A. Camera and Lidar Sensor Models for Autonomous Vehicles[R]. Teddington: National Physical Laboratory, 2021.

[8] Rosenberger P, Holder M, Huch S, et al. Benchmarking?and Functional Decomposition of Automotive Lidar?Sensor Models[C]//2019 IEEE Intelligent Vehicles?Symposium (IV). Paris: IEEE, 2019: 632-639.

[9] Manivasagam S, Wang S, Wong K, et al. LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Seattle, WA:IEEE, 2020: 11164-11173.

[10] Arsalan H,Marcell P,H. M K, et al. Development of High-Fidelity Automotive LiDAR Sensor Model with Standardized Interfaces[J]. Sensors,2022,22(19).

審核編輯：黃飛