使用合成數據實現自動駕駛攝像感知系統聚焦遠場物體

探測遠場物體（比如 100 米以外的車輛等）是自動駕駛系統在高速公路上安全運行的基礎。

在此類高速環境中，每一秒都至關重要。因此，如果能夠將以 70 英里/小時（約 113 公里/小時）速度行駛的自動駕駛車輛的感知范圍從 100 米增加到 200 米，那么車輛就會有更多的時間裕量來做出反應。

然而，對于量產乘用車中所部署的攝像感知系統來說，擴大這一范圍尤其困難。訓練攝像感知系統來探測遠場物體需要采集大量攝像數據以及真值（ground truth）標注，比如 3D 邊界框和距離等。

圖 1. 自動駕駛汽車離其他物體越遠，就越難執行準確的攝像感知和真值標注。（圖中的汽車未按比例繪制)

對于 200 米以外的物體，要提取這種真值數據就會變得更加困難。物體越遠，它在圖像中就越小，最終會變得只有幾像素那么大。通常情況下，會同時使用像激光雷達這樣的傳感器，以及聚合和自動標注技術來提取 3D 和距離信息，但這類在激光雷達工作范圍外的數據會變得稀疏并充滿干擾。

圖 2. 攝像頭數據實例（使用 30 度視場的長焦鏡頭在高速公路場景中拍攝），放大圖顯示了只有幾個像素的遠處汽車圖像。

在開發過程中，NVIDIA DRIVE 自動駕駛汽車團隊需要解決這一具體挑戰。為此，NVIDIA 利用?NVIDIA Omniverse Replicator?的功能，在?NVIDIA DRIVE Sim?中生成遠場物體的合成真值數據。

NVIDIA DRIVE Sim?是依托 Omniverse 構建而成的自動駕駛汽車仿真平臺，包含了基于物理學的傳感器模型，這些模型已通過全面的高保真傳感器仿真驗證。更多詳情，請參閱驗證 NVIDIA DRIVE Sim 攝像頭模型：https://developer.nvidia.com/zh-cn/blog/validating-drive-sim-camera-models/

通過 NVIDIA DRIVE Sim 能夠查詢仿真場景中每個物體的位置（包括在任何攝像頭分辨率下，距離車輛 400 米或 500 米的物體）并達到像素級精度。

通過將車輛位置信息與基于物理學的合成攝像頭數據相結合，即可生成感知所需的 3D 和距離真值標簽。

通過將這些合成真值數據添加到現有的真實數據集中，便能夠訓練可探測遠距離汽車的網絡，并將 190 米到 200 米處汽車的 F1 得分提高 33%。

生成遠場物體的合成真值數據

為了解決準確標注的遠場數據的稀缺問題，NVIDIA 準備生成一個由近 10 萬張遠距離物體圖像組成的合成數據集以增強現有的真實數據集。圖 3 展示了在 NVIDIA DRIVE Sim 中使用 Omniverse Replicator 生成這些數據集的過程（從選擇 3D 環境，到評估深度神經網絡（DNN）性能）。

圖 3. 用戶可以使用 NVIDIA DRIVE Sim 不斷迭代合成數據，以提高深度神經網絡（DNN）的準確性

在選擇了針對高速公路用例的 3D 環境之后，NVIDIA 設置了一輛帶有所需攝像頭傳感器的目標車輛（ego vehicle）。

NVIDIA DRIVE Sim 利用建立在 Omniverse Replicator 框架上的域隨機化 API，以編程方式改變 3D 資產的外觀、位置和運動。通過使用 ASAM OpenDRIVE 地圖 API，將車輛和障礙物放置在 100 米至 350 米以上的遠場距離上并使之具有情境感知能力。

NVIDIA DRIVE Sim 動作系統能夠仿真各種有遮擋物的棘手情況，例如變道或近距離超車搶道等。這為現實世界中難以遇到的場景提供了關鍵數據。

在數據生成前的最后一步，需使用 Omniverse Replicator 的真值寫入器生成必要的標簽，包括 3D 邊界框、速度、語義標簽、物體 ID 等。

利用合成攝像頭數據提高攝像頭感知性能

這個用例中的真實訓練數據集由 100 多萬張圖像組成，圖像中包含高速公路場景中距離超過 200 米的車輛的真值標簽。如圖 4 左側所示，這些真實圖像中的汽車分布數，在距離數據采集車不到 100 米的地方達到峰值。距離更遠的物體的真值標簽十分稀疏，不足以提升感知能力。

圖 4. 真實世界數據集與 NVIDIA DRIVE Sim 中生成的合成數據相對于本車距離的頻率分布比較。目標車輛的前方為 0 度，后方為 180 度。角度為方位角值。

在本案例中，生成了約 9.2 萬張合成圖像以及約 37.1 萬個汽車實例和真值標簽，重點是放置在 350 米以內的遠距離車輛的分布。合成數據集中的汽車分布更傾向于 150 米以上的遠距離。通過向這個真實數據集添加約 9.2 萬張合成圖像，可將所需的有標簽的遠場物體引入到訓練分布中。

在綜合數據集上訓練完感知算法后，NVIDIA 對真實數據集進行了測試，該數據集上的汽車分布范圍在 200 米以內。根據按距離計算的感知性能改進 KPI，190 米至 200 米之間的汽車的 F1 得分（衡量模型在數據集上的準確性）最多可提高 33%。

圖 5. 在使用/未使用 NVIDIA DRIVE Sim 的仿真圖像訓練 DNN 的情況下，障礙物檢測 DNN 的性能提高程度（F1 得分）。

總結

合成數據正在推動自動駕駛車輛開發范式的重大轉變，解鎖以前無法實現的新用例。通過使用?NVIDIA DRIVE Sim?和?NVIDIA Omniverse Replicator，用戶可以設計新傳感器的原型、評估新的真值數據類型和自動駕駛車輛感知算法并仿真罕見的負面事件，所有這些都在虛擬的試驗場中進行，所耗費的時間和成本遠低于現實世界。

合成數據集為自動駕駛車輛的感知提供了豐富的可能性并且在不斷發展。




審核編輯：劉清