小米自動駕駛技術：算法篇

小米汽車未公布小米自動駕駛算法的詳細信息，不過通過小米汽車發布的學術論文可以一窺小米自動駕駛算法。目前，小米汽車的學術論文主要有兩篇，一篇是《SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection》，作者有新加坡國立大學的，小米汽車僅有兩人。另一篇是《SurroundSDF: Implicit 3D Scene Understanding Based on Signed Distance Field》，署名作者有8位，其中六位是小米汽車的，還有兩位是西安交通大學軟件工程學院的，這兩位當中還有一位是后來加盟小米汽車的。兩篇論文的核心都是Occupancy占用網絡，這一點雷軍在小米汽車發布會上也有所提及。

這兩篇論文前一篇側重于3D感知，后一篇側重于3D場景重建，3D感知的論文都不免要在nuScenes測試數據集上打榜。艱深晦澀的論文大多數人都沒興趣讀完，所以我們先看小米這兩篇算法論文的得分。

圖片來源：《SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection》論文

NDS得分58.1，這個得分應該說很低，華為在2021年10月的TransFusion得分都有71.7，零跑汽車的EA-LSS得分有77.6。不過后兩者基本都是Bounding-Box的，而不是基于占用網絡的，這樣對比有一點不公平。

圖片來源：《SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection》論文

與另一個頂級占用網絡結構TPVFormer比，基本相差不大，TPVFormer是北航提出來的。

圖片來源：《SurroundSDF: Implicit 3D Scene Understanding Based on Signed Distance Field》論文

《SurroundSDF: Implicit 3D Scene Understanding Based on Signed Distance Field》這篇論文算法的得分，在一眾占用網絡模式里mIoU得分第一。mIoU (Mean Intersection over Union，均交并比)：為語義分割的標準度量。其計算兩個集合的交并比，這兩個集合為真實值（ground truth）和預測值（predicted segmentation）。計算公式如下： i表示真實值，j表示預測值：

圖片來源：《SurroundSDF: Implicit 3D Scene Understanding Based on Signed Distance Field》論文

3D場景重建的得分，基本上也可以算是第一。

下面來具體看這兩篇論文。

圖片來源：《SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection》論文

SOGDet就是將3D感知與3D語義分割占用網絡預測結合，主要是提高非道路環境的感知，構建一個完整的真實3D場景，使得自動駕駛決策系統更好地理解周邊環境，給出正確的道路規劃，非道路環境包括了植被（綠化帶、草地等等）、人行道、地形以及人工建筑。

圖片來源：《SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection》論文

小米SOGDet的網絡架構，并無獨特之處，畢竟網絡基礎都是谷歌和META構建的。目前頂級自動駕駛網絡基本都是三部分，其中骨干Backbone部分，還是基于CNN，沒辦法，Transofrmer運算量太大，無法使用，大家基本還是用ResNet50/100。也有少數使用谷歌的ViT，但實際無法落地。多頭部分使用View Transformer做BEV變換。這里仍然使用英偉達提出的經典的LSS方法，其中：

Lift——對各相機的圖像顯性地估計像平面下采樣后特征點的深度分布，得到包含圖像特征的視錐（點云）；

Splat——結合相機內外參把所有相機的視錐（點云）分配到BEV網格中，對每個柵格中的多個視錐點進行sum-pooling計算，形成BEV特征圖；

Shoot——用task head處理BEV特征圖，輸出感知結果。LSS是2020年提出的，目前還做了不少改進，主要是深度修正(Depth Correction)和具有相機感知能力的深度估計(Camera-aware Depth Prediction)。

另外，還提出了高效體素池化(Efficient Voxel Pooling)來加速BEVDepth方法，以及多幀融合(Multi-frame Fusion)來提高目標檢測效果和運動速度估計。任務級用反卷積和MLP輸出語義分割網絡占用或目標檢測Bounding Box。

再來看小米汽車成份更高的那篇論文即《SurroundSDF: Implicit 3D Scene Understanding Based on Signed Distance Field》，這篇論文主要就是3D語義分割占用網絡，因此主要指標就是mIoU。

小米汽車SurroundSDF的網絡架構

圖片來源：《SurroundSDF: Implicit 3D Scene Understanding Based on Signed Distance Field》論文

簡單解釋一下SDF，有符號距離場(SDF：Signed Distance Field) 是距離場的一種變體，它在 3D(2D) 空間中將位置映射到其到最近平面（邊緣）的距離。距離場在圖像處理、物理學和計算機圖形學等許多研究中都有應用。在計算機圖形的上下文中，距離場通常是有符號的，表示某個位置是否在網格內。無論2D或者3D圖形都有隱式（implicit）和顯式（explicit）兩種存儲方式，比如3D模型就可以用mesh直接存儲模型數據，也可以用SDF、點云(point cloud)、神經網絡(neural rendering)來表示，2D資產（這里指貼圖）亦是如此。比如貼圖一般直接使用RGB、HSV等參數來進行表示，但這樣子再放大圖片后會出現鋸齒，所以想要獲取高清的圖像就需要較大的存儲空間，這時候就需要矢量表示，SDF就是為了這種需求產生的，也就是雷軍所說的超高分辨率矢量。這個技術是用在手機游戲中的，最典型的就是手機游戲第一名《原神》，面部陰影就是用SDF做的。

小米汽車SurroundSDF的網絡架構和上一篇論文只有最后輸出頭有區別，骨干網、LSS和Voxel都是完全一致的。

SurroundSDF旨在解決自動駕駛系統中基于視覺的3D場景理解的挑戰。具體來說，它試圖解決以下問題：連續性和準確性：現有的無對象（object-free）方法在預測離散體素網格的語義時，未能構建連續且準確的障礙物表面。SurroundSDF通過隱式預測有符號距離場（Signed Distance Field, SDF）和語義場，來實現從環繞圖像連續感知3D場景。

缺乏精確的SDF真實值（ground truth）：由于獲取精確的SDF真實值是困難的，論文提出了一種新的弱監督范式，稱為Sandwich Eikonal formulation，通過在表面兩側施加正確和密集的約束來提高表面的感知精度。Eikonal方程是在處理波傳播問題時需要求解的一類非線性偏微分方程。這里科普一下：Eikonal方程可以求出地震波從源點到空間任意一點的傳播時間，從而描述波在介質中的傳播時間場；快速求解Eikonal方程對于加速重建地震波傳播時間場從而減少地震災害對社會財產的損失具有重要意義。在圖像處理領域，Eikonal方程被用于計算多個點的距離場、圖像去噪，提取離散和參數化表面上的最短路徑。

3D語義分割和連續3D幾何重建：SurroundSDF旨在在一個框架內同時解決3D語義分割和連續3D幾何重建的問題，利用SDF的強大表示能力。

長尾問題和3D場景的粗糙描述：盡管3D目標檢測算法取得了進展，但長尾問題和3D場景的粗糙描述仍然是挑戰，需要更深入地理解3D幾何和語義。

特斯拉的AI Day上也提出了“隱式神經表示“ （Implicit Neural Representation，INR）。以圖像為例，其最常見的表示方式為二維空間上的離散像素點。但在真實世界中，我們看到的世界可以認為是連續的，或者近似連續。于是，可以考慮使用一個連續函數來表示圖像的真實狀態，然而我們無從得知這個連續函數的準確形式，因此有人提出用神經網絡來逼近這個連續函數，這就是INR，在3D圖像、視頻、Voxel重建中，INR函數將二維坐標映射到RGB值。對于視頻，INR函數將時刻t以及圖像二維坐標XY映射到RGB值。對于一個三維形狀，INR函數將三維坐標XYZ映射到0或1，表示空間中的某一位置處于物體內部還是外部。INR是一個連續的函數，函數（網絡）的復雜程度和信號的復雜程度成正比，但與信號的分辨率無關。比如一個16*16的圖像，和一個32*32的圖像，如果內容一樣，那么INR就會一樣。也就是再低的分辨率也可以連續擴展高分辨率的效果。

SurroundSDF使用有符號距離函數（SDF）來隱式地表示3D場景，這允許連續地描述3D場景并通過重建平滑表面來表達場景的幾何結構。利用SDF約束通過Eikonal公式來準確描述障礙物的表面。這種方法可以準確地從環繞圖像中感知連續的3D場景。為了減少幾何優化和語義優化之間的不一致性，論文設計了一種聯合監督策略。該策略使用SoftMax函數將每個體素網格的最小SDF值轉換為自由概率，并將其與語義logits結合，通過Dice損失進行聯合優化。

自動駕駛算法的基礎部分基本上都被谷歌和META定型了，即骨干2D CNN網絡加FPN，中間Transformer變換，最后任務級MLP或隱式表達。包括特斯拉在內都跳不出這個框架，沒有人的算法水平會特別好，大家基本都在一個水平上，比拼的不是數據，而是投入的人力，足夠的人力才能做反復的實驗微調，才能略略勝出一點，能做徹底改變的只有谷歌或META抑或是微軟。

審核編輯：黃飛

?