自動駕駛常用傳感器概要介紹

自動駕駛技術涉及的環境感知傳感器主要包括視覺類攝像機（包括單目、雙目立體視覺、全景視覺及紅外相機）和雷達類測距傳感器（激光雷達、毫米波雷達、超聲波雷達等），如圖1所示。這些傳感器目前都可以找到開源的SDK快速開發。小可根據這幾年的開發經驗，特此整理了目前常用傳感器的一些API，方便初學者節省開發時間。當然，對于可以根據需求自主定制傳感器的土豪公司而言，本篇顯得多余，請繞行。本篇主要適用于自動駕駛初級開發者，主要面向高校和科研院所的研究人員，以性能為主，較少考慮成本問題。筆者主要基于Linux系統進行開發，所介紹的API均以Ubuntu14.04及以上版本為準（4月份出Ubuntu18.04了，2年一個穩定版本，值得期待）。

圖1 自動駕駛主流傳感器

單目攝像機

首推AVT工業相機，國內代理商較多。包含的相機種類較為齊全，接口包括1394火線接口、網口接口等，價格從幾千元到幾萬元不等。

應用：單目相機的應用開發主要包括特征類符號的檢測與識別，如車道線檢測、交通標志識別、交通燈識別、行人和車輛檢測等，基于機器學習的視覺計算在自動駕駛普及之日一定會是必不可少的部分，盡管目前來說視覺檢測可靠性并不是很高，在以激光雷達為主要感知手段的自動駕駛車輛中應用并未達到預期。

圖2 路面及車輛識別

雙目攝像機

應用于室外場景的雙目視覺確實不多見，筆者之前用過的bumblebee雙目也是應用于室內場景，之后接觸了ZED相機也是室內比較好用（畢竟基線長度固定了，就那么短?。?。建議用于室外做視覺里程計或者識別類算法的，自行搭建雙目傳感器，在保證同步觸發的情況下，根據具體需求確定基線長度。雙目視覺繞不開視差圖和雙目標定，目前比較通用的雙目標定做法是采用張正友法，利用Camera Calibration Toolbox進行標定，當然，openCV中也集成了該方法，習慣C編程的可以看下，OpenCV經典教材《學習OpenCV》中文版464頁至492頁有詳細內容，更有代碼，不多說。

圖3 雙目立體視覺標定

應用：障礙物檢測可以，限于室內，結構光，近距離；視覺里程計確實是目前比較好的應用領域，用于路口定位等，各種開源SLAM技術中也都有應用，如ORB SLAM2，《視覺SLAM十四講》有詳細介紹和應用，好書，推薦一下。

全景相機

分為單鏡頭全景相機和多鏡頭拼接全景相機。筆者基于全景視覺的開發應用不多（當多目鏡頭使用，未完全發揮其全景優勢），2015年騰訊做街景地圖的時候貌似見過他們車上裝著一個。

應用：比較推薦用全景相機做視覺里程計，視野范圍大，特征點關聯度高，個人始終覺得用全景視覺配合組合導航做高精度地圖重建是個不錯的選擇，實現自動駕駛汽車車道級別定位，其他的沒有深入研究。

紅外相機

紅外相機應該屬于視覺的另外一個門類，夜視效果比白晝效果好，可應用于行人、車輛檢測等。以前覺得在激光雷達出現以后，紅外相機在自動駕駛應用中處于一個比較尷尬的地位，價格不菲且沒有激光雷達結果來的直接，使用之后發現，在障礙物（如人）識別上，激光離散點云還是比不上空間上連續的圖像。另外，測試中驚奇的發現，紅外相機具體可以捕捉玻璃上的人影！細思極恐！紅外相機在一定程度上可以對發熱體進行區分，如路面、行人等，但畢竟需要后處理，沒有激光雷達利用絕對高度或者梯度進行障礙物檢測來的直接。夜晚條件下可以替代彩色相機，進行前視障礙物檢測與監控。

圖4 紅外視覺成像

毫米波雷達

適用于高速環境和編隊行駛，其他場景貌似沒有必要安裝。單買貴，批發便宜。使用過delphi的一款，應該也是國內應用的比較多的，距離上最遠到150米，分為單點跟蹤和多目標檢測兩種工作模式，前者適用于編隊行駛過程中前車檢測，后者適用于高速環境下的遠距離目標檢測。由于毫米波雷達的成像原理為錐面成像（相當于從一點往外發散成一個錐面），依據錐面中障礙物的面積來推算障礙物，因而對于復雜場景，障礙物較為雜亂。而高速公路場景較為理想，道路環境好，車輛相對較少，適用于前方車輛的提前預警。（Tesla認為視覺+毫米足夠支撐自動駕駛系統，個人相當認同，但是貌似算法上還需要推進一步）

開發：通過can收發數據，數據格式較為簡單，一般協議文件中都有定義，對can口開發沒有基礎也不要恐慌，相當簡單，買一個USBCAN轉換器，有Ubuntu系統下can接收數據的依賴庫，之后的數據解析按照協議來即可。

激光雷達。

應用：障礙物檢測主流，waymo、百度、各大傳統汽車廠商、各大創業公司、各大高校、研究院所……那么多自動駕駛汽車頂上裝著的幾乎都是激光雷達（Tesla除外）；高精度地圖重建與環境建模；SLAM等。

圖 多雷達融合