Apollo 3.5 技術架構詳解全程回顧

硬件平臺主要是無人駕駛系統的計算硬件和各種傳感器硬件，包括GPS/IMU、攝像頭、激光雷達、毫米波雷達、HMI設備、黑盒子等。

開源軟件平臺是自動駕駛系統的核心部分，包括功能模塊、運行框架和實時操作系統三部分。功能模塊可細分為：

地圖引擎：運行高精地圖；

定位模塊：通過GPS、V-SLAM、L-SLAM、里程計等多種定位源融合，結合高精地圖，實現精準定位；

感知：通過激光雷達、毫米波雷達、攝像頭，精確感知車輛周圍的環境路況，包括車輛、行人、交通標志等等；

規劃：主要包括路徑規劃、運動障礙物的預測等；

控制：實現控制車輛的轉向、油門、剎車等操作；

End-to-End：基于深度學習的橫向和縱向駕駛模型；

HMI：人機交互模塊。

TIPS

本次沙龍課程，我們有請到百度Apollo資深技術布道師——胡曠來詳細講解Apollo3.5技術架構。

胡曠，中科院軟件所計算機科學專業碩士，清華大學在讀MBA。曾在IBM負責技術研發及創新管理工作，擁有4項美國專利。2014年加入百度擔任技術管理崗位，目前是Apollo開源社區技術布道師，負責Apollo平臺的車輛／硬件認證，并為生態伙伴提供軟硬件解決方案咨詢、幫助其落地Apollo解決方案。

在這次的分享中，胡曠將從Apollo3.5整體框架出發，為大家講解全新版本的Apollo在城市駕駛能力、Apollo Cyber RT框架、硬件平臺以及V2X車路協同這四大方面的重大升級，帶領開發者更好的認識了解Apollo。

以下，ENJOY

Apollo 3.5是面向城市道路自動駕駛解決方案，能夠處理更復雜的環境，具備更全面的能力。相對于以前的版本，Apollo 3.5 做了以下升級。

第一是首次具備處理城市道路自動駕駛能力。

第二是 Apollo 3.5硬件平臺全新升級。

第三是實時通信框架Cyber RT。之前使用的是ROS， Apollo 3.5從ROS替換成了Apollo自研的專門應用于自動駕駛應用場景的通信框架 Cyber RT。

最后是應用于智慧交通的V2X。

Apollo 3.5 架構

這是Apollo 3.5的架構圖，還是基于經典的四層架構。Apollo 3.5對四大核心能力進行了升級。

首先是底層的車輛認證平臺，主要包括兩塊，第一是符合Apollo標準的線控車輛的需求，第二是滿足Apollo線控標準的車輛。

往上是硬件開發平臺，硬件開發平臺是做自動駕駛相關的硬件，這些藍色的模塊中有些是新增的硬件類型，有些是更新的硬件型號。

再往上是軟件開放平臺，開源代碼大部分是在軟件層面。Apollo3.5在定位、感知、規劃、還有Cyber RT以及V2X的適配器等模塊有變化。

最上層的云端服務在Apollo 3.5主要是仿真以及V2X的路側服務。

線控車輛是做自動駕駛的第一道門檻。Apollo 3.5的開放車輛認證平臺其實就是降低大家的第一道門檻。在Apollo 3.5中，我們聯合車廠的伙伴一起做這個事情。

首先我們新增了兩款國內車廠的車輛，第一是與廣汽合作的GE3的開發者版本，另一個是與長城合作的WEYVV6。開發者可以買到這些車輛，并且比之前的要便宜，降低上車的門檻。此外，我們還升級了乘用車的線控標準，新增了小型車的認證標準。此外，我們還發布了更詳細的適配Apollo車輛線控標準的流程以及測試標準。

在Apollo 3.5中，硬件開發平臺整體傳感器套件變化非常大。在Apollo 3.0的傳感器套件方案中，車的頂部是64線主感知雷達，還有前方的一個毫米波雷達以及三個攝像頭，還有GPS、IMU慣導系統。

Apollo 3.5的變化非常之大。首先主感知激光雷達從64線升級到了128線，同時還增加了三個16線激光雷達，分別布置在車輛的正前方，以及車后部兩側，毫米波雷達也從之前的正前方的一個變成現在兩個，分別是正前方一個，車后部一個，這也是為了支持倒車的場景。攝像頭現在也是做環式，增加到10個。

其次我們還新增了很多的適配硬件，大家可以根據自己的場景做更深入的適配，而且還包括一些符合車規級的感知設備，主要是為將來的量產做準備。

第三點是開源軟件平臺，這一塊重點介紹規劃、感知模塊還和Cyber RT。

在以前的自動駕駛場景中間，使用同一個配置來處理不同用戶場景的問題。在Apollo 3.5中，我們要面臨復雜城市道路，有更多的用戶場景，我們提出了基于Scenario的規劃。

Planner是解決自動駕駛的局部規劃，Routing是解決全局規劃。具體而言，規劃就是基于地圖、全局導航路徑、定位、車輛狀態（包括：位置、速度、加速度、底盤）、障礙物的感知及預測信息，計算出可供控制模塊（Controller）執行的一條安全且舒適的行駛路徑。

基于Scenario的規劃架構

如圖所示，從頂部的輸入開始，通過Planner的Dispatcher生成Planner。

這個規劃框架帶來了以下優點：

架構可擴展且靈活

可以訂制自己的Scenario

可以根據每一個Scenario精調性能

可以復用決策器和優化器

下面給大家看一個例子，這是一個很常見的車輛行駛場景，這個場景由四個Scenarios來組成，第一個Scenario車輛會做前面的跟車，車道保持，Lane Follow，探測到的行人在一定時間內保持靜止狀態，這個時候可能選擇側道超車，超完車之后繼續做Lane Follow，后面有一個Stop Sign來繼續行進，這是一個很常見的場景。

一個場景由連續多個Scenarios組成

再細看下剛才場景中間的某一個Scenario。Scenario是由多個Stages組成的，再來看Side Pass有哪些Stages，前面有障礙物要減速，生成減速的軌跡線，之后第二個Stages停在離前方障礙物的安全距離內，觀察情況確保安全。第三步在確保安全的前提下，生成了Side Pass的軌跡線，這就是Side Pass所經歷的三個Stages。

一個Scenario由連續多個Stages組成

Apollo 3.5默認支持這些道路場景、隔離帶道路、小巷道，減速帶、禁停區、人行道還有旁邊有車輛停的道路，以及交叉路口、全向停止標志。還有像開放空間對于停車、倒車、泊車這些場景的支持。

在Apollo 3.5 中，感知套件的變化非常大，主要表現在：第一新的感知系統能夠幫助Apollo系統看得更全，實現360度無死角，無盲區的覆蓋。第二基于128線的激光雷達能看得更遠。第三是更靈活，根據場景以及硬件配置融合的機制。

多視角感知架構

這個是新的感知的架構圖，主要還是三類感知設備。從圖中看出，使用深度網絡解決交通信號燈檢測、車道檢測以及障礙物的問題和點云的分割。之后再做后向的融合、輸出。交通信號燈是基于兩個攝像頭來做的，而其他的功能我們會基于三類感知設備。

開源軟件的另一重點，也是Apollo四個核心開放能力里面的一個重點，即Cyber RT。

Cyber RT是系統應用層和操作系統層的一個中間件， Apollo之前是使用ROS，為什么Apollo 3.5要替換成Cyber RT呢？

大家都知道ROS是基于在機器人行業用得非常的廣泛的實時通信系統，但是把它用在自動駕駛場景里會面臨很多的挑戰。

1)ROS調度的不確定性。ROS的調度依賴linux的通用系統調度，不清楚業務邏輯。自動駕駛是專用系統，任務需要按照業務優先級調度。其低延遲要求比高吞吐要求更高。

2)ROS通信的開銷。Apollo前期曾經使用共享內存去降低ROS原生的通信開銷的問題。

3)非自動駕駛領域專用，存在其他問題等。

使用Cyber RT有以下優勢：

1)非常簡易的部署體驗，不用關注其調度機制與通信機制，就能提供非常好的性能，且不需要復雜的配置。

2)加速自動駕駛開發，自研減少了很多底層的依賴，遷移到不同的計算平臺的時候就會相對容易。

3)專注自動駕駛，為自動駕駛解決方案賦能。它是相對獨立的開源實時計算框架，并且專為自動駕駛設計的組件模塊，基于Cyber，簡化搭建自動駕駛應用的流程。

Apollo Cyber RT運作流程

Cyber中通過Components來封裝每個算法模塊，通過有向無環圖（DAG）來描述Components之間的邏輯關系。對于每個算法模塊，也有其優先級、運行時間、使用資源等方面的配置。系統啟動時，結合DAG、調度配置等，創建相應的任務，從框架內部來講，就是協程，調度器把任務放到各個Processor的隊列中。然后，由Sensor輸入的數據，驅動整個系統運轉。

V2X是推動自動駕駛另外一條技術路線，跟自感知相比是另外一種路線。當然它與自感知技術協作的話能更快地幫助自動駕駛落地，Apollo 3.5提供了V2X的解決方案。

Apollo 3.5 智能車輛基礎設施協作系統（IVICS)架構圖

這是Apollo V2X的架構圖，其包括硬件平臺的OBU，軟件平臺的Adapter，以及云端的路側服務。