英偉達自動駕駛軟硬件一體化解決方案

1985年10月ATi使用ASIC技術開發出了第一款圖形芯片和圖形卡，1992年4月 ATi發布了Mach32圖形卡集成了圖形加速功能，1998年4月ATi被IDC評選為圖形芯片工業的市場領導者。

但那時候這種芯片還沒有GPU的稱號，很長的一段時間ATI都是把圖形處理器稱為VPU，直到AMD收購ATI之后其圖形芯片才正式采用GPU的名字。

NVIDIA公司在1999年發布GeForce 256圖形處理芯片時首先提出GPU的概念。從此NV顯卡的芯就用這個新名字GPU來稱呼。GPU使顯卡削減了對CPU的依賴，并實行部分原本CPU的工作，更加是在3D圖形處理時。

GPU所采用的核心技術有硬體T&L、立方環境材質貼圖與頂點混合、紋理壓縮及凹凸映射貼圖、雙重紋理四像素256位渲染引擎等，而硬體T&L技術能夠說是GPU的標志。

GPU能夠從硬件上支持T&L（TransformandLighting，多邊形轉換與光源處理）的顯示芯片，因為T&L是3D渲染中的一個重要部分，其作用是計算多邊形的3D位置和處理動態光線效果，也可以稱為“幾何處理”。一個好的T&L單元，可以提供細致的3D物體和高級的光線特效。

為密集型、易并行程序而生

GPU的核數遠超CPU，被稱為眾核（NVIDIA Fermi有512個核）。每個核擁有的緩存大小相對小，數字邏輯運算單元也少而簡單（GPU初始時在浮點計算上一直弱于CPU）。在浮點運算、并行計算等部分計算方面，GPU可以提供數十倍乃至于上百倍于CPU的性能。GPU會產生大量熱量，所以它的上方通常安裝有散熱器或風扇。

GPU的眾核架構非常適合把同樣的指令流并行發送到眾核上，采用不同的輸入數據執行。在 2003-2004年左右，圖形學之外的領域專家開始注意到GPU與眾不同的計算能力，開始嘗試把GPU用于通用計算（即GPU）。

之后NVIDIA發布了CUDA，AMD和等公司也發布了OpenCL，GPU開始在通用計算領域得到廣泛應用，包括：數值分析，海量數據處理（排序，Map- Reduce等），金融分析等等。GPU通用計算方面的標準目前有 OPEN CL、CUDA、ATI STREAM。

GPU面對的則是類型高度統一的、相互無依賴的大規模數據和不需要被打斷的純凈的計算環境。適合在GPU上運行的有：

（1）計算密集型的程序。所謂計算密集型(Compute-intensive)的程序，就是其大部分運行時間花在了寄存器運算上，寄存器的速度和處理器的速度相當，從寄存器讀寫數據幾乎沒有延時。

（2）易于并行的程序。GPU其實是一種SIMD(Single Instruction Multiple Data)架構， 他有成百上千個核，每一個核在同一時間最好能做同樣的事情。

具備以上特征的，是圖形、視頻的處理，因此GPU也可以說成專為圖像處理而生。GPU圖形處理的過程大致分成 5 個步驟： vertex shader、primitive processing、rasterisation、fragment shader、testing and blending。

1、vertex shader,是將三維空間中數個（x,y,z）頂點放進 GPU 中。

2、primitive processing，是將相關的點鏈接在一起，以形成圖形。

3、rasterisation，因為電腦的屏幕是由一個又一個的像素組成，因此，需要將一條連續的直線，使用繪圖的演算法，以方格繪出該直線。圖形也是以此方式，先標出邊線，再用方格填滿整個平面。

4、fragment shader，將格點化后的圖形著上顏色。

5、testing and blending。便是將第一步所獲得的投影垂直距離取出，和第四步的結果一同做最后處理。

自動駕駛GPU廠商的一枝獨秀

GPU廠商有不少，如Imagination、Inter、NVIDIA、AMD(ATI)、3dfx、Matrox、SiS和VIA、GCxx（隸屬于Vivante）、Adreno（隸屬于高通），但目前大部分的市場，都在移動端。

PowerVR（隸屬于Imagination技術公司）專注于移動GPU技術授權，它是移動平臺GPU授權的老大，授權伙伴主要有Intel、蘋果、聯發科、LG、高通、瑞薩、三星、海思、Marvell、索尼等等。

Mali（隸屬于ARM）有一整套GPU授權方案很多不具備獨立開發GPU技術的芯片供應商都直接使用了ARM處理器+Mali GPU的設計，比如三星、瑞芯微、展訊、意法半導體、全志等。

GPU廠商在移動市場領域也是呈寡頭壟斷局面，AMD和英偉達合力壟斷了游戲/生產力GPU市場。但在自動駕駛領域嗎，當中最為出名的，便是NVIDIA。

2016年底，基于AMD自家GPU芯片的Radeon Instinct姍姍來遲，號稱服務于自動駕駛汽車/無人機等領域，可用于深度學習推理和訓練。作為一個高性能GPU加速器，它結合MIOpen和ROCm開源軟件，用于加速提升機器智能的發展。

其中Radeon Instinct MI6加速器基于備受歡迎的北極星GPU架構，采用被動散熱，板卡功耗150瓦，FP16峰值性能達到5.7TFLOPS，板載16GB GPU內存。

Intel不但是世界上最大的CPU生產銷售商，也是世界最大的GPU生產銷售商。但在自動駕駛領域，Inter并沒有朝著GPU的方向而去，而是選擇了Mobileye的EyeQ和Altera的FPGA方案。

如此一來，GPU在自動駕駛領域的爭奪，目前就只是NVIDIA的一家獨大了。

NVIDIA的GPU全家桶

針對自動駕駛領域，NVIDIA煞費苦心的構建了軟硬件一體化的解決方案，連入門的開發套件也一應俱全。

硬件產品：

DRIVE PX Parker AutoCruise，具備自動巡航能力，可支持高速公路自動駕駛以及高清制圖。DRIVE PX Parker AutoChauffeur，可用于點到點行駛。DRIVE PX Xavier 能夠提供 20 TOPS 的高性能，而功耗僅有 20 瓦。2018 年第一季度上市。

DRIVE PX Pegasus能同時運行許多深度神經網絡，可滿足自動駕駛的一切安全所需，無需方向盤或踏板。Pegasus 將于 2018 年中向 NVIDIA 的汽車合作伙伴供應。

軟件產品：

NVIDIA DGX 系統 可以將數據中心的神經網絡訓練時間從幾個月縮短到僅僅幾天。所得到的神經網絡模塊可以在 NVIDIA DRIVE PX 上實時運行。訓練好深度神經網絡，然后再部署至汽車。

NVIDIA DriveWorks作為NVIDIA DRIVE軟件的一部分提供，用于選擇汽車制造商，一級供應商和研究機構，致力于開發讓汽車自行駕駛的系統。

NVIDIA DRIVE IX 軟件可利用來自車內外麥克風和攝像頭的傳感器數據，追蹤駕駛員四周的環境。車載 NVIDIA DRIVE PX AI配合數據中心內的 NVIDIA Tesla GPU ，可創建高度精細的地圖。

開發者套件：

當然還不止于此，為了讓創業者更容易學習，接觸人工智能，公司推出了高性能、低能耗的 NVIDIA Jetson TX1 TX2模塊。專為開發者研發的套件，可以幫助初創公司進行深度學習、計算機視覺，進行大型、復雜的深度神經網絡實驗。雖不是專門針對自動駕駛，但很多初創團隊都是用了TX2，完成了初代自動駕駛技術的驗證。

可以說，NVIDIA為用戶提供了一整套的產品，讓市場學習并接受以GPU為核心的自動駕駛運算力平臺。但光有產品，教學還不夠，要讓市場接受新鮮事物，赤膊上陣有時也勢單力薄，最好能拉一些巨頭共舞。

結盟產業鏈供應商，力推自動駕駛平臺

為了更好的幫助開發者，以及初創公司，NVIDIA與一家自動駕駛系統零部件供應商AutonomouStuff合作，開發了一套基于DRIVE PX的整套軟硬件自動駕駛平臺，分高中低配版本。

其中高級版本使用了福特Fusion車型，包含2個Velodyne VLP16激光雷達，未來將推出VLP32激光雷達；11個Sekonix攝像頭；1個Xsens MTI-G710、1個GNSS輔助、IMU強化版全球導航衛星系統/慣性導航系統（GNSS/INS）；5個雷達；1個NovAtel SPAN IGM-A1慣性測量單元（Inertial Measurement Unit，IMU）；1個ibeo四層多回波（Four Layer Multi-Echo）LUX傳感器。

傳感器合作伙伴：

當然不僅于此，在LIDAR廠商中，NVIDIA還挑選了ibeo、Quanergy、Velodyne作為合作伙伴。

NVIDIA和QUANERGY通過采用QUANERGY傳感器和來自NVIDIA DRIVE PX（一個強大的自動駕駛平臺）的處理器的集成方法，聯手打造了自動駕駛汽車之路。QUANERGY傳感器使汽車能夠檢測，識別和分類周圍的物體。

攝像頭也有合作伙伴，包括Ficosa Corp、FLIR、Leopard Imaging Inc、PointGrey / FLIR、Sekonix。FLIR以革命性的FLIRBoson?熱像儀內核為基礎構建而成的FLIR ADK?是開發下一代汽車熱像儀和高級駕駛員輔助系統（ADAS）的經濟高效方式。ADK的熱數據端口可直接通過標準USB連接進行分析，或通過可選的NVIDIA DRIVE?PX 2連接進行分析。

Leopard Imaging Inc.專門創建相機解決方案。示例包括嵌入式機器視覺應用的立體深度映射，以及支持智能機器和消費類產品的攝像機。他們可以支持各種RAW和YUV傳感器，可以使用NVIDIA的片上ISP，也可以使用CSI或USB使用外部ISP。

安全伙伴：

Elektrobit和NVIDIA合作，開發了適用于NVIDIA DRIVE?PX的Elektrobit EB tresos解決方案：用于開發高級駕駛輔助系統（ADAS）的軟件平臺。它將強大的計算處理器與硬件和軟件相結合，為自駕車輛提供安全至關重要的ADAS功能。

2017年6月7日，瑞典哥德堡 - ARCCORE是汽車行業軟件和嵌入式平臺的創新公司，正在NVIDIA DRIVE?PX平臺上構建安全關鍵軟件，為復雜的汽車系統提供動力。ARCCORE的軟件平臺將基于著名的汽車標準AUTOSAR，并將用作自動駕駛的高性能評估系統。

結盟OEM、Tier1，落地商業化

為了推進自家產品的落地商用，NVIDIA又找來了主機廠、Tier1，主機廠中不乏奧迪、奔馳、豐田、沃爾沃，寶馬菲亞特、雪鐵龍、保時捷等全球知名廠商，Tier1有博世、ZF、奧托立夫、海拉。

2017年3月16日，Bosch展示了與NVIDIA合作打造的Bosch AI 車載計算機。

2017年5月10日，NVIDIA宣布它正在與豐田合作提供人工智能硬件和軟件技術，以提高計劃在未來幾年內推向市場的自動駕駛系統的功能。

2017年6月26日，NVIDIA宣布與ZF和海拉建立了戰略合作伙伴關系，將AI技術與新車評估計劃（NCAP）安全認證相結合，用于大規模部署自動駕駛車輛。該協議是非排他性的。

沃爾沃汽車和奧托立夫將與NVIDIA合作開發用于人工智能自動駕駛汽車的先進系統和軟件，他們計劃在2021年之前出售基于NVIDIA DRIVE?PX汽車計算平臺的生產車輛。

在 CES 2017 上，奧迪和 NVIDIA 宣布加速推進長期合作，這一新的共同目標將使先進的 AI 汽車在 2020 年上路行駛。NVIDIA GPU 為全球所有下一代寶馬汽車中采用的車載導航和信息系統提供支持。特斯拉和 NVIDIA 從最早開發革命性的 Model S 就已經開始合作。

雖然跟OEM、Tier1綁定了合作關系，但NVIDIA并不踏實，因為大部分協議都是非排他協議。而在NVIDIA的官網上，自動駕駛合作伙伴一頁中，Tesla、寶馬、本田、奧迪的合作頁面已經打不開。

猶記得在2017年底，馬斯克在一個私下場合，曾表露出要自造自動駕駛芯片的意愿，料想跟NVIDIA的合作也不是太滿意。嗯，他的上一個合作伙伴是Mobileye。