谷歌 AI芯片
2018年7月Google在其云端服務年會Google Cloud Next上正式發表其邊緣(Edge)技術,與另兩家國際公有云服務大廠Amazon/AWS、Microsoft Azure相比,Google對于邊緣技術已屬較晚表態、較晚布局者,但其技術主張卻與前兩業者有所不同。
Google AI布局逐漸走向邊緣
除了同樣提倡基礎的物聯網閘道器(IoT Gateway)軟件Edge IoT Core、人工智能/機器學習(AI/ML)軟件Edge ML外,還針對人工智能/機器學習推出專屬的加速運算芯片,稱為Google Edge TPU,成為此次盛會一大焦點。
在Google發表Edge TPU前已發表過Cloud TPU芯片,首次發表是在Google另一個更全面、更盛大的例行年會Google I/O 2016上。Cloud TPU顧名思義用于云端機房,而TPU是TensorFlow Processing Unit的縮寫,言下之意是針對TensorFlow而設計的硬件加速運算器,TensorFlow則是Google于2015年11月提出的人工智能框架,是目前諸多人工智能框架中的一大主流,其他知名的框架如Caffe/Caffe 2、Apache MXnet等。
目前人工智能框架百花齊放,其他常見的亦有Keras、PyTorch、CNTK、DL4J、Theano、Torch7、Paddle、DSSTNE、tiny-dnn、Chainer、neon、ONNX、BigDL、DyNet、brainstorm、CoreML等。若以簡單譬喻而言,人工智能的開發撰寫如同文書撰寫,人工智能框架就如同記事本、Word等文書處理器,功效在于協助與便利開發撰寫。
Google自行開發設計的Cloud TPU僅用于自家云端機房,且已對多種Google官方云端服務帶來加速效果,例如Google街景圖服務的文字處理、Google相簿的照片分析、乃至Google搜尋引擎服務等。Google Cloud TPU也改版快速,2016年首次發表后2017年推出第二代,2018年推出第三代芯片
不過,Google之后對Cloud TPU的技術態度似有變化。2018年2月宣布可申請租用TPU運算力,如同Google Cloud Platform(GCP)的公有云服務般,依據運算芯片的使用時間計費,每小時6.5美元(至2018年9月已降至4.5美元) ,與GCP的CPU租用服務相比相當昂貴,GCP的CPU租用服務,以***彰化濱海工業區的機房(不同位置的機房費率不同)而言,標準型計價約在0.055至5.28美元間,且8種計費費率中有5種低于1美元/小時。
TPU租用費亦同樣高于GPU租用,GCP的NVIDIA GPU租用費率約在0.49至2.48美元間,視規格等級而異(Tesla K80/P100/V100)。Google Cloud TPU雖可租用,但Google是否愿意單獨銷售Cloud TPU給系統商,讓系統商制造及銷售TPU運算系統,仍待進一步觀察。
在Google推出云端用的Cloud TPU后,讓人未預料的是Google也針對邊緣提出專屬的TPU芯片,然在此前仍有些征兆,即2017年11月Google提出輕量版的TensorFlow Lite(某種程度取代此前的TensorFlow Mobile),使電力有限的行動裝置也能支援TensorFlow,2018年推出的Edge TPU芯片即是以執行TensorFlow Lite為主,而非原宗的TensorFlow。
Google Edge裝置內的作業系統為Linux或Android Things,而后執行Google Edge IoT Core基礎功能軟件、Google Edge ML人工智能軟件,并可選用配置Google Edge TPU。
Google Edge軟硬件架構概觀
圖3左側為物聯網感測器,右側為Google云端系統及服務。另外Edge TPU也支援Android Neural Networks 神經網路應用程式接口(API),簡稱NNAPI。NNAPI于在2017年12月Android 8.1釋出時一同提出,NNAPI可視為TensorFlow Lite、Caffe2等框架的基礎層。由此可知Edge TPU所支援呼應并加速的軟件,于2017年便已先行到位。
NNAPI可透過硬件抽象層與驅動程式,運用GPU、特定處理器或數位訊號處理器(DSP)等,使人工智能運算加速。資料來源:Google官網與Cloud TPU不同的是,Edge TPU估將由Google銷售給系統商,再由系統商配置于前端裝置內,包含感測器節點、裝置或閘道器內,Edge TPU不是自用或租用而是銷售。
Edge TPU技術輪廓
雖然Google對Cloud TPU、Edge TPU的技術資訊揭露均不多,但仍有若干資訊可推測其背后意向與考量。
首先是Google很明白Edge定位的系統運算力有限,所以Edge TPU的運算任務僅在于執行已訓練完成的人工智能模型,即推測運算、推算工作(Inference,今日多譯成“推論”),真正要大量耗費運算力的模型訓練(Training),依然由充沛運算力的系統事先進行,如工作站、服務器、云端等,透過CPU/GPU/TPU進行訓練。
其次,Edge TPU強調可同時執行處理多組每秒30張高清晰度畫質的人工智能判別運算,顯示Edge TPU將用于視訊影像類的人工智能應用,且為即時判別(30FPS)。
更進一步的說明,Edge TPU只負責人工智能的加速判別、加速推算,僅為加速器、輔助處理器的角色。因此,必須與系統的主控芯片溝通聯系,這方面Edge TPU提供了兩種介接的方式,一是PCI Express接口,另一是USB接口。兩種接口均適合嵌入式設計,然PCI Express傳輸率較高,可避免傳輸瓶頸,而USB接口較可能定位在后裝型運用,即前端裝置已經存在,但仍可透過USB連接Edge TPU,帶來加速效果。
評論
查看更多