TinyML計算機視覺(jué)正在通過(guò)microNPU（μ NPU）變?yōu)楝F實(shí)

今天的計算機視覺(jué)（CV）技術(shù)正處于一個(gè)轉折點(diǎn)，主要趨勢正在融合，使云技術(shù)在微小的邊緣AI設備中變得無(wú)處不在。技術(shù)進(jìn)步使這種以云為中心的人工智能技術(shù)能夠擴展到邊緣，新的發(fā)展將使邊緣的人工智能視覺(jué)無(wú)處不在。

有三個(gè)主要的技術(shù)趨勢使這種演變。新的精益神經(jīng)網(wǎng)絡(luò )算法適合微型設備的內存空間和計算能力。新的硅架構為神經(jīng)網(wǎng)絡(luò )處理提供了比傳統微控制器（MCU）高幾個(gè)數量級的效率。用于較小微處理器的AI框架正在成熟，減少了在邊緣開(kāi)發(fā)微型機器學(xué)習（ML）實(shí)現（tinyML）的障礙。

當所有這些元素結合在一起時(shí)，毫瓦級的微型處理器可以擁有強大的神經(jīng)處理單元，這些單元可以執行非常高效的卷積神經(jīng)網(wǎng)絡(luò )（CNN）-視覺(jué)處理中最常見(jiàn)的ML架構-利用成熟且易于使用的開(kāi)發(fā)工具鏈。這將在我們生活的各個(gè)方面實(shí)現令人興奮的新用例。

邊緣CV的承諾

數字圖像處理（過(guò)去的叫法）用于從半導體制造和檢測到高級駕駛員輔助系統（ADAS）功能（如車(chē)道偏離警告和盲點(diǎn)檢測），再到移動(dòng)的設備上的圖像美化和操作等各種應用。展望未來(lái)，邊緣CV技術(shù)正在實(shí)現更高級別的人機界面（HMI）。

HMI在過(guò)去十年中發(fā)生了重大變化。除了鍵盤(pán)和鼠標等傳統界面之外，我們現在還擁有觸摸顯示屏、指紋識別器、面部識別系統和語(yǔ)音命令功能。在明顯改善用戶(hù)體驗的同時(shí)，這些方法還有一個(gè)共同點(diǎn)它們都對用戶(hù)操作做出反應。HMI的下一個(gè)層次將是通過(guò)上下文感知來(lái)理解用戶(hù)及其環(huán)境的設備。

情境感知設備不僅能感知用戶(hù)，還能感知它們所處的環(huán)境，所有這些都是為了做出更好的決策，實(shí)現更有用的自動(dòng)化交互。例如，筆記本電腦可以在視覺(jué)上感知用戶(hù)何時(shí)注意，并相應地調整其行為和電源策略。Synaptics的Emza Visual Sense技術(shù)已經(jīng)實(shí)現了這一點(diǎn)，OEM可以使用該技術(shù)在用戶(hù)不觀(guān)看顯示器時(shí)自適應調暗顯示器以?xún)?yōu)化功耗，從而降低顯示器的能耗。通過(guò)跟蹤旁觀(guān)者的眼球（旁觀(guān)者檢測），該技術(shù)還可以通過(guò)提醒用戶(hù)并隱藏屏幕內容來(lái)增強安全性，直到海岸清晰。

另一個(gè)例子：智能電視機感知是否有人在觀(guān)看以及從哪里觀(guān)看，然后相應地調整圖像質(zhì)量和聲音。它可以自動(dòng)關(guān)閉，以保存電力時(shí)，沒(méi)有人在那里?；蛘?，空調系統根據房間占用情況優(yōu)化電力和氣流，以保存能源成本。這些和其他建筑物中智能能源利用的例子在家庭-辦公室混合工作模式下變得更加重要。

在工業(yè)領(lǐng)域中，視覺(jué)感測也有無(wú)窮無(wú)盡的用例，從用于安全監管的物體檢測（即，限制區、安全通道、防護裝備執行）直到用于制造過(guò)程控制的異常檢測。在農業(yè)技術(shù)中，作物檢查以及CV技術(shù)實(shí)現的狀態(tài)和質(zhì)量監控都至關(guān)重要。

無(wú)論是在筆記本電腦、消費電子產(chǎn)品、智能建筑傳感器還是工業(yè)環(huán)境中，當微型和負擔得起的微處理器、微型神經(jīng)網(wǎng)絡(luò )和優(yōu)化的人工智能框架使設備更加智能和節能時(shí)，這種環(huán)境計算能力就可以實(shí)現。nbsp；

神經(jīng)網(wǎng)絡(luò )視覺(jué)處理的發(fā)展

2012年是CV開(kāi)始從啟發(fā)式CV方法轉向深度卷積神經(jīng)網(wǎng)絡(luò )（DCNN）的轉折點(diǎn)，Alex Krizhevsky和他的同事發(fā)表了AlexNet。DCNN在那年贏(yíng)得ImageNet大規模視覺(jué)識別挑戰賽（ILSVRC）后就再也沒(méi)有回頭路了。

從那時(shí)起，地球儀的團隊一直在尋求更高的檢測性能，但對底層硬件的效率沒(méi)有太多的關(guān)注。所以CNN仍然是數據和計算饑渴的。這種對性能的關(guān)注對于在云基礎設施中運行的應用程序來(lái)說(shuō)是很好的。

2015年，ResNet152被引入。它有6000萬(wàn)個(gè)參數，單次推理操作需要超過(guò)11gigaflops，并且在ImageNet數據集上表現出94%的前5名準確率。這繼續推動(dòng)CNN的性能和準確性。但直到2017年，隨著(zhù)谷歌的一組研究人員發(fā)表了MobileNets，我們才看到了效率的提升。

MobileNets-針對智能手機-比當時(shí)現有的神經(jīng)網(wǎng)絡(luò )（NN）架構輕得多。例如，MobileNetV 2有350萬(wàn)個(gè)參數，需要336 Mflops。這種大幅減少最初是通過(guò)艱苦的勞動(dòng)實(shí)現的-手動(dòng)識別深度學(xué)習網(wǎng)絡(luò )中的層，這并沒(méi)有增加太多的準確性。后來(lái)，自動(dòng)化的架構搜索工具允許進(jìn)一步改進(jìn)層的數量和組織。在內存和計算負載方面，MobileNetV 2比ResNet 192大約“輕”20倍，表現出90%的前5名準確率。一組新的移動(dòng)友好應用程序現在可以使用AI。

硬件也在不斷發(fā)展

通過(guò)更小的NN和對所涉及的工作負載的清晰理解，開(kāi)發(fā)人員現在可以為微型AI設計優(yōu)化的硅。這導致了微神經(jīng)處理單元（微NPU）。通過(guò)嚴格管理內存組織和數據流，同時(shí)利用大規模并行性，這些小型專(zhuān)用核心可以比典型MCU中的獨立CPU快10倍或100倍地執行NN推理。一個(gè)例子是Arm Ethos U55微型NPU。

圖2：復雜的CNN模型，如身體關(guān)鍵點(diǎn)估計，正在新一代微控制器上運行。（圖片來(lái)源：Synaptics）

讓我們來(lái)看看microNPU（μ NPU）影響的一個(gè)具體示例。CV的基本任務(wù)之一是對象檢測。物體檢測本質(zhì)上需要兩個(gè)任務(wù)：定位，確定物體在圖像中的位置，以及分類(lèi)，識別檢測到的物體（圖2）。

Emza在Ethos U55 μNPU上實(shí)現了一個(gè)人臉檢測模型，訓練了一個(gè)對象檢測和分類(lèi)模型，該模型是單鏡頭檢測器的輕量級版本，由Synaptics優(yōu)化，僅用于檢測人臉類(lèi)別。結果令我們驚訝，模型執行時(shí)間不到5毫秒：這與強大的智能手機應用處理器（如Snapdragon 845）的執行速度相當。當在使用四個(gè)Cortex A53內核的Raspberry Pi 3B上執行相同的模型時(shí)，執行時(shí)間要長(cháng)六倍。

AI框架和民主化

廣泛采用任何像ML這樣復雜的技術(shù)都需要良好的開(kāi)發(fā)工具。TensorFlow Lite for Microcontrollers（TFLM）是一個(gè)框架，旨在更輕松地為tinyML訓練和部署AI。對于完整TensorFlow所涵蓋的運算符子集，TFLM會(huì )發(fā)出微處理器C代碼，用于在μNPU上運行解釋器和模型。來(lái)自Meta的PyTorch移動(dòng)的框架和Glow編譯器也針對這一領(lǐng)域。此外，現在有很多AI自動(dòng)化平臺（稱(chēng)為AutoML）可以自動(dòng)化針對微小目標的AI部署的某些方面。例如Edge Impulse、Deeplite、Qeexo和SensiML。

但要在特定硬件和μ NPU上執行，必須修改編譯器和工具鏈。Arm開(kāi)發(fā)了Vela編譯器，可以?xún)?yōu)化U55 μ NPU的CNN模型執行。Vela編譯器通過(guò)自動(dòng)在CPU和μ NPU之間分割模型執行任務(wù)，消除了包含CPU和μ NPU的系統的復雜性。

更廣泛地說(shuō)，Apache TVM是一個(gè)開(kāi)源的，端到端的ML編譯器框架，用于CPU，GPU，NPU和加速器。TVM micro的目標是微控制器，其愿景是在任何硬件上運行任何AI模型。AI框架、AutoML平臺和編譯器的這種演變使開(kāi)發(fā)人員更容易利用新的μ NPU來(lái)滿(mǎn)足他們的特定需求。

無(wú)處不在的邊緣AI

在邊緣無(wú)處不在的基于ML的視覺(jué)處理的趨勢是明確的。硬件成本正在下降，計算能力正在顯著(zhù)提高，新的方法使訓練和部署模型變得更加容易。所有這些都減少了采用的障礙，并增加了CV AI在邊緣的使用。

但是，即使我們看到越來(lái)越普遍的微小邊緣AI，仍然有工作要做。為了使環(huán)境計算成為現實(shí)，我們需要服務(wù)于許多細分領(lǐng)域的長(cháng)尾用例，這些用例可能會(huì )帶來(lái)可擴展性挑戰。在消費品、工廠(chǎng)、農業(yè)、零售和其他領(lǐng)域，每個(gè)新任務(wù)都需要不同的算法和獨特的數據集進(jìn)行訓練。解決每個(gè)用例所需的研發(fā)投資和技能組合仍然是當今的主要障礙。

這一差距最好由人工智能公司通過(guò)開(kāi)發(fā)豐富的模型示例集（"模型動(dòng)物園"）和應用程序參考代碼來(lái)圍繞其N(xiāo)PU產(chǎn)品升級軟件來(lái)填補。通過(guò)這樣做，他們可以為長(cháng)尾提供更廣泛的應用，同時(shí)通過(guò)針對目標硬件優(yōu)化正確的算法來(lái)確保設計成功，以在定義的成本、大小和功耗限制范圍內解決特定的業(yè)務(wù)需求。

審核編輯 黃宇