將AI推向邊緣的影響
在上一篇文章中,我們探索了將AI推向網(wǎng)絡(luò )邊緣的一些有力論點(diǎn)。本篇連載文章中,我們將討論哪些AI應用能真正從這種方法中受益。首先,回顧一下在網(wǎng)絡(luò )邊緣實(shí)施AI的原因可以提供一些重要提示。請查看以下任何一項是否適用于項目:
● | 無(wú)法訪(fǎng)問(wèn)快速、穩定的網(wǎng)絡(luò )連接 |
● | 產(chǎn)品在受限環(huán)境中運行 |
● | 項目需要交付實(shí)時(shí)AI |
● | 可用預算有限 |
考慮到上述因素,通過(guò)在邊緣運行ML模型可以使哪些具體的AI項目更容易運行?
虛擬助手
Apple在2010年推出Siri,一如既往地再次引領(lǐng)了潮流。這為其他許多虛擬助手鋪平了道路,其中最著(zhù)名的便是亞馬遜的Alexa和Google Assistant。虛擬助手使科幻風(fēng)格的語(yǔ)音控制成為現實(shí),并通過(guò)以下方式工作:
1. | 首先要說(shuō)一個(gè)喚醒詞或啟動(dòng)語(yǔ)音助手。對于A(yíng)mazon Echo這樣的獨立式設備,則會(huì )不斷監聽(tīng)喚醒詞,并使用簡(jiǎn)單的語(yǔ)音模式匹配在本地進(jìn)行處理。這就是為什么Alexa僅識別特定喚醒詞(Alexa、Amazon、Echo和計算機)的原因; |
2. | 設備現在連接到云端服務(wù)器,并發(fā)送收聽(tīng)內容的錄音; |
3. | 云服務(wù)器運行語(yǔ)音到文本ML模型,將錄制的語(yǔ)音轉換為自然語(yǔ)言文本塊; |
4. | 文本則會(huì )借助自然語(yǔ)言處理解析以提取含義; |
5. | 服務(wù)器會(huì )計算出所請求的內容,然后將適當的命令或內容發(fā)送回設備。 |
通過(guò)將ML模型移到邊緣來(lái)增進(jìn)這種體驗的方式顯而易見(jiàn):語(yǔ)音助手將具有更快的響應速度、不需要連接到互聯(lián)網(wǎng)即可嵌入語(yǔ)音控制。也就是說(shuō),被調用的應用程序本身可能需要網(wǎng)絡(luò )連接(例如音樂(lè )流媒體服務(wù))。
面部識別
面部識別是發(fā)展速度最快的AI應用之一。這一技術(shù)仍在發(fā)展,一路上小問(wèn)題不斷。例如,兩年前,亞馬遜旗下的Rekognition深陷種族主義的爭議和指控之中。這套系統在接受了2.5萬(wàn)張圖像的訓練后,錯誤地將28個(gè)美國少數族裔議員識別為臭名遠播的罪犯。1
2019年,英國最大的警察機關(guān)大都會(huì )警察局 (Met) 對面部識別技術(shù)進(jìn)行了早期試驗,結果顯示這項技術(shù)在81%的時(shí)候都不準確。但是,最新的面部識別系統正在變得越來(lái)越準確。Met今年年初宣布將在大型活動(dòng)中采用這項技術(shù)掃描已證實(shí)的鬧事者。
許多需要面部識別的用例都需要這項技術(shù)近乎實(shí)時(shí)地工作。因此,應用程序更依賴(lài)于將ML模型移動(dòng)到網(wǎng)絡(luò )邊緣。Met所采用的系統基于NEC NeoFace Watch,它是完全獨立的設備,并具備實(shí)時(shí)工作能力。NEC的技術(shù)還瞄準了其他幾個(gè)市場(chǎng),包括零售、企業(yè)活動(dòng)、節日和其他大型活動(dòng)以及交通運輸。
實(shí)時(shí)監控
重工業(yè)和采礦業(yè)依賴(lài)于極其龐大和昂貴的機械。如果這種機器出現意外停機,企業(yè)可能蒙受數以百萬(wàn)計的損失。例如,許多采礦作業(yè)都依賴(lài)于巨型大功率泵來(lái)保持巷道無(wú)水,并將開(kāi)采出的泥漿泵送至選礦廠(chǎng)。如果這些泵當中有一臺出現災難性故障,則整個(gè)運營(yíng)都將中斷。因此,礦業(yè)公司在A(yíng)I系統中投入巨資,以期借助這些系統提前預測潛在的故障。
目前,這些系統通?;趶脑O備上安裝的物聯(lián)網(wǎng)傳感器傳輸數據。然后,數據會(huì )被集中處理,并將任何必要的警告回傳到相應的操作人員。但是,礦山和施工工地的范圍可能達到數十公里,通常地形險惡,因此將ML模型直接集成到邊緣設備中將簡(jiǎn)化整個(gè)過(guò)程。
在邊緣運行AI和ML模型需要什么?
將AI轉移到網(wǎng)絡(luò )邊緣需要三樣東西:合適的硬件、新工具和用于創(chuàng )建ML模型的新范式。下面我們將逐一進(jìn)行介紹。
經(jīng)過(guò)優(yōu)化的硬件
如前文所討論的那樣,ML模型通常依賴(lài)于大量的并行運算。本質(zhì)上講,它們需要原始的計算能力。但是,在算力和設備消耗的實(shí)際功率之間始終要進(jìn)行權衡與取舍。要將ML模型推向邊緣,需要消耗功率盡可能少的設備。當需要嵌入設備時(shí)更是如此。幸運的是,現在有各種各樣的高性能、低功耗MCU。
合適的工具
接下來(lái)需要合適的工具鏈以在微控制器上運行ML模型。絕大多數ML框架被設計在64位Intel系列的CPU或GPU上運行。相比之下,所有合適的微控制器都具有32位精簡(jiǎn)指令集架構,例如ARM Cortex系列的MCU。但是,TensorFlow Lite等ML框架的開(kāi)發(fā)使ML模型可以在此類(lèi)MCU上運行。
一次建模,即可隨處運行
最后一塊拼圖是創(chuàng )建和運行ML模型的不同范式。這可以用“一次建模,即可隨處運行”這句話(huà)來(lái)概括。顧名思義:先創(chuàng )建模型(通常使用大功率的經(jīng)ML優(yōu)化的機器),然后使用工具鏈將其轉換為可以在任何微控制器上運行的代碼。遺憾的是,這樣也損失了從持續學(xué)習或強化學(xué)習中受益的能力。
權衡
下表列出了在邊緣模型上運行ML模型時(shí)所做出的一些權衡。但愿它能提供一些有助于確定是否將您的下一個(gè)AI項目移至最前沿的指引。
特性 | 在數據中心 | 在邊緣 |
實(shí)時(shí) | 否 | 是 |
持續學(xué)習 | 是 | 否 |
可嵌入 | 否 | 是 |
需要網(wǎng)絡(luò )? | 是 | 否 |
強化學(xué)習 | 是 | 否 |
模型是否齊全? | 是 | 否 |
結論
將ML模型推向邊緣,實(shí)現了AI的新用例,從而有望帶來(lái)可嵌入式AI的革命。這些在MCU上運行ML模型所需的MCU硬件和工具的發(fā)展,均為這類(lèi)技術(shù)的擴展奠定了基礎。
審核編輯:郭婷
-
mcu
+關(guān)注
關(guān)注
146文章
16149瀏覽量
345141 -
AI
+關(guān)注
關(guān)注
87文章
27203瀏覽量
264962 -
ML
+關(guān)注
關(guān)注
0文章
140瀏覽量
34330
發(fā)布評論請先 登錄
相關(guān)推薦
評論