SiMa.ai推出針對Edge AI調整的SoC

面臨的主要技術(shù)挑戰之一是邊緣計算：如何在資源受限的嵌入式設備上執行計算密集型人工智能任務(wù)。在這種追求中，硬件和軟件從根本上相互矛盾，因為設計人員試圖同時(shí)平衡低功耗、低成本和高性能。

機器學(xué)習硬件初創(chuàng )公司SiMa.ai現在正試圖通過(guò)設計“軟件優(yōu)先”的硬件來(lái)應對這一挑戰，以實(shí)現前所未有的邊緣AI性能。本周，SiMa.ai發(fā)布了他們的新MLSoC平臺，這是一個(gè)以ML為中心的SoC，旨在使邊緣AI比以往任何時(shí)候都更加直觀(guān)和靈活。

在本文中，我們將討論邊緣AI的現狀，以及SiMa.ai的新平臺希望如何解決其一些缺點(diǎn)。

Edge AI的現狀

當談到將AI帶到邊緣時(shí)，也被稱(chēng)為TinyML，這個(gè)過(guò)程通常非常以硬件為中心。

通常，邊緣AI的挑戰在于設備資源非常有限，RAM、處理能力和電池壽命有限。因此，TinyML的設計過(guò)程通常圍繞著(zhù)將機器學(xué)習模型定制為設備的大多數預定硬件功能。

量化感知培訓流程圖。圖片來(lái)源：Courtesy of

Novac等人

為此，軟件流程包括獲取給定的機器學(xué)習模型，在所需的數據集上對其進(jìn)行訓練，然后將其縮小以適應邊緣設備的約束。這種模型縮放通常通過(guò)量化過(guò)程來(lái)完成，量化過(guò)程是降低模型權重和參數的精度以使它們消耗更少內存的過(guò)程。

通過(guò)這種方式，TinyML工程師可以采用大型機器學(xué)習模型，該模型旨在部署在更強大的設備上，并將其縮小以適應邊緣設備。nbsp;

正如SiMa.ai所看到的，這種工作流程的問(wèn)題在于，這些模型實(shí)際上并不是為邊緣而設計的，而是為邊緣而設計的。這在性能和靈活性方面受到限制，因為模型從未真正針對硬件進(jìn)行優(yōu)化，反之亦然。

SiMa的新SoC解決方案

為了解決這個(gè)問(wèn)題，SiMa.ai最近發(fā)布了他們的MLSoC平臺，這是一個(gè)“軟件優(yōu)先”的邊緣AI SoC。

MLSoC平臺基于16 nm工藝構建，是一種異構計算片上系統（SoC），集成了許多專(zhuān)用硬件模塊用于A(yíng)I加速。在這些硬件中，模塊包括SiMa.ai專(zhuān)有的機器學(xué)習加速器（MLA）。該公司表示，它以10 TOPS/W的速度為神經(jīng)網(wǎng)絡(luò )計算提供50 TOPS。

SoC的應用處理單元（APU）由四個(gè)1.15 GHz Arm Cortex-A65雙線(xiàn)程處理器組成。還有一個(gè)視頻編碼器和解碼器模塊以及一個(gè)計算機視覺(jué)單元（CVU），它由一個(gè)四核Synopsys ARC EV 74嵌入式視覺(jué)處理器組成。這些模塊由4 MB片內存儲器以及32位LPDDR 4 DRAM接口支持。更多信息可在MLSoC產(chǎn)品簡(jiǎn)介中找到。

MLSoC的框圖。圖片來(lái)源：Courtesy of

SiMa.ai

然而，除了硬件之外，SiMa.ai聲稱(chēng)其MLSoC平臺是獨一無(wú)二的，因為它是與其ML軟件工具鏈共同設計的。具體來(lái)說(shuō)，該公司聲稱(chēng)其方法包括精心定義的中間表示以及新穎的編譯器優(yōu)化技術(shù)，以支持廣泛的框架和網(wǎng)絡(luò )。

這些框架包括TensorFlow，PyTorch和ONNX等熱門(mén)框架，同時(shí)還聲稱(chēng)支持超過(guò)120個(gè)網(wǎng)絡(luò )。其想法是，通過(guò)使用MLSoC軟件工具鏈，工程師可以開(kāi)發(fā)專(zhuān)門(mén)針對MLSoC SoC的ML模型，從而提高設計靈活性、效率和性能。

重新構想TinyML的方法？

總的來(lái)說(shuō)，該公司聲稱(chēng)，他們的MLSoC平臺現在正在向客戶(hù)交付，與同類(lèi)競爭對手相比，可以在計算機視覺(jué)方面提供10倍的性能/功耗解決方案。為了支持這一點(diǎn)，他們聲稱(chēng)在ResNet-50 v1上具有500 FPS/W的一流DNN推理效率，批量大小為1。nbsp;

憑借其獨特的軟件/硬件兼容性方法，www.example.com希望重新想象業(yè)界對TinyML的方法，并借此釋放前所未有的性能和效率。

審核編輯 黃宇