AI邊緣計算機應用場景廣泛！大語言模型與數字人結合方案在邊緣側落地

電子發燒友網報道（文/李彎彎）AI邊緣計算機是一種人工智能和邊緣計算技術相結合的計算機設備。它可以在本地設備上運行AI模型，實現對設備數據的實時分析和響應，從而減少數據傳輸到云端的延遲和成本。

當下，AI在邊緣側的部署正在成為趨勢，包括近年來備受矚目的大語言模型，在邊緣側的應用也是業界探索的焦點，AI邊緣計算機在這中間扮演著重要角色。為此，電子發燒友近日采訪到圖為科技華東區域經理吳朗，探討了AI邊緣計算機的應用現狀及前景等話題。

AI邊緣計算機應用場景多樣，前景好

AI邊緣計算機由處理器、存儲器、輸入/輸出接口、電源、散熱系統、嵌入式操作系統、AI模型和算法等結構組成。處理器是AI邊緣計算機的核心部分，負責執行指令和處理數據。
AI邊緣計算機的核心是AI模型和算法，用于實現各種智能化的應用。

圖為科技是一家AI邊緣計算設備運營服務商，專注邊緣計算設備的研發、生產、銷售、運維等工作。其基于NVIDIAJetson系列核心模塊所設計的AI邊緣計算盒子，已廣泛應用于機器視覺檢測、人臉識別、行為識別、智能機器人、智能無人機、自動駕駛、智能安防等領域。

吳朗告訴電子發燒友：“圖為科技的AI邊緣計算設備主要是基于ARM架構的方案。其中，大多是基于英偉達Jetson系列核心模塊設計，也有少數基于華為昇騰和瑞芯微的方案?！眻D為科技的邊緣計算機涵蓋了從最低0.5TOPS算力到最高275TOPS算力的各種產品，能滿足多場景不同算力的需求，便于客戶拓展AI方案及部署工作。

據他介紹，AI邊緣計算機的應用非常廣泛，目前在安防領域應用最多，另外，在醫療、車載、交通等領域也有非常多很好的應用場景。比如在醫療領域的影像分析，他們之前有個做眼睛診療儀的客戶，就需要用到這種AI邊緣計算盒子，通過深度學習算法，來輔助拍攝一些圖像做實時分析。

在車載領域，目前圖為科技的產品可以用于低速無人駕駛，比如，無人清掃車、園區接駁車、各種巡檢小車等。吳朗介紹說：“這種AI邊緣計算盒子在車載、交通領域的應用場景很多，現在智慧交通是趨勢，車路協同、全息路口以及高速上一些車聯網場景都用得上?！?br />
不過不同場景技術路線不一樣，對設備的要求也有所不同。比如，安防領域主要需要的是視頻分析，基本上是純視覺。而車載領域，有視覺也有雷視融合，包括激光雷達、毫米波雷達、超聲波雷達等。它們需要的算力、資源、軟硬件平臺等都不一樣。一般而言，安防場景的算力需求很多在20到30TOPS，而車載場景很多時候需要100TOPS，甚至200TOPS以上。

在車載場景，英偉達的Jetson系列會更有優勢，無論是算力還是生態上。英偉達的模塊算力會更高，而且它跟上下游廠商的配套更多，比如跟奧比中光、森云智能等廠商的相機產品都有適配。因此，圖為科技基于英偉達Jetson系列的設備能夠滿足更多場景的不同需求。

在吳朗看來，AI計算邊緣盒子可以應用的行業和形態很多，市場整體體量很大。不過相比較而言，目前基于X86架構的設備存在的時間比較久，應用也比較多?；贏rm架構這種方式的AI邊緣計算機近幾年才開始火起來，目前體量不是很大，不過前景會非常好。

大模型與數字人結合在醫療領域成功落地

近年來，大模型技術的研究進展備受關注，同時，業界也在積極探索大語言模型在邊緣側的部署。圖為科技在這方面也有研究，并已經有方案成功交付。

據吳朗介紹，圖為科技有好幾款大模型一體機，算力包括40TOPS、100TOPS和200TOPS，這些一體機可以運行70億和130億參數規模的大模型。圖為科技可以用百川智能、智譜AI、通億千問等的開源大模型，自己進行移植適配。

目前圖為科技正在推進的大模型一體機應用項目很多，其在某醫院的應用方案已經成功交付。這是一個什么樣的場景呢？吳朗介紹說，因為就診的人數比較多，這家醫院婦產科門診接診壓力比較大，他們希望通過AI做一個預診的方案。

圖為科技將大模型一體機與數字人技術結合，做了一個交互式對話方案。這樣，患者到醫院之后，可以跟顯示屏承載的數字人交互式對話，幫助醫生過濾掉一些問題。

吳朗進一步介紹：“患者在婦產科需要詢問的問題，基本上醫院都有對應的數據。公司為其部署上AI大語言模型，基本上之后患者問什么問題，這個數字人都可以回答?；卮鹜曛罂梢灾苯由呻娮硬v，提交給醫生。這樣可以大大提高效率?！?br />
圖為科技這個方案基于通義千問進行訓練。去年8月，阿里宣布其自研的大模型通義千問正式開源。只要有數據集，企業基本上可以基于這些開源的大模型訓練適合自己場景的大模型。

近幾年，數字人的概念及應用也是異?；馃?，其中在直播領域的應用最多，另外醫院、銀行等也使用數字人來做虛擬客服。不過，雖然入局者眾多、應用也不少，然而過往，數字人仍然存在表情僵硬、語言呆板、交互能力不強等問題。

2023年以來，大語言模型席卷全球，將大模型與數字人技術結合也成為不少企業爭先探索的方向，接入大模型的數字人能夠很好的改善之前數字人存在的問題。從圖為科技這個案例來看，大模型接入數字人的應用也在逐步落地。

寫在最后

無論是AI還是近年來興起的大語言模型，如果要實現規?；逃?，在邊緣側部署是關鍵。AI邊緣計算機在這其中承載著極其重要的責任。同時，相比于傳統X86架構，ARM架構具有低能耗、低成本、高性能等優勢，如此看來基于ARM架構的AI邊緣計算機前景可觀。不過當前ARM架構也還面臨移植適配、軟件生態不夠好等問題，后續發展仍需業界一起努力。