通過Transformer架構賦能新一代邊緣AI應用

人工智能 (AI) 和機器學習 (ML) 的加速發展既得益于基礎硬件的不斷改進，也離不開軟件領域的發展成果。

以 Transformer 架構為例。2017 年，谷歌在一篇研究論文中[1]首次提出這一架構，它采用自注意力機制 (self-attention)，使模型能夠在進行預測時對不同的輸入詞元 (token) 賦予不同權重。利用自注意力機制，Transformer 模型能夠捕捉數據中的遠程依賴關系，因此在執行語言翻譯、圖像處理、文本生成和情感分析等任務時非常高效。例如，生成式預訓練模型 (GPT) 就是當前流行訓練有素的 Transformer 模型。這些模型已經在語音助手和 AI 圖像生成工具中得到應用。

這之于感知器 (perceptron) 還是存在很大的差別。感知器是早期的一種神經網絡，由單層人工神經元組成，可在模式識別任務（例如，識別手寫數字）中做出二元決策。相較于卷積神經網絡 (CNN)，Transformer 架構已開始受到更多青睞。CNN 對數據架構方式會進行內置假設，它關注附近的關系，以及觀察圖像或視頻中的對象移動或變化方式。

而 Transformer 架構則不會做出這些假設。相反地，它利用自注意力來理解序列的不同部分如何相互關聯，而忽略其位置信息。得益于這種靈活性，基于 Transformer 的模型能夠更加輕松地適應不同的任務。

這是如何實現的？Transformer 架構及其采用的注意力機制徹底改變了 AI 應用的格局，因為注意力機制具備的相關功能可以為諸多用例提供支持。文本（及語言）本身就是編碼信息，圖像、音頻以及其他形式的串行數據同樣如此。由于編碼信息可以解讀為一種語言，因此 Transformer 模型可以廣泛應用于不同的用例中。這種適應性對于理解視頻、填充圖像的缺失部分或同時分析來自多個攝像頭的數據或多模態數據來源（參見下文示例）等任務非常有效。

2020 年問世的 Vision Transformer (ViT) 是將 Transformer 架構成功應用于圖像分類的最早一批神經網絡技術[2]之一。ViT 將圖像劃分為多個圖塊，并使用自注意力機制對這些圖塊之間的交互進行建模。

自此，Transformer 模型被迅速應用于各類視覺任務中，例如：

圖像分類

目標檢測

語義分割

圖像超分辨率

圖像生成

視頻分類

在硬件上優化模型

那么，硬件與這一切有什么關系呢？關系相當密切！而且硬件將是未來發展的關鍵因素。

GPU、TPU 或 NPU（甚至 CPU）都可以處理 Transformer 模型所需的密集矩陣運算和并行計算。同時，Transformer 架構可使更復雜的模型運行于資源更為受限的邊緣設備上。

主要有以下三個原因：

與 CNN 或循環神經網絡 (RNN) 相比，Transformer 架構從本質上而言更具可并行性。這一特性能更有效地利用硬件，從而可以在計算資源受限的邊緣設備上部署基于 Transformer 的模型。

自注意力機制意味著通過較小的 Transformer 模型所帶來的性能表現，可以媲美基于 CNN 或 RNN 的較大模型，從而降低邊緣部署的算力與內存需求。

模型壓縮技術（例如剪枝、量化、知識提煉和注意力稀疏）的提升可進一步縮小 Transformer 模型的大小，同時又不會造成性能或準確性的明顯下降。

Transformer 架構提升

現在，不妨想象一下功能更強大的計算資源，畢竟這一切并不遙遠。通過優化支持 Transformer 架構的硬件，創新者可充分發掘這些強大神經網絡的全部潛力，并為跨不同領域和模式的 AI 應用帶來全新的可能性。

例如，硬件性能和效率的提升可以：

加快 Transformer 模型的推理速度，從而提高響應能力，并改善用戶體驗。

部署更大的 Transformer 模型，從而在語言翻譯、文本生成和圖像處理等任務中獲得更佳表現。

提高在一系列應用和部署場景中的邊緣設備、云服務器或專用 AI 加速器中部署 Transformer 解決方案的可擴展性。

探索全新架構，并不斷優化 Transformer 模型。這其中包括嘗試不同的層配置、注意力機制和正則化技術，以進一步提高模型的性能和效率。

顯著提高能效，鑒于某些模型的規模增長，這一點至關重要。

試想一下，當你打開手機或智能眼鏡上[3]的某個視覺應用，它可以識別某個款式的襯衫，并從你的衣柜中推薦與之搭配的下半身穿著?；蛘哂捎谒懔μ嵘霈F的新的圖像生成功能[4]。

增加計算資源并不困難。集成子系統可提供經過驗證的各種處理單元塊，包括 CPU、NPU、互連、內存和其他組件。而軟件工具可以根據處理器來優化 Transformer 模型，以獲得性能和效率的最大化。

擁抱未來

通過硬件優化，Transformer 模型架構有望推動一些令人驚嘆的新應用。借助優化的硬件配置以及集成子系統、互連和軟件開發，無論是更快的推理速度，為更大的模型提供更好的性能，還是更出色的可擴展性等等，這一切都將成為可能。這條通往創新和探索的全新旅程，正在蓬勃發展，引領我們走向更遠的未來。

審核編輯：劉清