基于FPGA的CNN加速項目案例解析

人工智能（AI）長期以來一直是科幻作家和學者的主題。將人腦的復雜性復制到計算機中的挑戰催生了新一代的科學家、數學家和計算機算法開發人員。持續的研究現在已經讓位于人工智能的使用，通常被稱為深度學習或機器學習，這些應用正越來越成為我們世界的一部分。雖然基本概念已經存在很長時間，但商業現實從未完全實現。近年來，數據的生成速度飛速發展，開發人員不得不長時間思考如何編寫算法來從中提取有價值的數據和統計數據。還，另一個關鍵因素是高度可擴展級別的計算資源的可用性，這是云自愿提供的。例如，您口袋里的智能手機可能會使用 Google 的 Now（“OK Google”）或 Apple 的 Siri 語音命令應用程序，這些應用程序使用深度學習算法（稱為（人工）神經網絡）的強大功能來實現語音識別和學習能力。然而，除了與手機通話的樂趣和便利之外，還有大量工業、汽車和商業應用程序現在受益于深度學習神經網絡的強大功能。稱為（人工）神經網絡，以實現語音識別和學習能力。然而，除了與手機通話的樂趣和便利之外，還有大量工業、汽車和商業應用程序現在受益于深度學習神經網絡的強大功能。稱為（人工）神經網絡，以實現語音識別和學習能力。然而，除了與手機通話的樂趣和便利之外，還有大量工業、汽車和商業應用程序現在受益于深度學習神經網絡的強大功能。

卷積神經網絡

在查看其中一些應用程序之前，讓我們先研究一下神經網絡的工作原理以及它需要哪些資源。當我們一般談論神經網絡時，我們應該更準確地將它們描述為人工神經網絡。作為軟件算法實現，它們基于人類和動物的生物神經網絡——中樞神經系統。多年來，人們構想了幾種不同類型的神經網絡架構，其中卷積神經網絡 （CNN） 得到了最廣泛的采用。造成這種情況的主要原因之一是他們的架構方法使它們非常適合使用基于 GPU 和 FPGA 設備的硬件加速器提供的并行化技術。CNN 受歡迎的另一個原因是它們適合處理具有大量空間連續性的數據，其中圖像處理應用程序非常適合?？臻g連續性是指特定位置附近的像素共享相似的強度和顏色屬性。CNN 由不同的層構成，每個層都有特定的目的，并且在它們的操作中使用了兩個不同的階段。第一部分是指令或訓練階段，它允許處理算法了解它擁有哪些數據以及每條數據之間的關系或上下文。CNN 是作為結構化和非結構化數據的學習框架創建的，計算機創建的神經元形成連接和中斷網絡。模式匹配是 CNN 背后的一個關鍵概念，

?

?

?

圖 1：CNN 的層方法（來源：Wikipedia – credit Aphex34 1）。

更多關于 CNN 工作原理的信息可以在Cadence 1a的一篇論文中找到，以及一個有用的視頻1b，該視頻錄制在最近的 IEEE 協會關于計算新前沿的會議上。當Microsoft 研究團隊1c贏得 ImageNet 計算機視覺挑戰時，CNN 對圖像處理應用程序的有用性的證據獲得了進一步的尊重。

CNN 的第二階段是執行階段。由不同的層節點組成，關于什么可能的圖像可能變得越來越抽象的命題。卷積層從圖像源中提取低級特征，以檢測圖像中的線條或邊緣等特征。其他層，稱為池化層，用于通過平均或“池化”圖像特定區域的共同特征來減少變化。然后可以將其傳遞給進一步的卷積和池化層。CNN 層的數量與圖像識別的準確性相關，盡管這增加了系統性能需求。如果內存帶寬可用，這些層可以以并行方式運行，CNN 中計算最密集的部分是卷積層。

開發人員面臨的挑戰是他們如何提供足夠高的計算資源來運行 CNN，以確定在應用程序的時間限制內所需的不同圖像分類的數量。例如，工業自動化應用程序可能會使用計算機視覺來識別需要將零件傳送到傳送帶上的下一個階段。在神經網絡識別出零件之前暫停該過程會破壞流程并減慢生產速度。

實現 CNN

加速部分 CNN 正在進行的“強化”學習和執行階段將顯著加速這項主要是數學任務。憑借其高內存帶寬和計算能力，GPU 和 FPGA 是這項工作的潛在候選者。具有任何馮諾依曼架構所表現出的緩存瓶頸的傳統微處理器可以運行算法，但將層抽象任務移交給硬件加速器。雖然 GPU 和 FPGA 都提供了顯著的并行處理能力，但 GPU 固定架構的性質意味著 FPGA 具有靈活且可動態重新配置的架構更適合 CNN 加速任務。使用非常精細的方法，本質上是在硬件中實現 CNN 算法，與 GPU 的軟件衍生算法方法相比，FPGA 架構有助于將延遲保持在絕對最小值，并且更具確定性。FPGA 的另一個優點是能夠在設備結構中“硬化”功能塊，例如 DSP。這種方法進一步加強了網絡的確定性。就資源使用而言，FPGA 非常高效，因此每個 CNN 層都可以在 FPGA 結構內構建，并且它自己的內存靠近它。

?

?

圖 2：圖像處理 CNN 概述（來源：Cadence 2）。

圖 2 突出顯示了為工業圖像處理應用程序設計的 CNN 的關鍵組件塊，中間的兩個塊代表 CNN 的核心。

使用 C 語言的OpenCL 2a并行編程擴展來補充基于 FPGA 的 CNN 加速應用程序的開發。適用于卷積神經網絡的 FPGA 器件的一個示例是英特爾可編程解決方案集團 （PSG）的Arria 10系列器件，其正式名稱為Altera。

為了幫助開發人員開展基于 FPGA 的 CNN 加速項目，英特爾 PSG 提供了 CNN 參考設計。這使用 OpenCL 內核來實現每個 CNN 層。數據使用通道和管道從一層傳遞到下一層，該功能允許數據在 OpenCL 內核之間傳遞，而無需消耗外部內存帶寬。卷積層是使用 FPGA 中的 DSP 模塊和邏輯實現的。硬化塊包括浮點功能，可進一步提高設備吞吐量，而不必影響可用內存帶寬。

圖 3 所示的框圖突出顯示了可以使用 FPGA 作為加速處理單元的示例圖像處理和分類系統。

?

?

圖 3：使用 FPGA 進行加速的圖像分類系統框圖（來源：FPGA 上的深度學習，過去、現在和未來3）。

英特爾 PSG 還在其網站4上提供了許多有關將 FPGA 卷積神經網絡用于工業、醫療和汽車應用的主題的有用文檔和視頻。為深度學習應用程序選擇框架是關鍵的第一步。為了幫助開發人員，有越來越多的工具，例如OpenANN （openann.github.io），這是一個用于人工神經網絡的開源庫，以及諸如deeplearning.net和Embedded-vision.com等信息豐富的社區站點。包括對使用 OpenCL 的支持的流行深度學習設計框架包括Caffe（caffe.berkeleyvision.org），基于 C++ 和基于 Lua 的 Torch。DeepCL 是另一個完全支持 OpenCL 的框架，盡管它尚未獲得前兩者的用戶群。

結論

工業市場熱衷于利用深度學習神經網絡可以為許多制造和自動化控制應用帶來的特性。由于德國的工業 4.0 等舉措以及更廣泛的工業物聯網概念，這一重點得到了進一步的推動。與高質量的視覺相機、CPU 和 FPGA 解決方案以及相關控制相結合，卷積神經網絡可用于自動執行大量制造過程檢查，從而提高產品質量、可靠性和工廠安全性。

憑借其動態可配置的邏輯結構、高內存帶寬和功率效率，FPGA 非常適合加速 CNN 的卷積層和池化層。在大量社區驅動的開源框架和并行代碼庫（如 OpenCL）的支持下，未來在此類應用中使用 FPGA 是安全的。FPGA 提供了一種高度可擴展和靈活的解決方案，可以滿足許多工業部門的不同應用需求。