如何在微控制器中構建神經網絡

描述

我們將使用 TensorFflow 訓練神經網絡并在微控制器中實現它。我們的神經網絡將預測 sin(x)。使用相同的過程，我們可以用正確的數據預測不同的輸出。

人工神經網絡在維基百科中被定義為“受構成動物大腦的生物神經網絡模糊啟發的計算系統。此類系統通過考慮示例來“學習”執行任務，通常無需使用特定于任務的規則進行編程。

所以第一部分是我們必須教神經網絡 sin(x) 函數是怎樣的。

?

我們在 colab 中使用 TensorFlow，這里是鏈接https://colab.research.google.com/drive/1ABDULCjzvNZJ6TwHpTvAJnKeyM-_kfPR

我們需要訓練數據，所以我們得到 x, y 對訓練：

?

x, y 對用于測試我們的神經網絡：

?

神經網絡中的基本計算單位是神經元或節點，它從其他一些節點或外部源接收輸入并計算輸出。每個輸入都有一個關聯的權重 (a)，這是根據其對其他輸入的相對重要性加上常量分配的，稱為偏差 (b)。該節點將非線性函數應用于其輸入的加權和，稱為激活函數。在我們的例子中，我們使用 softsign 函數作為激活函數。

?

我們現在定義一個簡單的神經網絡，節點按層排列。相鄰層的節點之間有連接或邊緣。所有這些連接都有與之關聯的權重。我們使用四層，一個輸入層，兩個隱藏層和一個輸出層。

• 輸入節點——輸入節點將外部世界的信息提供給網絡，統稱為“輸入層”。在任何輸入節點中都不會執行任何計算。
• 隱藏節點——隱藏節點與外界沒有直接聯系（因此得名“隱藏”）。它們執行計算并將信息從輸入節點傳輸到輸出節點。隱藏節點的集合形成一個“隱藏層”。它可以有零個或多個隱藏層。
• 輸出節點——輸出節點統稱為“輸出層”，負責計算和將信息從網絡傳輸到外界。

我們在輸入層有一個節點，在第一個隱藏層有 10 個節點，在第二個隱藏層有 3 個節點，在輸出層有一個節點。這是圖表：

?

在 TensorFlow 中定義為：

?

。

我們評估模型，誤差非常低。

?

為了在微控制器中實現模型，我們需要架構，我們之前定義了三層和每個節點的權重。

?

正如我們所料，我們有三層，這些是權重：

?

輸入層只有一個輸入 x 我們要計算 y = sin(x)。

第一隱藏層有10個節點，每個節點執行操作：

?

所以第一個數組有 10 個元素，每個節點一個“a”，第二個 10 個元素的數組是“b”。

?

第二個隱藏層有 3 個節點和 10 個輸入，所以我們有一個 3x10 數組用于每個節點的“a”，以及 3 個數組用于“b”。

?

?

輸出層是一個有 3 個輸入的節點，所以我們有 3 個“a”和一個“b”。

?

?

我使用 platformio + vs 代碼。對于 MT3620，您需要從此處安裝平臺支持https://github.com/Wiz-IO/platform-azure

現在我們可以在微控制器中實現它。我已經在 MT3620 板的 M7 內核和 ESP32 中實現了它。

我們只需要兩個函數，一個用于層，我們傳遞每個節點的輸入數、層中的節點數、權重、偏差和輸入：

?

一個用于激活函數，softsign 函數：

?

我們使用串行端口請求輸入，然后將其傳遞給第一個隱藏層，結果傳遞給第二個隱藏層，輸出傳遞給輸出層：

?

最后，我們將預測與 sin 函數的輸出進行比較。

?

可以在 ESP32 中使用相同的代碼并獲得相同的結果。