將現有的Jetson Nano項目移植到TI SK-TDA4VM

描述

邊緣機器學習應用

功能強大但低功耗的單板計算機的出現意味著每個步驟都可以在設備本身上完成，而不是像在典型的機器學習工作流程中那樣在本地收集數據并將其發送到云端進行處理和推理。這意味著工業監控、健康跟蹤和自動化農業等應用都可以變得更加高效和準確。

SK-TDA4VM 和 Jetson Nano

NVIDIA 的 Jetson Nano 開發套件于 2019 年發布，配備 128 核 Maxwell GPU 以及主頻為 1.43GHz 的四核 ARM A57 CPU。此外，該套件還具有 4GB LPDDR4 內存、HDMI/顯示端口連接器、千兆以太網和四個 USB 3.0 端口以及一個 40 針 GPIO 接頭和雙 CSI 攝像頭連接器。

?

相反，德州儀器 (TI) 的 SK-TDA4VM 套件包含雙核 Arm Cortex-A72 CPU、DSP、深度學習、視覺和多媒體加速器、4GB LPDDR4 內存、四個 USB 端口、千兆以太網和 HDMI/Display Port 顯示輸出. 要添加更多攝像頭，沿邊緣有兩個 CSI 攝像頭連接器，在板的底部還有一個 40 針 Semtec 連接器。與 Jetson Nano 不同，SK-TDA4VM 包含一個用于 WiFi/藍牙卡的 M.2 E-key 插槽和一個用于 SSD 或其他 PCIe x 4 設備的 M.2 M-key 插槽。查看之前的入門指南，了解有關如何設置套件和運行簡單演示的更多信息。

?

現有項目

該項目的起點是使用 JetPack4.5 用 Python 3.6編寫的一個簡單示例，它從 COCO17 數據集中獲取 20 張調整大小的圖像，并將它們傳遞到從 TensorFlow 網站獲取的SSD MobileNet V1 TensorFlow Lite 模型。一旦設置了輸入數據，Jetson Nano 就會在 CPU 上運行 TFLite 解釋器，并計算輸出結果所需的時間。在以 5W 的最大功耗運行總共 20 次迭代后，平均運行時間為223milliseconds每次推理。應該注意的是，由于 Jetson Nano 上的 TFLite 模型的功耗有限且缺乏 GPU 計算，這個數字高于優化運行時的數字。

?

編譯優化的 TensorFlow 模型

TDA4VM 的架構要求現有的預訓練機器學習模型（例如.tflite文件）必須先經過編譯才能在硬件上運行，以利用硬件加速器。正如我在入門指南中看到的那樣，TI 提供了一個模型動物園，可以從中以正確的格式下載預訓練模型。它們不僅包括.tflite文件，還param.yaml包括包含有關模型和各種其他工件的信息的文件。

為了導入自定義的 TensorFlow Lite 模型，必須首先設置編譯環境。該工具集已針對在 x86 或 aarch64 架構上運行的 Ubuntu 18.04 進行了驗證。我能夠在 Windows 10 上的WSL 2下安裝 Linux 環境，以簡化設置過程。從這里，我運行了以下命令來克隆存儲庫并配置文件夾：

$ git clone https://github.com/TexasInstruments/edgeai-tidl-tools.git
$ cd edgeai-tidl-tools

在執行下面的腳本之前，我編輯了 requirements_pc.txt 文件以將行更改onnx為onnx==1.4.1，因為安裝最新版本時出現問題。

$ source ./setup.sh --skip_cpp_deps

如果出現提示，請選擇J721E作為目標設備。跑步

$ ./scripts/run_python_examples.sh

以確保編譯成功。此外，查看./model-artifacts和./models目錄以查看生成的工件。

為了編譯模型，首先導航到examples/osrt_python目錄并打開model_configs.py文件。要添加新條目，只需在字典中附加模型參數，同時更改model_path以反映模型的存儲位置。例如，這是我的 SSD_MobileNet_V1 TensorFlow Lite 模型的條目：

'od-tfl-ssd_mobilenet_v1_1' : {
    'model_path' : os.path.join(models_base_path,'ssd_mobilenet_v1_1_metadata_1.tflite'),
    'mean': [127.5, 127.5, 127.5],
    'scale' : [1/127.5, 1/127.5, 1/127.5],
    'num_images' : numImages,
    'num_classes': 91,
    'model_type': 'od',
    'session_name' : 'tflitert',
    'od_type' : 'HasDetectionPostProcLayer'
}

如果您的模型屬于不同類型，還可以檢查列出的許多其他條目。編輯第 231 行tfl/tflrt_delegate.py以用新添加的條目替換現有的條目數組，然后運行

$ cd tfl
$ python3 tflrt_delegate.py -c

在不運行推理的情況下編譯模型。需要注意的是，TIDL 提供了多種部署選項，涵蓋 TFLite、ONNX 和 TVM/Neo-AI 運行時。有關詳細信息，請參閱此處存儲庫中的 README 文件。

整合模型

現在模型已經編譯，來自相應文件夾/文件的工件model-artifacts可以models通過 SFTP 復制到 TDA4VM 套件。就像 Jetson Nano 程序一樣，為 SK-TDA4VM 編寫的 Python 代碼會創建多個隨機圖像，并將它們作為輸入傳遞給 tflite 模型，同時計算推理所需的時間。對于其他項目，/opt/edge_ai_apps/apps_python默認 SK-TDA4VM 操作系統映像附帶的 Python 演示應用程序是一個很好的起點。

性能比較

平均而言，TDA4VM 能夠使用相同的 320x320 UINT8 圖像執行推理9 milliseconds，由于其板載加速器硬件，與 Jetson Nano 相比，速度提高了 24 倍。如需更詳細的推理數據，包括結果和性能指標，您可以將以下目錄復制到 TDA4VM 初學者工具包的本地安裝的 repo中：

./model-artifacts
./models
./dockers/J721E/PSDKRA/setup.sh

然后運行腳本：

$ cd examples/osrt_python/tfl
$ python3 tflrt_delegate.py

可以按照 edgeai-benchmark 存儲庫中的說明對準確性進行基準測試。有關 TIDL 工具和 SDK 的更多信息，請務必查看存儲庫和SK-TDA4VM 套件的文檔。

更進一步

Edge Impulse不是獲取預訓練的 TensorFlow 模型，將其轉換為 TensorFlow Lite，然后使用 TIDL 實用程序生成工件，而是使其變得極其簡單，因為項目只需單擊一個按鈕即可部署模型。此存儲庫包含有關創建新項目、下載訓練數據、構建自定義學習塊以及運行 Docker 容器以輸出訓練tflite和onnx模型的說明。edge -impulse-linux-runner 命令會將優化模型下載到設備并開始分類，并在網絡瀏覽器中提供輸出。