簡單三步在Windows上調用低功耗NPU部署AI模型

相信很多小伙伴都已經知道，在最新一代的英特爾 酷睿 Ultra 移動端處理中已經集成了被稱為 NPU 的神經網絡加速處理器，以提供低功耗的 AI 算力，特別適合于 PC 端需要長時間穩定運行的 AI 輔助功能，例如會議聊天軟件中的自動摳像，或是畫面超分辨率等應用。而 OpenVINO 工具套件也在第一時間對 NPU 進行了適配，接下來就讓我們一起看一下如何在英特爾 酷睿 Ultra 處理器上搭建基礎環境，并調用 NPU 進行模型推理任務。

NPU 驅動安裝

首先我們需要確保是否安裝了最新版的 NPU 驅動，可以通過 Windows 任務管理調出當前 NPU 驅動版本信息。

圖：NPU 在 Windows 任務管理器中顯示驅動版本

查詢當前最新的 NPU 驅動版本：

https://www.intel.com/content/www/us/en/download/794734/intel-npu-driver-windows.html

圖：NPU 驅動下載頁面

如果想更新或是重裝 NPU 驅動，可以參考以下指引下載并安裝驅動：

https://docs.openvino.ai/2023.3/openvino_docs_install_guides_configurations_for_intel_npu.html

OpenVINO 的下載和安裝

由于目前 NPU Plugin 還沒有被集成在 OpenVINO 的 PyPI 安裝包中，因此我們需要通過下載 OpenVINO runtime 壓縮包的方式進行安裝。

圖：OpenVINO 下載頁面

整個安裝過程非常簡單，只需將壓縮包解壓到在本地路徑下即可。具體方法可以參考上圖標紅處的安裝說明。

圖：將壓縮包解壓至本地路徑

Python 環境配置

通過執行壓縮包中的 setupvars.bat 環境配置腳本，我們便可以直接在 Python 環境下加載 OpenVINO runtime 和 NPU Plugin 環境。同時利用 OpenVINO 的 Python API 指令，我們可以快速驗證 NPU 是否可以被正常調用。

圖：Python 環境中驗證 NPU 調用

C++ 環境配置

不同于 Python，Windows 上的 C++ 應用需要依賴于 CMake 或者是 Visual Studio 的環境下調試，因此這里我們需要簡單配置下 OpenVINO 庫的路徑。下面以 Visual Studio 中新建項目的屬性配置頁面為例。

圖：配置 OpenVINO runtime 頭文件路徑

圖：配置 OpenVINO runtime 動態庫路徑

圖：配置 OpenVINO runtime 及 frontednd 靜態庫路徑

圖：在 Windows 本地添加 OpenVINO 環境變量路徑

當完成 Visual Studio 項目屬性配置后，我們可以通過調試以下示例代碼，測試 NPU 是否可以被檢測及調用。

#include 
#include 


int main(int argc, char* argv[]) {


  // -------- Get OpenVINO runtime version --------
  std::cout << ov::get_openvino_version() << std::endl;


 ? ?// -------- Step 1. Initialize OpenVINO Runtime Core --------
 ? ?ov::Core core;


 ? ?// -------- Step 2. Get list of available devices --------
 ? ?std::vector availableDevices = core.get_available_devices();


  // -------- Step 3. Query and print supported metrics and config keys --------
  std::cout << "available devices: " << std::endl;
 ? ?for (auto&& device : availableDevices) {
 ? ? ? ?std::cout << device << std::endl;
 ? ?}
}

圖：VS 環境中驗證 NPU 調用

測試效果

當完成 NPU 安裝后，我們可以通過 OpenVINO notebooks 中提供的示例，簡單測試下 NPU 的性能。這個示例會通過以下 Python 代碼來將模型部署在 NPU 上。

compiled_model = core.compile_model("model.xml", "NPU")

圖：實時人體關鍵點演示效果

可以看到 NPU 在運行實時人體關鍵點檢測模型時的效果和速度還是非常不錯的，達到了 90FPS 的吞吐量，同時推理任務幾乎也沒有占用 CPU 額外的資源，真正做到了在提供高算力的同時，減輕 CPU 和 GPU 的任務負載。

審核編輯：劉清