基于英特爾哪吒開(kāi)發(fā)者套件平臺來(lái)快速部署OpenVINO Java實(shí)戰

前言

OpenVINO 工具套件基于OneAPI開(kāi)發(fā)，可以加快高性能計算機視覺(jué)和深度學(xué)習應用開(kāi)發(fā)速度的工具套件，適用于從邊緣到云的各種英特爾計算平臺上，幫助用戶(hù)更快地將更準確的真實(shí)世界數據的AI推理結果部署到生產(chǎn)系統中。通過(guò)簡(jiǎn)化的開(kāi)發(fā)工作流程，OpenVINO可賦能開(kāi)發(fā)者在現實(shí)世界中部署高性能應用程序和算法。

今天我們將基于哪吒開(kāi)發(fā)者套件平臺來(lái)快速部署OpenVINO Java。

1

英特爾開(kāi)發(fā)者套件-哪吒

1.1

產(chǎn)品介紹

哪吒（Nezha）開(kāi)發(fā)套件以信用卡大?。?5 x 56mm）的開(kāi)發(fā)板-哪吒（Nezha）為核心，哪吒采用Intel N97處理器（Alder Lake-N），最大睿頻3.6GHz，Intel UHD Graphics內核GPU，可實(shí)現高分辨率顯示；板載LPDDR5內存、eMMC存儲及TPM 2.0，配備GPIO接口(與樹(shù)莓派兼容)，支持Windows和Linux操作系統，這些功能和無(wú)風(fēng)扇散熱方式相結合，為各種應用程序構建高效的解決方案，適用于如自動(dòng)化、物聯(lián)網(wǎng)網(wǎng)關(guān)、數字標牌和機器人等應用。

1.2

系統安裝

由于默認的開(kāi)發(fā)版使用的Ubuntu 18的系統，但是系統存在一個(gè)顯示器只有800*600的Bug，為此我們需要燒錄一個(gè)新系統進(jìn)去。我們進(jìn)入Ubuntu intel-iot系統的下載網(wǎng)址（https://ubuntu.com/download/iot/intel-iot）然后下載Intel Atom X7000E Series Processors (former codename Alder Lake N) 即可，因為哪吒平臺是Alder Lake N 架構，所以下載對應平臺的鏡像即可（實(shí)際上下載正常的桌面版本即可）。將下載后的鏡像文件刻錄到U盤(pán)，按照正常的Ubuntu 系統安裝即可。

1.3

GPU驅動(dòng)安裝

由于默認的Ubuntu 安裝之后不會(huì )帶有Intel GPU驅動(dòng)，為了讓推理的速度能過(guò)更加快一點(diǎn)，所以我們這里需要額外安裝一下，首先進(jìn)入

https://docs.openvino.ai/archive/2023.1/openvino_docs_install_guides_configurations_for_intel_gpu.html

這里官網(wǎng)給出了兩種安裝方式：

A:通過(guò)deb安裝

B:通過(guò)apt存儲庫。然后安裝ocl-icd-libopencl1、intel-opencl-icd、intel-level-zero-gpu和level-zero apt軟件包：

由于apt包需要配置倉庫，所以我們直接通過(guò)deb方式安裝。

1.3.1 創(chuàng )建一個(gè)臨時(shí)文件夾

mkdir neo

1.3.2 下載所有的deb包

cd neo
wget https://github.com/intel/intel-graphics-compiler/releases/download/igc-1.0.15985.7/intel-igc-core_1.0.15985.7_amd64.deb
wget https://github.com/intel/intel-graphics-compiler/releases/download/igc-1.0.15985.7/intel-igc-opencl_1.0.15985.7_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/24.05.28454.6/intel-level-zero-gpu-dbgsym_1.3.28454.6_amd64.ddeb
wget https://github.com/intel/compute-runtime/releases/download/24.05.28454.6/intel-level-zero-gpu_1.3.28454.6_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/24.05.28454.6/intel-opencl-icd-dbgsym_24.05.28454.6_amd64.ddeb
wget https://github.com/intel/compute-runtime/releases/download/24.05.28454.6/intel-opencl-icd_24.05.28454.6_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/24.05.28454.6/libigdgmm12_22.3.11_amd64.deb

1.3.3 通過(guò)root安裝所有的包

sudo dpkg -i *.deb

這個(gè)時(shí)候我們就可以使用GPU來(lái)推理了。

2

準備工作

2.1

配置Java環(huán)境

2.1.1 下載并配置JDK

JDK（Java Development Kit）稱(chēng)為Java開(kāi)發(fā)包或Java開(kāi)發(fā)工具，是一個(gè)編寫(xiě)Java的Applet小程序和應用程序的程序開(kāi)發(fā)環(huán)境。JDK是整個(gè)Java的核心，包括了Java運行環(huán)境（Java Runtime Environment），一些Java工具和Java的核心類(lèi)庫（Java API）。不論什么Java應用服務(wù)器實(shí)質(zhì)都是內置了某個(gè)版本的JDK。主流的JDK是Sun公司發(fā)布的JDK，除了Sun之外，還有很多公司和組織都開(kāi)發(fā)了自己的JDK.

2.1.2 添加api到本地maven

添加OpenVINO Java API 至Maven(目前沒(méi)有在meven中央倉庫發(fā)布，所以需要手動(dòng)安裝)

2.1.3 clone OpenVINO Java API 項目到本地

git clone https://github.com/Hmm466/OpenVINO-Java-API

2.1.4 通過(guò)IDEA 或 Eclipse 打開(kāi)

通過(guò)maven install 到本地maven 庫中

[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 14.647 s
[INFO] Finished at: 2023-11-02T21:34:49+08:00
[INFO] ------------------------------------------------------------------------

jar包會(huì )放置在

/{userHome}/.m2/repository/org/openvino/java-api/1.0-SNAPSHOT/java-api-1.0-SNAPSHOT.pom

2.2

安裝 OpenVINO Runtime

OpenVINO 有兩種安裝方式: OpenVINO Runtime 和OpenVINO Development Tools。OpenVINO Runtime 包含用于在處理器設備上運行模型部署推理的核心庫。OpenVINO Development Tools 是一組用于處理 OpenVINO 和 OpenVINO 模型的工具，包括模型優(yōu)化器、OpenVINO Runtime、模型下載器等。在此處我們只需要安裝 OpenVINO Runtime 即可。

2.2.1 下載 OpenVINO Runtime

訪(fǎng)問(wèn) Download the Intel Distribution of OpenVINO Toolkit[5] 頁(yè)面，按照下面流程選擇相應的安裝選項，在下載頁(yè)面，由于哪吒使用的是 Ubuntu22.04，因此下載時(shí)按照指定的編譯版本下載即可。

2.2.2 解壓縮安裝包

我們所下載的 OpenVINO Runtime 本質(zhì)是一個(gè) C++ 依賴(lài)包，因此我們把它放到我們的系統目錄下，這樣在編譯時(shí)會(huì )根據設置的系統變量獲取依賴(lài)項。

cd ~/Downloads/
tar -xvzf l_openvino_toolkit_ubuntu22_2023.3.0.13775.ceeafaf64f3_x86_64.tgz
sudo mv l_openvino_toolkit_ubuntu22_2023.3.0.13775.ceeafaf64f3_x86_64/runtime/lib/intel64/* /usr/lib/

3

在哪吒平臺上進(jìn)行測試

3.1

源代碼直接測試

git clone https://github.com/Hmm466/OpenVINO-Java-API

使用IDEA打開(kāi)OpenVINO-Java-API項目

創(chuàng )建src/test/java/org.openvino.java.test.OpenVINOTest

編寫(xiě)測試代碼：

OpenVINO vino = OpenVINO.load();
OvVersion version = vino.getVersion();
Console.println("---- OpenVINO INFO----");
Console.println("Description : %s", version.description);
Console.println("Build number: %s", version.buildNumber);

結果將輸出

---- OpenVINO INFO----
Description : OpenVINO Runtime
Build number: 2023.3.0-13775-ceeafaf64f3-releases/2023/3

3.2

運行YoloV8模型演示效果

4

總結

在該項目中，我們基于英特爾開(kāi)發(fā)套件哪吒為硬件基礎實(shí)現了Java在 Ubuntu 22.04 系統上成功使用OpenVINO Java API，并且成功允許了Yolov8模型，驗證了Java可以在各種硬件平臺上快速部署和運行，同時(shí)簡(jiǎn)化了Java開(kāi)發(fā)者對于A(yíng)I類(lèi)項目的上手難度。后續我還會(huì )將繼續使用 OpenVINO Java API 在 英特爾開(kāi)發(fā)套件上部署更多的深度學(xué)習模型。

審核編輯：劉清