基于AX650N/AX620Q部署YOLO-World

一

背景

目標檢測是計算機視覺領域一項重要的任務。開集目標檢測（Open-set Object Detection）與閉集目標檢測（Closed-set Object Detection）是目標檢測領域的兩個概念。

之前我們已經適配了基于Transformer結構的開集目標檢測經典之作：OWL-ViT（Open-World Localization with Vision Transformers）。去年大模型、多模態模型學術界的研究也取得了爆發式的進展，代表作是由IDEA-Research提出的GroundingDINO ，雖然GroundingDINO效果不錯，但畢竟是學術界的成果，在邊緣側/端側AI芯片上部署性能并不容易和理想。

到了2024年，是否學術界/工業級已經迭代出了更快、更強、更易部署的開集目標檢測模型了呢？

當然有！它就是接下來走馬觀花分享的開集目標檢測工業級力作：YOLO-World。同時我們還嘗試在AX650N、AX620Q上完成端到端的部署，給行業內對邊緣側/端側部署開集目標檢測模型的愛好者提供一種新的思路。

二

YOLO-World介紹

● 官方在線DEMO：

https://www.yoloworld.cc/

● 論文傳送門：

https://arxiv.org/pdf/2401.17270

● Github項目：

https://github.com/AILab-CVC/YOLO-World

YOLO-World由Tencent AI Lab、ARC Lab (AI Research Center) at Tencent PCG (Platform and Content Group) 以及華中科技大學電子信息與通信學院（School of EIC, Huazhong University of Science & Technology）合作提出的一個創新的實時開放詞匯目標檢測方法，它通過結合視覺-語言建模和大規模數據集上的預訓練，增強了YOLO（You Only Look Once）檢測器的開放詞匯檢測能力。

YOLO-World的主要貢獻和特點包括：

●開放詞匯檢測能力：YOLO-World能夠檢測超出預定義類別的更廣泛對象，這對于現實世界的復雜場景非常有用，因為現實世界中的對象類別是多樣且不斷變化的；

● 高效率：YOLO-World在保持高準確度的同時，還實現了高效率的檢測，這對于需要實時處理的應用場景（如自動駕駛、監控等）至關重要；

●Re-parameterizable Vision-Language Path Aggregation Network (RepVL-PAN)：提出了一個新的網絡結構RepVL-PAN，它通過更好的視覺-語義表示來增強文本和圖像特征之間的交互；

●區域-文本對比損失：引入了一種新的區域-文本對比損失函數，以促進模型學習區域和文本之間的對應關系，這對于開放詞匯檢測的性能至關重要；

● 預訓練方案：論文提出了一種有效的預訓練方案，通過在大規模檢測、定位和圖像-文本數據集上進行區域-文本對比學習，將檢測數據、定位數據和圖像-文本數據統一為區域-文本對；

●零樣本性能：在LVIS數據集上的實驗結果表明，YOLO-World在零樣本設置下取得了35.4的平均精度（AP），同時保持了52.0 FPS的高幀率，這顯示了其在大規模詞匯檢測上的強大能力（精度&速度均領先 GLIP和Grounding DINO）；

●下游任務的適應性：預訓練后的YOLO-World在多個下游任務上表現出色，包括對象檢測和開放詞匯實例分割，這表明了其良好的泛化能力；

●開源代碼和模型：論文承諾將預訓練的權重和代碼開源，以便于更多的實際應用和進一步的研究。

總的來說，YOLO-World的提出為實時目標檢測領域帶來了新的視角，特別是在處理開放詞匯和提高模型泛化能力方面，它的創新方法和優異性能為未來的目標檢測研究和應用奠定了基礎。

三

愛芯派Pro（AX650N）

搭載愛芯元智第三代高能效比智能視覺芯片AX650N。集成了八核Cortex-A55 CPU，高能效比NPU，支持8K@30fps的ISP，以及H.264、H.265編解碼的VPU。接口方面，AX650N支持64bit LPDDR4x，多路MIPI輸入，千兆 Ethernet、USB、以及HDMI 2.0b輸出，并支持32路1080p@30fps解碼內置高算力和超強編解碼能力，滿足行業對高性能邊緣智能計算的需求。通過內置多種深度學習算法，實現視覺結構化、行為分析、狀態檢測等應用，高效率支持基于Transformer結構的視覺大模型和語言類大模型。提供豐富的開發文檔，方便用戶進行二次開發。

四

愛芯派Zero（AX620Q）

搭載愛芯元智第四代智能視覺芯片AX620Q，該芯片集成新一代智眸4.0 AI-ISP，最高支持5MP@30fps實時真黑光，同時集成新一代通元4.0高性能、場景優化的NPU引擎，使得產品在低功耗、高畫質、智能處理和分析等方面行業領先。提供穩定易用的SDK軟件開發包，方便用戶低成本評估、二次開發和快速量產。幫助用戶在智能家居應用和其他AIoT項目中發揮更大的價值。

五

模型獲得

相關材料

為方便大家轉換，我們提供一些必要的參考文件：

https://pan.baidu.com/share/init?surl=HIXFkv_OjqbnTx-9WhZ00Q&pwd=y94b

ONNX導出

雖然YOLO World相比Grounding DINO在工業部署上已經方便很多，但由于開集目標檢測網絡結構必然的復雜性，仍然存在一些Trick值得深究。因此我們熟悉的創新模型部署大佬（ZHEQIUSHUI）貢獻了一些微不足道的修改（YOLO -World Optimize，https://github.com/ZHEQIUSHUI/YOLO-World/tree/not_einsum），在不影響精度的情況下，讓后續的上板部署更佳便捷。

python環境安裝

conda create --name=yolo_world python=py3.9
conda activate yolo_world

其他依賴安裝

pip install torch==1.11.0+cpu torchvision==0.12.0+cpu torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cpu -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install mmcv==2.0.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install mmdet==3.0.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install onnx onnxruntime onnxsim -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install transformer -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install git+https://github.com/lvis-dataset/lvis-api.git -i https://pypi.tuna.tsinghua.edu.cn/simple

YOLO-World安裝并下載權重

git clone -b not_einsum --recursive https://github.com/ZHEQIUSHUI/YOLO-World.git
cd YOLO-World
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple
wget https://huggingface.co/wondervictor/YOLO-World/resolve/main/yolo_world_s_clip_base_dual_vlpan_2e-3adamw_32xb16_100e_o365_goldg_train_pretrained-18bea4d2.pth

導出ONNX

python deploy/export_onnx.py configs/pretrain/yolo_world_v2_s_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py ./yolo_world_v2_s_obj365v1_goldg_pretrain-55b943ea.pth --custom-text data/texts/coco_class_texts.json --opset 11 --device cpu --model-only --simplify

完成以上操作后，我們將得到yolo_world_v2_s_obj365v1_goldg_pretrain-55b943ea.onnx模型。

六

模型轉換

ONNX模型優化

在使用pulsar2工具鏈轉換之前，先對前一步獲得的yolo_world_v2_s_xxx.onnx模型進行必要的計算圖優化，便于提高模型部署效率。使用onnx_edit.py優化完成后，將獲得yolo_world_v2_s_xxx-sub.onnx。

import onnx


input_path = "work_dir/yolo_world_v2_s_obj365v1_goldg_pretrain-55b943ea.onnx"
output_path = "work_dir/yolo_world_v2_s_obj365v1_goldg_pretrain-55b943ea-sub.onnx"
input_names = ["images"]
output_names = [
  "onnx::Reshape_1191",
  "onnx::Reshape_1260",
  "onnx::Reshape_1329",
  
  "onnx::Reshape_1172",
  "onnx::Reshape_1241",
  "onnx::Reshape_1310",
]


onnx.utils.extract_model(input_path, output_path, input_names, output_names)

Pulsar2編譯

Pulsar2是新一代AI工具鏈，包含模型轉換、離線量化、模型編譯、異構調度四合一超強功能，進一步強化了網絡模型高效部署的需求。在針對第三代、第四代NPU架構進行了深度定制優化的同時，也擴展了算子&模型支持的能力及范圍，對Transformer結構的網絡也有較好的支持。

一鍵完成圖優化、離線量化、編譯、對分功能。整個過程耗時不到2分鐘，log信息量很大。

qtang@gpux2:$ pulsar2 build --input yolo_world_v2_s_obj365v1_goldg_pretrain-55b943ea-sub.onnx 
--config yolo-world.json 
--output_dir output 
--target_hardware AX650 
--npu_mode NPU3 --output_name yolo_world_s_u8_npu3.axmodel


32 File(s) Loaded.
Building onnx ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:00:00
                          Quant Config Table
┏━━━━━━━━┳━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳┓
┃ Input ┃ Shape      ┃ Dataset Directory ┃ Data Format ┃ Tensor Format ┃ Mean      ┃ Std         ┃
┡━━━━━━━━╇━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇┩
│ images │ [1, 3, 640, 640] │ images      │ Image    │ BGR      │ [0.0, 0.0, 0.0] │ [255.0, 255.0, 255.0]│
└────────┴──────────────────┴───────────────────┴─────────────┴┘
Transformer optimize level: 1
32 File(s) Loaded.
[00:55:22] AX Set Float Op Table Pass Running ...     Finished.
[00:55:22] AX Set MixPrecision Pass Running ...      Finished.
[00:55:22] AX Transformer Optimize Pass Running ...    Finished.
[00:55:22] AX Set LN Quant dtype Quant Pass Running ...  Finished.
[00:55:22] AX Topk Operation Format Pass Running ...   Finished.
[00:55:22] AX Reset Mul Config Pass Running ...      Finished.
[00:55:22] AX Refine Operation Config Pass Running ...  Finished.
[00:55:22] AX Tanh Operation Format Pass Running ...   Finished.
[00:55:22] AX Confused Op Refine Pass Running ...     Finished.
[00:55:23] AX Quantization Fusion Pass Running ...    Finished.
[00:55:23] AX Quantization Simplify Pass Running ...   Finished.
[00:55:23] AX Parameter Quantization Pass Running ...   Finished.
Calibration Progress(Phase 1): 100%|██████████████████████| 32/32 [00:26<00:00, ?1.23it/s]
Finished.
[0049] AX Quantization Alignment Pass Running ... ? ? Finished.
[0049] AX Refine Int Parameter Pass Running ... ? ? ? Finished.
Finished.
[0050] AX Passive Parameter Quantization Running ... ?Finished.
[0050] AX Parameter Baking Pass Running ... ? ? ? ? ? Finished.
......
Network Quantization Finished.
quant.axmodel export success: 50_output/yolo_world_s/quant/quant_axmodel.onnx
Building native ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 000
......
tiling op... ? ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 253/253 000
new_ddr_tensor = []
build op serially... ? ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 613/613 0:00:07
build op... ? ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1198/1198 0:00:00
.......
2024-04-11 00:56:03.533 | INFO ? ? | yasched.test_onepass2467 - max_cycle = 4,302,999
build jobs ? ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3796/3796 0:00:00
2024-04-11 00:56:08.932 | INFO ? ? | yamain.command.build1110 - fuse 1 subgraph(s)

編譯輸出的文件，保存在output文件夾中，其中 yolo_world_s_u8_npu3.axmodel將用于在AX650N Demo板上運行。

七

上版部署

AX-Samples

開源項目AX-Samples實現了常見的深度學習開源算法在愛芯元智的AI SoC上的示例代碼，方便社區開發者進行快速評估和適配。

最新版本已開始提供AX650系列（AX650A、AX650N）、AX620E系列（AX630C、AX620E）的NPU示例，其中也包含了本文介紹的YOLO-World參考代碼。

https://github.com/AXERA-TECH/ax-samples

運行

/opt/test # ./ax_yolo_world -i ssd_horse.jpg -m yolo_world_s_u8_npu3.axmodel
--------------------------------------
model file : yolo_world_s_u8_npu3.axmodel
image file : ssd_horse.jpg
img_h, img_w : 640 640
--------------------------------------
Engine creating handle is done.
Engine creating context is done.
Engine get io info is done.
Engine alloc io is done.
Engine push input is done.
--------------------------------------
post process cost time:3.80 ms
--------------------------------------
Repeat 1 times, avg time 4.52 ms, max_time 4.52 ms, min_time 4.52 ms
--------------------------------------
detection num: 6
17: 98%, [ 216,  71, 420, 374], horse
16: 93%, [ 144, 204, 197, 347], dog
13: 86%, [ 469, 149, 499, 178], bench
 0: 76%, [ 431, 124, 451, 178], person
 0: 74%, [ 271,  13, 348, 236], person
 2: 69%, [  0, 105, 133, 196], car
--------------------------------------

AX650N運行YOLO-World S耗時 ＜5 ms，完全滿足實時運行需求。

性能統計

目前我們已經完成了基于AX650N、AX630C、AX620Q芯片平臺的YOLO-World適配。

八

結束語

隨著Open-Vocabulary Object Detection網絡模型的快速發展，越來越多有趣的多模態AI應用將逐漸從云端服務遷移到邊緣側設備和端側設備。



審核編輯：劉清