基于北京迅為iTOP-RK3588大語(yǔ)言模型部署測試

人工智能（AI）領(lǐng)域中的大模型（Large Model）逐漸成為研究的熱點(diǎn)。大模型，顧名思義，是指擁有海量參數和高度復雜結構的深度學(xué)習模型。它的出現，不僅推動(dòng)了AI技術(shù)的突破，更為各行各業(yè)帶來(lái)了革命性的變化。

RK3588是瑞芯微推出的新一代旗艦級高端處理器，采用8nm工藝設計，搭載四核A76+四核A55的八核CPU和Arm高性能GPU，內置6T算力的NPU。能夠高效地處理AI算法和模型，為大模型的運行提供了強大的硬件支持。

在北京迅為推出的搭載了RK3588處理器的iTOP-RK3588開(kāi)發(fā)板上，使用RKLLM 工具套件支持在iTOP-RK3588平臺上進(jìn)行LLM（大型語(yǔ)言模型）模型的轉換和部署。它與Hugging Face模型架構兼容（Hugging Face是廣泛用于自然語(yǔ)言處理任務(wù)的模型架構。目前，該系統支持以下模型：LLaMA、Qwen、Qwen2和Phi-2。支持量化技術(shù)，即使用w8a8（8位權重，8位激活）和w4a16（4位權重，16位激活）精度進(jìn)行模型量化。這可以在目標平臺上更高效地存儲和計算模型，減小內存占用。

iTOP-RK3588開(kāi)發(fā)板體驗大模型

為了讓用戶(hù)更快速的體驗RKLLM ，北京迅為已經(jīng)對Linux內核源碼中的NPU版本進(jìn)行了升級，升級到了最新的0.9.6版本，具體如下所示：

默認以將RKLLM動(dòng)態(tài)庫集成在了Ubuntu和Debian系統中，用戶(hù)可以直接拷貝轉換完成的RKLLM大預言模型和推理程序進(jìn)行測試。詳細說(shuō)明請見(jiàn)NPU手冊中RKLLM模型轉換和測試相關(guān)步驟。

《iTOP-RK3588開(kāi)發(fā)板NPU使用手冊》v1.1教程目錄

第1章 你好！NPU

1.1 NPU的誕生！

1.2 初識RKNPU

第2章 準備RKNPU開(kāi)發(fā)環(huán)境

2.1 開(kāi)發(fā)環(huán)境

2.1 軟件架構

2.2 SDK說(shuō)明

第3章 讓NPU跑起來(lái)

3.1 在Linux系統中使用NPU

3.1.1 設置交叉編譯器

3.1.2 修改編譯工具路徑

3.1.3 更新RKNN模型

3.1.4 編譯demo

3.1.5 開(kāi)發(fā)板運行demo

3.2 在Android系統中使用NPU

3.2.1下載編譯所需工具

3.2.2 修改編譯工具路徑

3.2.3 更新RKNN模型

3.2.4 編譯demo

3.2.5 開(kāi)發(fā)板運行demo

第4章 體驗RKNN_DEMO

4.1 rknn_ssd_demo體驗

4.2 rkn_api_demo體驗

4.3 rknn_multiple_input_demo體驗

第5章 模型轉換

5.1 RKNN-Toolkit2 介紹

5.2 RKNN-Toolkit2環(huán)境搭建

5.2.1 安裝Miniconda

5.2.2 創(chuàng )建RKNN虛擬環(huán)境

5.2.3 安裝pycharm

5.2.4 配置pycharm

5.3 RKNN-Toolkit2工具的使用

5.3.1 模型運行在模擬器

5.3.2 模型運行在RK3588開(kāi)發(fā)板

第6章 其他模型轉換

6.1 使用tensorflow框架

6.2 使用caffe框架

6.3 使用tflite框架

6.4 使用onnx框架

6.5 使用darknet框架

6.6 使用pytorch框架

第 7章 使用RKNN-Toolkit-lite2

7.1 主要功能說(shuō)明

7.2 環(huán)境搭建步驟

7.2.1 安裝Miniconda

7.2.2 創(chuàng )建RKNN虛擬環(huán)境

7.2.3 安裝RKNN-ToolkitLite 2軟件包

7.2.4 安裝opencv

7.3 運行測試程序

第8章 RKLLM大預言模型測試

8.1 RKLLM-Toolkit介紹

8.2 RKLLM-Toolkit環(huán)境搭建

8.2.1 安裝Miniconda

8.2.2 創(chuàng )建RKLLM虛擬環(huán)境

8.3 大語(yǔ)言模型轉換

8.4 推理程序編譯

8.5 開(kāi)發(fā)板運行測試