基于北京迅為iTOP-RK3588大語言模型部署測試

人工智能（AI）領域中的大模型（Large Model）逐漸成為研究的熱點。大模型，顧名思義，是指擁有海量參數和高度復雜結構的深度學習模型。它的出現，不僅推動了AI技術的突破，更為各行各業帶來了革命性的變化。

RK3588是瑞芯微推出的新一代旗艦級高端處理器，采用8nm工藝設計，搭載四核A76+四核A55的八核CPU和Arm高性能GPU，內置6T算力的NPU。能夠高效地處理AI算法和模型，為大模型的運行提供了強大的硬件支持。

在北京迅為推出的搭載了RK3588處理器的iTOP-RK3588開發板上，使用RKLLM 工具套件支持在iTOP-RK3588平臺上進行LLM（大型語言模型）模型的轉換和部署。它與Hugging Face模型架構兼容（Hugging Face是廣泛用于自然語言處理任務的模型架構。

目前，該系統支持以下模型：LLaMA、Qwen、Qwen2和Phi-2。支持量化技術，即使用w8a8（8位權重，8位激活）和w4a16（4位權重，16位激活）精度進行模型量化。這可以在目標平臺上更高效地存儲和計算模型，減小內存占用。

iTOP-RK3588開發板體驗大模型

為了讓用戶更快速的體驗RKLLM ，北京迅為已經對Linux內核源碼中的NPU版本進行了升級，升級到了最新的0.9.6版本，具體如下所示：

默認以將RKLLM動態庫集成在了Ubuntu和Debian系統中，用戶可以直接拷貝轉換完成的RKLLM大預言模型和推理程序進行測試。



審核編輯：劉清