RV1126B平台部署Qwen2.5大语言模型指南

本文介绍如何在RV1126B平台基于RKLLM工具链完成Qwen2.5-0.5B-Instruct模型转换，并部署到板端运行。

1、开发环境准备

{整体流程：
下载 Qwen2.5 原始模型
↓
使用 rkllm-toolkit 转换
↓
生成 .rkllm 模型
↓
编译 RKLLM Demo
↓
部署到 RV1126B 板端运行
参考环境： - 平台：RV1126B -
SDK：~/rv1126b_linux6.1_release_v1.2.0/external/rknn-llm -
模型：Qwen2.5-0.5B-Instruct -
Toolkit：rkllm-toolkit 1.2.3 -
Python：3.10 }

1.1、Python环境安装

①　检查 Python

python3 --version

②　如果没有，执行以下指令进行安装，推荐 Python 3.10。

sudo apt install python3

1.2 RKLLM Toolkit安装

①　检查RKLLM Toolkit

pip3 show rkllm-toolkit

补充：如果提示找不到命令 “pip3”，输入指令安装“sudo apt install python3-pip”

②　如若出现以下情况：

③　执行以下命令进行安装：

cd ~/rv1126b_linux6.1_release_v1.2.0/external/rknn-llm/rkllm-toolkit/packages
pip install ./rkllm_toolkit-1.2.3-cp310-cp310-linux_x86_64.whl

注意：whl 文件名里的 cp310 必须和 Python 小版本一致。

④　验证是否安装成功：

python3 -c "from rkllm.api import RKLLM; print('RKLLM OK')"

1.3 Qwen2.5模型准备

方式一：路径：【易百纳】HongOU_PI_R1型开发板_V1.1\08.进阶案列\02.VLM_LLM部署\Qwen_2.5.zip
方式二：可从Qwen官方模型仓库下载Qwen2.5-0.5B-Instruct模型。https://huggingface.co/Qwen

unzip Qwen_2.5.zip

1.4 量化校准数据准备

方式一：参考官方data_quant.json文件自己写
方式二：用官方脚本自动生成

cd~/rv1126b_linux6.1_release_v1.2.0/external/rknn-llm/examples/rkllm_api_demo/export
python3 generate_data_quant.py -m ~/Qwen_2.5 -o ~/Qwen_2.5/data_quant.json

方式三：采用软件包里自带的

2、模型转换与板端部署

2.1 模型转换

cd ~/Qwen_2.5
python3 export_qwen25.py

2.2 板端部署

scp -r qwen2.5-0.5b-w8a8-rv1126b.rkllm root@<板子IP>：/data

3、功能验证

3.1 Demo编译与功能验证

./build-linux.sh

注：如果报类似找不到编译工具，需要将build-linux.sh中的路径修改成对应路径。

3.2 板端部署

scp -r llm_demo root@<板子IP>:/data

3.3板端运行验证

./llm_demo ./qwen2.5-0.5b-w8a8-rv1126b.rkllm 128 512