RV1126B VLM_LLM部署指南

硬件平台：鸿欧派R1

1. 准备工作

注意事项：本章节功能验证需要烧录buildroot版本固件

获取模型文件：

模型路径：【易百纳】HongOU_PI_R1型开发板_VX.X\08.进阶案例\02.VLM_LLM\rkai.zip
执行以下命令，将模型压缩包解压到虚拟机或PC中，如图1-1所示：

unzip rkai.zip

图1-1 解压运行图

解压完成后将当前目录下解压的rkai文件夹通过adb或者scp传递到板端userdata目录下，本文采用scp命令传输，如图1-2所示：

scp -r rkai/ root@<板端IP>:/userdata/

图1-2 传输运行图

2. 功能验证

2.1. 运行纯文本大模型Demo（LLM）

测试指令：运行纯文本大模型Demo（LLM）

rkai_LLM_Demo --config /usr/share/app_conf/config/rkai_cfg.ini

图2-1 LLM运行图

2.2. 运行单张图片视觉理解Demo

测试指令：

rkai_VLM_Vision_Demo --model /userdata/rkai/models/fastvlm-0.5b-fp16.rv1126b.rknn --image /userdata/rkai/inputs/demo.jpg

参数说明：

- `--model`：指定RKNN模型文件路径（已拷贝至`/userdata/rkai/models/`）

- `--image`：指定待推理图片路径（示例图片为`demo.jpg`）

图2-2 VLM 运行图

2.3. 运行标准视觉语言模型Demo（VLM）

测试指令：

rkai_VLM_Demo --config /usr/share/app_conf/config/rkai_cfg.ini

图2-3 VLM 运行图