易百纳玄武S3_ai_hub示例部署指南

硬件：易百纳玄武S3

一、简介

AI Hub（应用名称为AI Hub）是运行在RK3588+RK182X边缘平台上的统一网页推理入口，面向LLM、VLM、CNN、Embedding及音频模型的本地推理与性能测试。它自动发现/userdata/models下的模型，并调用板端RKNN3示例程序完成推理，运行阶段不依赖互联网。

示例功能：

• LLM对话与文本生成（如Qwen3-0.6B）；
• VLM视觉理解（图像/视频帧理解）；
• CNN图像分类与目标检测推理；
• Embedding向量嵌入；
• 统一Web前端，默认监听5000，支持同一局域网内PC直接访问。

整体流程分为五步：

1. 在PC（x86编译服务器）上交叉编译并打包生成ai-hub_0.1.1_arm64.deb；
2. 将deb包推送到板端/userdata并安装；
3. 将模型文件按LLM放置到/userdata/models；
4. 启动ai-hub.service服务；
5. 浏览器访问Web页面验证（端口5000）。

二、环境准备

三、编译打包

在PC的<RK182X SDK>/examples/ai_hub目录下执行：

cd <RK182X SDK>/examples/ai_hub    //进入ai_hub源码目录
export GCC_COMPILER=/···/toolchain/aarch64-none-linux-gnu/bin/aarch64-none-linux-gnu    //指定交叉编译器
./scripts/build-deb.sh    //执行打包

将编译出来的ai-hub_0.1.1_arm64.deb拷贝到开发板：

adb push <SDK>/deb/ai-hub_0.1.1_arm64.deb /userdata    

四、部署到开发板

安装deb包

apt update    //更新软件源
apt install python3-flask-cors python3-numpy python3-pil python3-websockets    //安装Python运行依赖
dpkg -i /userdata/ai-hub_0.1.1_arm64.deb    //安装AI Hub deb包

放置模型文件

在板端/userdata/models目录下需包含 LLM、VLM、CNN、Embedding 四个子目录，子目录下放置对应的模型文件：

/userdata/models
├── LLM/
├── VLM/
├── CNN/
└── Embedding/

本示例以LLM/Qwen3-0.6B模型演示，可将LLM目录直接拷贝到/userdata/models。

adb push <模型文件LLM> /userdata/models    //推送到板端/userdata/models

五、板端运行与效果验证

启动服务

cd /userdata    
systemctl start ai-hub.service    //启动AI Hub服务

启动成功后，AI Hub网页默认监听5000端口。可通过以下命令查看运行状态与日志：

systemctl status ai-hub    //查看服务状态
journalctl -u ai-hub -f    //实时查看日志

效果验证

服务启动后，在浏览器中访问：

http://<开发板IP>:5000

本例为：http://192.168.1.168:5000/（请替换为你板端的实际IP地址）。

打开后即可看到 AI Hub 页面：

Web首页（模型发现、选择模型）：

选择模型（如LLM/Qwen3-0.6B）后点击「开始测试」：

六、常见问题

1. 网页打不开（5000端口无响应）：检查systemctl status ai-hub是否正常、5000端口是否监听（ss -ltnp | grep 5000）及PC与板端网络是否互通。
2. 页面找不到模型：确认模型已按/userdata/models/{LLM,VLM,CNN,Embedding}目录结构放置，且子目录名正确。
3. 交叉编译报错找不到编译器：确认GCC_COMPILER指向正确的AArch64工具链bin目录（以aarch64-none-linux-gnu-前缀的gcc/g++存在）。