易百纳玄武S3_web示例部署指南_专栏

硬件平台：易百纳玄武S3

易百纳社区

简介

本文主要介绍web示例（离线端侧大模型Web交互界面）在Ebaina玄武S3边缘计算AI终端上的部署与运行验证方法。该示例基于玄武S3（RK3588+RK182X）平台，通过Web页面调用板端rkllm3推理服务，实现完全离线的端侧大模型对话，并可对外提供OpenAI兼容接口。

示例功能：

Web页面提供对话交互界面，支持按教育、计算机技术、智能安防、健康医疗、智能交通、智能家居等分类的场景示例快捷提问；
页面底部下拉框可在多个模型之间切换，支持在板端同时部署多个模型；
配套rkllm3服务对外提供OpenAI兼容接口，可作为其他应用的推理后端。

本例为脚本化部署示例，无需交叉编译。整体流程分为四步：

将web程序与模型文件推送到板端/userdata；
板端执行install.sh安装依赖与系统服务；
通过run.sh启动服务；
浏览器访问Web页面验证推理效果。

环境准备

项目	说明
SDK	RK182X SDK（网盘资料：【易百纳】玄武S3边缘计算AI终端_V2.0中的rk182x_ai_release.tar.gz）
目标板	Ebaina玄武S3边缘计算AI终端（Debian 13，RK3588+RK182X）
模型与资料	Qwen3-0.6B（本例，亦支持Qwen2.5-3B等其他RKLLM模型），web程序（从<【易百纳】RK182X_模型文件>网盘资料获取）
网络	安装依赖阶段板端需联网，安装完成后可断开

说明：

本例所需资料（web程序、模型文件）均可从资料网盘获取。
网页部分资源需要从互联网下载，若板端不联网，网页可能显示不完整。

部署到开发板

推送程序与模型到板端

将web目录拷贝至板端/userdata目录下，将模型目录拷贝至板端/userdata/models目录下：

# PC端执行
adb push web /userdata
adb push Qwen3-0.6B /userdata/models

说明：

模型目录内需包含完整的模型文件，以Qwen2.5-3B为例：

板端安装环境

# 安装web依赖与系统服务
cd /userdata/web
chmod +x *.sh
./install.sh all

# 给模型服务脚本添加可执行权限
cd /userdata/models
chmod +x ./rkllm3_server.sh
chmod +x ./run_rkllm3_server.sh

说明：

install.sh all会安装软件依赖包并安装rkllm3、web系统服务，该过程需要网络支持，请保证板子在安装期间联网，安装完成后可以断开网络。
/userdata/web目录下的chmod +x *.sh不可省略，主要是给install.sh，run.sh权限，否则启动时模型服务脚本会因无执行权限而失败：

运行说明

启动应用

/userdata/web/run.sh start

服务管理命令

# 启动服务
# 等效于：systemctl start rkllm3 && systemctl start web，其他命令同理
/userdata/web/run.sh start
# 停止服务
/userdata/web/run.sh stop
# 重启服务
/userdata/web/run.sh restart
# 查看OpenAI服务状态
/userdata/web/run.sh status
# 开机自启
/userdata/web/run.sh enable
# 关闭开机自启
/userdata/web/run.sh disable

注：启动rkllm3服务之后，会长期占用RK1820资源，如果需要运行其他测试，请先停止服务。

查看日志

通过如下命令查看日志：

# 查看rkllm3推理服务日志
journalctl -u rkllm3 -f

# 查看web服务日志
journalctl -u web -f

访问服务

应用启动后，会自动调用浏览器打开网页；如果没有自动启动，也可以手动打开板端浏览器访问：

http://127.0.0.1:5000

示例中地址为：http://192.168.1.168:5000。

请将 192.168.1.168 替换为你板端的实际IP地址。

效果验证

打开页面后即可看到RK182X离线端侧大模型部署交互界面：

易百纳社区

左侧为对话区，底部输入框可输入问题，右下方下拉框用于切换当前模型（本例为Qwen3-0.6B.rknn）；
右侧为「场景示例」区域，按教育、计算机技术、智能安防、健康医疗、智能交通、智能家居等分类提供快捷提问。

点击场景示例中的问题（如"请解释一下相对论的基本概念"），模型开始推理并流式输出回答，页面底部同时显示本次推理的性能指标：

易百纳社区

常见问题

install: 无法创建普通文件 '/home/ebaina/Desktop/': 不是目录：该报错出现在创建桌面快捷方式环节。本示例通过Web方式访问，不依赖桌面图标，可以忽略。
网页打开后显示不完整：网页部分资源需要从互联网下载，请确认板端可联网。
页面模型下拉框中没有目标模型：确认模型目录已推送到/userdata/models下，且目录内模型文件齐全（.rknn、.weight、.tokenizer.gguf、.embed.bin），修改后需重启rkllm3服务或重启机器。
服务启动后网页无法访问：确认板端IP与访问地址一致，确认5000端口未被占用（ss -ltnp | grep 5000），并通过journalctl -u web -f查看web服务日志。