易百纳玄武S3（RK3588+RK182X）端侧智能体（nanobot）示例部署指南

硬件平台：易百纳玄武S3

简介

本文主要介绍nanobot示例（端侧智能体）在Ebaina玄武S3边缘计算AI终端上的部署与对话验证方法。 nanobot和openclaw（小龙虾）都属于智能体（Agent）框架，可以部署在任意电脑上，配置好大模型API即可使用。将nanobot部署到玄武S3的意义在于：接的是玄武S3的端侧模型，而不是云模型——智能体的推理完全由板端RK182X上的本地大模型完成，这就是本示例要实现的功能点。

示例功能：

• 板端安装uv与nanobot，无需在PC上运行智能体；
• nanobot通过OpenAI兼容接口对接板端rkllm3-server（端侧模型推理服务）；
• 终端内直接与端侧模型对话，支持中文对话，全程不依赖云端大模型API；

整体流程分为七步：

1. 板端安装uv；
2. 板端安装nanobot；
3. 初始化nanobot；
4. 修改配置文件（对接端侧模型）；
5. nanobot打补丁；
6. 部署模型并启动rkllm3-server；
7. 运行nanobot agent进行对话验证。

环境准备

1. 安装uv

2. 安装nanobot

# 板端执行
uv tool install nanobot-ai==0.3.5

3. 初始化

# 板端执行
nanobot onboard

初始化完成后，配置文件生成在~/.nanobot/config.json。

4. 修改配置文件

使用nano编辑配置文件：没有nano需要执行apt update && apt install -y nano安装一下。

# 板端执行
nano ~/.nanobot/config.json

共需替换以下三处：

（1）model改为端侧模型名（模型名字可随意填）：

  ...
   "agents": {
     "defaults": {
       "model": "rkllm3/rknn" # 模型名字可随意填
     }
   }
 ...

（2）apiKey改为dummy（apiKey可随意填）；

（3）apiBase改为板端推理服务地址http://127.0.0.1:8080/v1（apiBase）：

 ...
   "providers": {
     "custom": {
       "apiKey": "dummy", # apiKey可随意填
       "apiBase": "http://127.0.0.1:8080/v1", # apibase
       "extraHeaders": null
     }
   },
  ...

修改完成后保存退出。

5. nanobot打补丁

rkllm3-server要求每个工具参数的schema必须有type，而nanobot手写的schema里只有description的参数就会导致500错误——给它补上"type": [...]即可：

# 板端执行
SELF=/root/.local/share/uv/tools/nanobot-ai/lib/python3.13/site-packages/nanobot/agent/tools/self.py
sudo sed -i 's|"value": {"description": "New value (for set).|"value": {"type": ["string", "integer", "number", "boolean"], "description": "New value (for set).|' $SELF

6. 部署模型并运行

在PC端将qwen3-4b-thinking.tgz拷贝至板端/userdata/models目录下进行解压：

# PC端执行
adb push <~\nanobot\qwen3-4b-thinking.tgz>  /userdata/models

# 板端执行
cd /userdata/models
tar -xvf qwen3-4b-thinking.tgz

cd /userdata/models/qwen3-4b-thinking
chmod +x run.sh
./run.sh

./run.sh执行后即在板端启动rkllm3-server端侧模型推理服务，保持该终端运行不要关闭。

7. 运行nanobot对话验证

打开另一个终端运行nanobot：

# 板端执行
nanobot agent

运行nanobot agent后进入对话界面，输入问题即可得到端侧模型的回复（全程板端推理，不经过云模型）：

也可以进行中文对话：

常见问题

1. 没有nano编辑器：执行apt update && apt install -y nano安装后再编辑~/.nanobot/config.json。
2. SSH登录执行nanobot agent报权限不足：nanobot agent需要root权限，执行sudo passwd给root用户设置密码后，用su root切换到root用户再运行。