易百纳玄武S3_digital_man示例部署指南

简介

本文主要介绍digital_man示例（端侧数字人）在Ebaina玄武S3边缘计算AI终端上的部署与运行验证方法。该示例基于玄武S3（RK3588+RK182X）平台：数字人算法运行在RK3588上，生成720×940@20FPS的数字人视频，经GStreamer MPP H.264硬编码后通过WebRTC（MediaMTX网关）推送到浏览器显示；数字人语音通过板端AO/ALSA声卡播放；聊天大模型则运行在RK182X上（配合rkllm3/web示例）。整个过程不需要HDMI/DSI显示器，无需外接屏幕。

示例功能：

• 数字人视频仅通过WebRTC在浏览器显示，语音仅通过板端声卡播放，音画分离输出；
• 支持测试脚本独立发送文本，验证语音播报与口型同步，不依赖大模型；
• 配合web示例与大模型对话联动，大模型回复的语音从板端音频接口输出，数字人视频实时显示在Web页面上；
• 多浏览器可同时观看同一数字人会话（共享会话）；

整体流程分为五步：

1. PC上交叉编译示例；
2. 将system、test目录推送到板端并执行安装；
3. 算法授权（数字人算法需授权后方可使用）；
4. 启动digital_man服务；
5. 部署Web程序并测试验证。

环境准备

说明：

• 数字人算法需向Rockchip申请ROCKDH SDK和digital_human算法授权账号后方可使用；
• 板端必须安装GStreamer运行插件（见部署章节的依赖检查），源码编译无需GStreamer开发头文件。

1. PC上交叉编译

在x86_64 Linux编译服务器上，进入示例源码目录执行编译：

cd <RK182X SDK>/examples/digital_man
export GCC_COMPILER=/<toolchain所在文件路径>/toolchain/aarch64-none-linux-gnu/bin/aarch64-none-linux-gnu
./build-linux.sh

toolchain下载地址：toolchain。

编译成功后生成build/、system/bin/、system/lib/、system/usr/目录，并将算法资源复制到system/userdata/DH/：

system/
├── bin/
│   └── rknn3_make_digital_man_demo    //数字人主程序
├── lib/                                //示例依赖的动态库（含自带ARM64 DRM库）
├── usr/
│   └── local/bin/
│       └── digital_man_mediamtx       //MediaMTX v1.18.2 WebRTC网关
├── service/                            //systemd服务文件（源文件，无需编译）
├── userdata/
│   ├── DH/                             //数字人算法资源、模型与授权工具
│   └── digital_man_web/                //编码脚本与MediaMTX配置（源文件）
└── install.sh                          //安装脚本（源文件）

2. 部署安装

推送目录到板端

将system、test目录拷贝至板端/userdata：

adb push <RK182X SDK\examples\digital_man\system>  /userdata
adb push <RK182X SDK\examples\digital_man\test>  /userdata

板端安装

在板端添加可执行权限并执行安装脚本：

# 板端执行
cd /userdata/system

chmod +x /userdata/system/usr/local/bin/*
chmod +x /userdata/system/bin/*
chmod +x /userdata/system/userdata/digital_man_web/*.sh
chmod +x rknn3_make_digital_man_demo
chmod +x ./install.sh

./install.sh all

说明：

• install.sh all会将bin、lib、usr、home、userdata下的文件安装到板端对应系统路径，并安装digital_man、digital_man_encoder、digital_man_media三个systemd服务；
• digital_man为主服务，digital_man_encoder.service（硬件编码）与digital_man_media.service（WebRTC网关）随主服务联动启停。

3. 算法授权

数字人算法需授权后方可使用，授权工具路径：/userdata/DH/rkauth_tool/Linux/aarch64/。首次使用需向Rockchip申请ROCKDH SDK和digital_human算法授权账号（账号密码向Rockchip获取，请勿外传）。

# 板端执行
cd /userdata/DH/rkauth_tool/Linux/aarch64/
sudo chmod +x ./rkauth_tool_bin

./rkauth_tool_bin -u <user> -p <password> \
    -m digital_human \
    -o /userdata/key_digital_human.lic

4. 运行

# 板端执行
systemctl start digital_man.service

启动成功后，digital_man主服务会联动拉起digital_man_encoder（硬件编码）与digital_man_media（WebRTC网关）两个关联服务。

服务管理命令：

# 启动服务（含编码与WebRTC网关联动启动）
systemctl start digital_man.service
# 停止服务（关联服务同步停止）
systemctl stop digital_man.service
# 重启服务
systemctl restart digital_man.service
# 查看三个服务状态
systemctl status digital_man digital_man_encoder digital_man_media --no-pager

5. 部署Web程序测试

（1）部署方式

可以再另起一个终端，参考《Ebaina玄武S3_web示例部署指南》部署Web服务和大模型。注意：digital_man目录下的web目录专门为数字人优化过，请使用digital_man目录下的web目录，部署过程与web示例完全一致。

部署完成后，在Web设置页面打开：开启数字人显示。

（2）测试方式

方式一：文本测试脚本

向数字人发送固定文本，验证语音播报和口型同步：

# 板端执行
cat > /tmp/digital_man_test.txt <<'EOF'
你好，我是数字人助手。现在正在测试语音播报和口型同步。一、二、三、四、五，测试结束。
EOF
python3 /userdata/test/send_chunks.py /tmp/digital_man_test.txt

执行后，语音会输出到指定音频输出接口，数字人视频会实时输出到Web上。

浏览器访问独立播放入口：

http://<开发板IP>:5000/digital_man

独立播放入口效果：访问http://<板端IP>:5000/digital_man，页面仅显示数字人视频，语音由板端声卡播放，此页面无需聊天模型。

本例为：http://192.168.1.168:5000，请替换为你板端的实际IP地址。

方式二：与大模型对话

在Web首页（http://<开发板IP>:5000）与大模型对话，大模型输出的语音会输出到指定音频输出接口，数字人视频会实时输出到Web上，并伴随回答内容做口型同步。

效果验证：Web首页左侧为数字人视频区域（真实<video>播放器，不再依赖本地硬件图层覆盖网页），右侧为场景示例区。大模型回答的同时，板端播放语音，数字人同步做口型：

以上两种测试方式都可以体现出数字人功能。

端口说明

常见问题

1. 浏览器看不到数字人视频：依次检查算法授权是否完成、AO音频设备是否初始化成功、GStreamer插件（尤其mpph264enc）是否齐全、局域网端口（18889/18189）是否可达；可在PC浏览器控制台查看WHEP请求错误。

2. 查看服务日志：

systemctl status digital_man digital_man_encoder digital_man_media --no-pager
journalctl -u digital_man -u digital_man_encoder -u digital_man_media -n 80 --no-pager

MediaMTX日志应出现1 track (H264)，浏览器接入后应出现peer connection established。

3. 视频比声音慢：浏览器视频存在网络延迟，可能稍晚于板端声音，本版本未加入音频延迟补偿，属正常现象。

4. 视频偶尔卡顿后恢复：视频消费者变慢时，程序会丢弃完整旧帧以限制排队；连接断开后会自动重建，无需手动干预。

5. 授权后仍提示未授权：确认/userdata/DH/rockx_auth_config.json中license_path与实际lic文件路径一致，并重启digital_man服务。