易百纳玄武S3_runtime_demo示例部署指南_专栏

硬件平台：易百纳玄武S3

简介

本文主要介绍runtime_demo示例的交叉编译、板端部署与运行验证方法。该示例基于玄武S3（RK3588+双RK182X）平台，提供一组RKNN3运行时与NPU设备的基础自检、性能压测与LLM推理程序，用于快速验证NPU驱动、运行时库、内存管理、多核并发、零拷贝通路及LLM推理链路的可用性与性能。

示例功能：

rknn3_memory_dump：设备枚举与基础连通性自检，验证NPU驱动和运行时库是否正常（无需模型）；
rknn3_multithread_test、rknn3_multithread_memalloc_test：多实例多核并发推理压测，测NPU吞吐（FPS）与单次推理耗时、内存管理稳定性；
rknn3_model_pipeline_test：按YAML配置跑多模型流水线调度（支持rknn3/rknn2/LLM后端）；
rknn3_zerocopy_test：DMA零拷贝输入通路测试，验证免拷贝推理；
rknn3_session_pause_test：LLM交互对话测试，重点验证会话暂停/恢复能力；
rknn3_stream_load_test：模型流式分块加载测试，可带LLM模式做文本生成。

整体流程分为三步：

在PC（x86编译服务器）上交叉编译，生成install部署目录；
将install目录推送到板端/userdata/并重命名为runtime_demo，再推送示例模型models目录；
在板端（或者编译服务器连接板端后）执行bin/目录下的示例程序并验证输出。

环境准备

项目	说明
编译环境	x86 Linux 编译服务器
SDK	RK182X SDK（网盘资料：【易百纳】玄武S3边缘计算AI终端_V2.0中的rk182x_ai_release.tar.gz）
交叉编译工具链	`aarch64-none-linux-gnu`（toolchain）
示例模型	Qwen3-0.6B（从<【易百纳】RK182X_模型文件>网盘资料获取）
目标板	玄武S3边缘计算AI终端（Debian 13，RK3588+RK182X）

编译构建

编译步骤

在PC的SDK示例源码目录<RK182X SDK>/examples/runtime_demo下执行：

cd <RK182X SDK>/examples/runtime_demo    
export GCC_COMPILER=/<toolchain实际路径>/toolchain/aarch64-none-linux-gnu/bin/aarch64-none-linux-gnu    //指定交叉编译器（路径以本机实际位置为准）
./build.sh    //执行编译

说明：

GCC_COMPILER 指定交叉编译器前缀，工具链为 toolchain；
build.sh 编译产物输出到 <RK182X SDK>/examples/runtime_demo/install，即后文推送至板端的目录。

部署到开发板

推送程序包

将编译出来的 install 目录拷贝到板端 /userdata/ 目录下，并重命名为 runtime_demo：

adb push <\RK182X SDK\examples\runtime_demo\install>  /userdata    
mv install runtime_demo    //板端重命名为runtime_demo

部署示例模型

本示例用Qwen3-0.6B模型作为演示。将资料中models目录拷贝到板端/userdata/runtime_demo目录下：

adb push <models实际路径> /userdata/runtime_demo

部署完成后板端目录结构示意：

/userdata/runtime_demo
├── bin/
├── lib/
└── models/
    └── Qwen3-0.6B/

板端运行与效果验证

/userdata/runtime_demo/bin目录下包含多个可执行程序：

易百纳社区

各二进制文件用途如下：

二进制文件	用途
`rknn3_memory_dump`	设备枚举与基础连通性自检，验证NPU驱动和运行时库是否正常（无需模型）
`rknn3_multithread_test`	多实例多核并发推理压测，测NPU吞吐（FPS）和单次推理耗时
`rknn3_multithread_memalloc_test`	同上，但每轮推理重新分配/释放内存，测内存管理稳定性
`rknn3_model_pipeline_test`	按YAML配置跑多模型流水线调度（支持rknn3/rknn2/LLM后端）
`rknn3_zerocopy_test`	DMA零拷贝输入通路测试，验证免拷贝推理
`rknn3_session_pause_test`	LLM交互对话测试，重点验证会话暂停/恢复能力
`rknn3_stream_load_test`	模型流式分块加载测试，可带LLM模式做文本生成

下面以与LLM相关的三个程序作为演示：

cd /userdata/runtime_demo
export LD_LIBRARY_PATH=/userdata/runtime_demo/lib:$LD_LIBRARY_PATH    //指定私有库搜索路径
M=/userdata/runtime_demo/models/Qwen3-0.6B/Qwen3-0.6B    //模型文件路径前缀

设备枚举/基础连通性测试：

cd /userdata/runtime_demo
chmod +x bin/*    //赋予可执行权限
./bin/rknn3_memory_dump

输出如下，可见枚举到1个RK182X设备（transfer_type=PCIE）及各NPU节点的内存信息：

易百纳社区

LLM对话+暂停/恢复

./bin/rknn3_session_pause_test \
    ${M}.rknn ${M}.weight ${M}.tokenizer.gguf ${M}.embed.bin 0xff

输出如下，程序按First run→call pause→Continue分段生成内容，可验证会话暂停/恢复能力：

易百纳社区

流式加载+文本生成

./bin/rknn3_stream_load_test \
    -m ${M}.rknn -w ${M}.weight \
    -t ${M}.tokenizer.gguf -e ${M}.embed.bin \
    -p "你好，请介绍一下你自己" -N 128

输出如下，包含Input/Output结果以及Prefill、Generate各阶段的耗时与吞吐统计：

易百纳社区

常见问题

提示找不到模型文件：确认models目录已推送到/userdata/runtime_demo下，且M变量的路径与实际模型文件前缀一致（${M}.rknn、${M}.weight等文件均存在）。
adb push后目录名不对：install推送到板端后需重命名为 runtime_demo，即执行mv install runtime_demo，否则后文的/userdata/runtime_demo路径均不成立。
设备枚举失败或节点数量异常：先确认RK182X驱动与固件已正常加载（ls/dev| grep rknn），再执行./bin/rknn3_memory_dump复测。
交叉编译报错找不到编译器：确认GCC_COMPILER指向正确的AArch64工具链bin目录（以aarch64-none-linux-gnu-前缀的gcc/g++存在）；工具链未解压完整则重新从Giteexuanwu_s3/toolchain 拉取。