易百纳玄武S3_gstreamer示例部署指南

硬件平台：易百纳玄武S3

简介

本文主要介绍gstreamer示例在Ebaina玄武S3边缘计算AI终端上的部署与运行验证方法。该示例基于GStreamer插件框架，通过rknninfer、rknnpostprocess、rknnosd 三个插件串联成一条完整的推理流水线，调用RK182X协处理器（RKNN3）完成图像分类与目标检测，并把结果绘制到输出图片或视频上。

示例功能：

• 支持JPG图片与MP4视频两种输入，由脚本自动识别文件类型并组装Pipeline；
• 覆盖6个常用CNN模型：MobilenetV1、MobilenetV2、resnet50v2、yolov5s、yolov6s、yolov8s；
• 通过rknninfer插件完成RKNN3（RK182X）推理，可通过-2参数切换为RKNN2（本地NPU）运行；
• 通过rknnpostprocess插件加载后处理库，完成分类TopK或检测框NMS；
• 通过rknnosd 插件完成检测框与类别名称的OSD叠加；
• 支持输出结果到文件（-o），支持jpg/raw/rgb/yuv/nv12/mp4等输出格式；
• 提供-fps、-infer、-post、-mask 等调试参数，便于定位流水线上各环节的问题。

整体流程分为四步：

1. 将SDK中的gstreamer示例目录推送到板端/userdata；
2. 准备模型文件与测试图片，放到对应模型目录；
3. 安装gstreamer相关的RK182X补丁固件并重启；
4. 执行run_model.sh运行示例，回拉结果图片查看画框效果。

环境准备

目录结构

板端最终目录结构应如下：

/userdata/gstreamer/
├── MobilenetV1
│   ├── config.json
│   ├── labels.txt
│   ├── mobilenet_v1.rknn
│   └── mobilenet_v1.weight
├── MobilenetV2
│   ├── config.json
│   ├── labels.txt
│   ├── mobilenetv2-12.rknn
│   └── mobilenetv2-12.weight
├── resnet50v2
│   ├── config.json
│   ├── labels.txt
│   ├── resnet50-v2-7.rknn
│   └── resnet50-v2-7.weight
├── run_model.sh
├── yolov5s
│   ├── config.json
│   ├── detect_classes.txt
│   ├── yolov5s_rknn3.rknn
│   └── yolov5s_rknn3.weight
├── yolov6s
│   ├── config.json
│   ├── detect_classes.txt
│   ├── yolov6s_rknn3.rknn
│   └── yolov6s_rknn3.weight
└── yolov8s
    ├── config.json
    ├── detect_classes.txt
    ├── yolov8s_rknn3.rknn
    └── yolov8s_rknn3.weight

每个模型目录包含配置文件config.json（推理与后处理共用同一个JSON）以及用于 OSD标注类别名称的标签文件（labels.txt或detect_classes.txt）。

可在板端用tree查看（未安装时先sudo apt install -y tree）：

tree -L 2 /userdata/gstreamer

部署到开发板

1. 推送示例到板端

将整个gstreamer目录拷贝到板端/userdata目录下。

adb push <gstreamer> /userdata

gstreamer目录从资料网盘获取。

2.安装gstremer相关的rk182x补丁固件

cd /userdata/gstreamer/rk182x_firmware_patch
tar -xvf rknn3_rk182x_m2_installer_arm64.tgz
./install.sh
reboot

安装完成后必须重启开发板，插件与固件生效后再运行示例。

3. yolov5s目标检测（图片）与实验结果

cd /userdata/gstreamer/
chmod +x  run_model.sh
/userdata/gstreamer/run_model.sh \
    -i /userdata/gstreamer/bus.jpg \
    -c /userdata/gstreamer/yolov5s/config.json \
    -p /lib/libyolov5spostprocess.so \
    -o /tmp/out.jpg

在电脑上回拉结果图片并查看：

//退出板端，直接在cmd执行
adb pull /tmp/out.jpg C:\Users\Admin\Pictures

打开拉取到的 out.jpg，即可看到yolo推理后的画框结果图片：

相关代码

确认 rknn3 服务已正常运行（参考 Rockchip_RK182X_AI_Coprocessor_SDK_Quick_Start_CN.pdf）：

rknn-smi info

确认 GStreamer 插件已生效：

gst-inspect-1.0 rknninfer
gst-inspect-1.0 rknnpostprocess
gst-inspect-1.0 rknnosd

查看板端可用的后处理库：

ls /lib/*postprocess*

参数说明

/userdata/gstreamer/run_model.sh -help

常见问题

提示权限不足：运行前先执行chmod +x /userdata/gstreamer/run_model.sh。