易百纳玄武S3_ai_media_base示例部署指南

硬件：易百纳玄武S3

简介

AIMediaBase（应用名称为AI Media Base）是运行在RK358 +RK1828边缘平台上的本地多媒体导入、AI分析与语义检索应用，面向行车记录仪、作业记录仪、运动DV、USB存储设备和本地媒体的边缘侧AI分析基站。它完成视频、图片和音频的导入、视觉理解、语义检索、语音识别、精彩剪辑和运动分析，运行阶段不依赖互联网。

示例功能：

• 视频导入与VLM视觉理解（摘要、标签、关键帧分析）；
• 音频导入与语音转写（Paraformer ASR）、AI摘要；
• 图片AI描述与语义检索（BGE向量嵌入）；
• USB导入、精彩剪辑、运动分析（YOLO11-Pose）；
• 单页Web前端，服务默认端口为8081，支持同一局域网内PC直接访问。

整体流程分为四步：

1. 在PC（x86编译服务器）上打包生成ai_media_base.zip；
2. 将压缩包推送到板端/userdata解压，并放置模型文件；
3. 在板端安装Python虚拟环境及依赖；
4. 启动服务并访问Web页面验证。

环境准备

PC上打包

在PC的<RK182X SDK>/applications/ai_media_base目录下执行：

./package.sh     //打包

打包后的文件在 /...ai_media_base/install/ai_media_base.zip：

部署到开发板

推送并解压程序包

将ai_media_base.zip拷贝到板端/userdata目录下解压：

adb push <ai_media_base.zip文件路径> /userdata
cd userdata
unzip ai_media_base.zip

放置模型文件

在板端创建示例目录，将所需模型放到板端/userdata/ai_media_base/目录下：

adb push <模型文件1，2...> /userdata/ai_media_base

板端安装环境

apt update
apt install python3-venv
apt install -y \
python3.13-dev gcc pkg-config libcairo2-dev libgirepository-2.0-dev \
gir1.2-gstreamer-1.0 gir1.2-gst-plugins-base-1.0

cd /userdata/ai_media_base
python3 -m venv .venv

# 先从官方CPU源安装PyTorch，避免选择带CUDA依赖的版本
.venv/bin/python -m pip install torch \
--index-url https://download.pytorch.org/whl/cpu

# 安装其他依赖，不锁定版本；不加--upgrade，复用满足要求的CPU版PyTorch
.venv/bin/python -m pip install \
-i https://pypi.tuna.tsinghua.edu.cn/simple \
uvicorn fastapi numpy python-multipart Pillow sentence-transformers

# 纯虚拟环境需要单独安装PyGObject，提供gi模块
.venv/bin/python -m pip install \
-i https://pypi.tuna.tsinghua.edu.cn/simple \
pycairo PyGObject

板端运行与效果验证

启动服务

cd /userdata/ai_media_base
.venv/bin/python main.py

启动成功输出如下（VLM就绪、媒体扫描完成）：

效果验证

服务启动后，在浏览器中访问：

http://<开发板IP>:8081/

本例为：http://192.168.1.168:8081/（请替换为你板端的实际IP地址）。

打开后即可看到 AIMediaBase（AI多媒体分析基站） 页面：

Web首页（设备状态、存储概览、AI分析队列）：

视频库（视频缩略图、标签与摘要）：

视频分析结果（摘要、关键帧分析、处理耗时）：

音频库（音频导入与批量分析）：

音频AI摘要与语音转写：

图片AI描述（VLM分析结果）：

结束运行

ctrl+c    //结束应用

常见问题

1. 图片分析提示VLM不可用：检查/tmp/rkllm.log和http://127.0.0.1:8092/v1/models；确认VLM启动参数包含--img-start、--img-end、--img-content（报错Failed to find modal start token即此问题）。
2. /api/health返回degraded：查看journalctl和/tmp/rkllm.log，检查8092端口及VLM六个模型文件是否齐全。
3. readonly database/status.json 无法写入：执行sudo chown -R 1000:1000/userdata/ai_media_base/data/。
4. ASR chunk failed：检查decoder_static.rknn、tokens.json、paraformer_demo 及平台动态库。
5. No module named rknnlite：安装与板端Python/RK3588 runtime匹配的 rknn-toolkit2-litewheel。
6. GStreamer抽帧/剪辑失败：用gst-inspect-1.0检查解码器、jpegenc、scenechange、mpph264enc是否可用。