标题不好起啊…最早我有个迷思, 觉得, 每个vi的通道, 只能对应一个下游通道, 可能是被这个图误导了: 起源是当我拿vdec当作输入的时候, 发现是不是并没有必要每个进来的包, 都在两个vdec通道做两次解码, 那不是有点傻么, 后来我在做rtsp+rknn的时候, 发现另一个问题, 如果把一个节点, 比如rkispp_scanle0, 跟rkispp_scale1, 都做1920x1080输

有一个想法, 就是把一些电影中的镜头, 拿出来, 作为某些自动设备输入源, 这样就可以使用广阔的资源, 来做硬件的内容提供者了… 先说一下环境, py37, media pipe, tf是cpu的版本, 因为我实在不知道怎么平衡torch跟tf, 因为media pipe是google的东西, 所以暂时只能用cpu做推理了, 好在速度也挺快, 30fps. 第一步, 通过pyautogui, 拿到

最近参加一个训练营, 项目是利用ai/cv来数串串香的竹签, 对视频中的竹签进行数数. 一句话就能说明白, 应用范围可以推广到数钢筋, 数芝麻, 数果子, 啥都行, 只要训练就行(ai方式) 大佬提醒, 这类应用有个专门APP干这个, 估计还不止一个, 效果那是罡罡的: 相当准确了. 但是要学习嘛, 拿来练练手, 挺好的.首先思路有两个, 一个是经过群里做CV的这位同学指教的: 我粗糙的测试

有需求要在1126用python, 并且当然, 要读摄像头, 折腾了半天. 首先, 从哪里拿数据?1126上面, 拿数据的设备节点有好个, raw数据读取的点, 就是VICAP设备节点,isp的尾端, 就是媒体节点为mainpath.ispp的尾端, 就是媒体节点为rk_ispp_scale0/rk_m_by_pass等区别是, VICAP是从摄像头直接取数据, 拿到的是raw数据, 张这样:

最近有个需求, 要求在rtsp流上加时间戳水印, 跟大家看到的所有监控视频录像一样, 都有一个时间戳, 表明录像产生的时间, 之前在海思的平台实现过, 结果发现在RK的平台, 这套东西…完全是红果果的抄袭海思… 左边是RK的, 右边是海思的. 所以搞得我有点信心了啊. 首先这里有几个概念, RGN就是Region的缩写, reqion就是区域的意思, 通常就是加水印, 时间戳之类.加水印的位置通常

最近有个活儿, 终于有机会细研究了一下rknn的后处理部分.如你所知, yolo模型有3个维度的输出: 其中一个如上图, 1x255x80x80, 80x80表示把640x640的图像输入分成了80x80个格子: 例如, 上面这个图, 首先会加灰边, 因为原图不到640x640, 宽度不够, 所以两边加上灰边, 然后每8个像素, 组成一个格子, 一共是80x80个格子, 后面称之为grid_c

上回书我们说到, rgn相当于一个透明层, 然后attach到venc的某个通道上, 就可以实现水印效果, 这类水印有几种用途,有的跟CCTV电视台台标一样,搞个logo上去, 属于不会动的, 从头到尾在一个固定位置,就行了, 那个很简单, 弄张bmp格式的图片即可, 有一种就是大家经常看到的时间戳, 每秒会刷新, 我这里所做的方法, 比较土鳖, 理论上有更新, 跟优秀的方法, 这里只是抛砖引玉哈

有个需求, 在海思平台, 把yuv图像, 转成rgb, 方便后续进行opencv的处理, 这个东西在RK的平台似乎很简单, 使用RGA就行, 但是居然在海思的平台, VPSS只能在YUV的各个分支格式中来回切换, 比如sp420转sp440之类 后来, 经人提醒才知道, 原来海思也是有硬件可以支持这种操作的, 就在海思的IVE里面, 而ive在mpp的文档中没有被提及, 所以一直以来, 我以为VP

一次满足多项需求.首先, 思路是, 使用ffmpeg解码本地mp4文件, 在无需任何其他改动的情况下, 就可以直接播放rtsp流, 这个是使用ffmpeg的好处.ffmpeg本身是c语言的, 所以需要编译成jni的库,https://note.youdao.com/s/6XeYftc具体过程在这里, 用windows/macOS, Ubuntu应该都是可以的, 因为NDK对应了所有的平台, 另外值

以前经常觉得resize你的图像成模型宽高, 送进去, 对推理精度影响不大, 最近发现, 还真的挺大.这里涉及一个概念, 就是letterbox. 因为我们的模型放入yolov5做推理的时候, 模型输入是640x640的正方形, 你需要把图片做一个预处理: 例如这张图比较宽, 那么有两种做法, 一种粗暴的, 直接跟揉面一样, 两边一夹: 这个就叫做resize, 就是直接变形成了640x640

YOLOV8现在可以直接通过命令行工具运行训练, 推理过程了, 简直傻瓜都能搞两下, 方法如下, 首先在新的conda环境安装ultralytics的包: pip install ultralytics 接着尝试使用yolov8n来简单做个推理: yolo task=detect mode=predict model=yolov8n.pt conf=0.25 source=some_pictur

这个你要是再不会, 你把板子咸鱼卖掉吧, 或者私信我, 卖给我…首先预备知识, 你要有一点点的C语言知识, ubuntu下面的交叉编译的经验包括linux的一些命令, 解压, ls, cd之类, 一点点就行. 新建一个ubuntu的虚拟机, 18lts64位的版本是ok的. 从客服那里要来sdk的网盘链接, 下载sdk, 本次使用的是rv1126_rv1109_linux_sdk_v1.8.0.

大家购买rv1126的开发板, 相信很大程度上希望能使用它的npu做边缘计算, 而不是简单当作一个IPC使用, 当你已经跑过了rknn的几个例程之后, 肯定想试试训练自己的样本,并部署到rv1126.首先我的训练环境是Windows10+MiniConda,直接去google一下mini conda, 并安装, 这部分没啥可说的.打开mini conda的命令行 没有设置环境的情况下, 前面是(b

有小伙伴说, 直接跑官方的代码跑不起来, 这里以vio代码为例, 说说怎么从源码编译海思的应用.首先环境是单摄GC2053, 接CSI1, 如下图:在sdk里面找到hi3516sdk/smp/a7_linux/mpp/sample/Makefile.param修改摄像头为你的摄像头型号, 比如GC2053SENSOR0_TYPE ?= G

折腾了大概一个星期, 最大的问题就是python的版本的问题.按照下面的步骤来, 不行的话, 你抽我…最重要感谢小蒋提示了我, 转模型要3.6, 训练要3.8, 顺这个这思路走.设计py36 跟py38切换, 所以最好弄个conda来方便你切换环境. 一般情况下, 你训练模型是在物理机的window上面, 就用windows安装conda, 具体安装方法百度一下, 我这里说说ubuntu的安装 u

还是那句话, 一步一个坑, 中间有多少坑我就不说了, 绝大部分问题跟py的版本有关系, 少部分跟之前的转码的脚本的问题, 好在现在都趟过去了, 如果你遇到模型转换的问题, 进来一步步走一遍, 不行的话, 你抽我… 接下来是戏核(hu)部分.. 准备好训练好的yolov5的pt文件,可以用Netron打开看看大概长啥样: 继续在py38的环境里面, 先转成onnx python export.py

处理好rknn之后, clone一下github上的rk的model_zoo最新的的版本. git clone https://github.com/airockchip/rknn_model_zoo.git 确认是最近的提交: 确定一下的确是最新的版本2022年11月16日更新的. 进入datasets/COCO目录, 下载量化用的coco图片. ~/rknn_model_zoo/$ cd d

首先, 根据文档, 接好摄像头, 我这个硬件是旧版本的, 两条线, 记住, 镜头朝上, fpc的金手指朝上, 如果发现接好电又开不了机, 说明接反了, 赶紧拔下来.然后下载固件, 刷这个固件基于rkmedia_vi_double_cameras_test.c 这个例程,&nbsp

很多人拿到3516的开发板编译第一个程序跑起来都有问题, 是因为有些参数需要调整, 趁着我的3516的视频还没出来, 先搞个3516的hello world吧. 首先拿vscode打开sdk的mpp文件夹, 找到sample/vio/ 就以这个vio的例程当作3516的起点吧, 因为它既可以输出到hdmi屏幕, 也可以编码并保存文件到本地.需要改的地方有一下几处: 修改smp目录下面的sampl