瑞芯微RV1126——人脸识别框架分析

瑞芯微RV1126——人脸识别框架分析 2024-05-25 10:41:48 207

项目核心是在Linux平台上利用摄像头采集人脸,并进行人脸识别。这个项目使用的是FFMPEG+OPENCV+虹软框架完成。

  • FFMPEG的主要工作是负责采集摄像头的数据并把摄像头数据发送给opencv。

  • Opencv的主要工作则是把摄像头数据转换成矩阵数据。

  • 虹软的主要功能则是利用Opencv的数据进行数据检测和识别并且和人脸数据库进行比较,如果识别成功则显示这个人的姓名,并把数据显示出来。

1.虹软人脸识别

(1).初始化所有的固件,如虹软SDK的激活、sqlite3人脸数据库的初始化并存放到map

init_asfort_device函数是激活虹软SDK
init_face_data函数是把人脸识别库查询出来并存放到Map,Map的key是人脸的名称,Value是人脸的特征(特征是blob数据)

(2).初始化工作线程,这三个线程分别是视频采集线程、虹软识别线程、显示线程。这三个线程的关系如下图:

视频采集线程(read_camera_thread):利用FFMPEG去进行采集摄像头的数据,并把摄像头的YUV存放到缓存队列里面,这里的缓存队列使用的是AVFifoBuffer进行存储(操作的API是av_fifo_generic_write写入YUV数据)。

虹软识别线程(process_asfort_recognize_thread):从AVFifoBuffer队列里面取出YUV数据(操作的API是av_fifo_generic_read读取YUV数据)并利用OPENCV框架进行转换,转换完成之后,利用虹软人脸识别API进行识别操作。识别完成之后,则把识别结果存放到显示队列(putMatQueue)里面

视频显示线程(show_opencv_thread):从opencv_queue队列取出每一帧数据(getMatQueue操作)处理过后的数据,显示到播放器里面。

重点:这个项目重点在于多线程和队列的操作,一般一个大型的项目都需要用到多线程的操作。因为使用多线程能够充分利用CPU资源,并快速响应。这个项目使用了三个线程去处理,分别是视频采集线程、 虹软识别线程、 视频显示线程。而线程之间的通信则利用队列进行通信。

2.Rockx Face人脸识别流程

1.目前本项目用rockx_face框架进行人脸识别

本项目的流程是先初始化rv1126的输入设备节点还有HDR设备功能(HDR功能是因为我的设备需要开启HDR才能够正常显示,这个看具体的设备),还有VO设备节点(设备输出节点)。

1.1.VI设备的初始化:

VI_CHN_ATTRS vi_chn_attr;
vi_chn_attr.pcVideoNode = pDeviceName;
vi_chn_attr.u32Bufcnt = u32Bufcnt;
vi_chn_attr.u32Width =u32width;
vi_chn_attr.u32Height = u32Height;
vi_chn_attr.enPixFmt = IMAGE TYPE NV12;
vi_chn_attr.enBufType =VI_CHN_BUF_TYPE_MMAP;
vi_chn_attr.enWorkMode =VI_WORK_MODE_NORMAL;
ret =RK_MPI_VI_SetchnAttr(s32CamId, l,&vi_chn_attr);
ret |= RK_MPI_VI_Enablechn(s32camId, 1);
if(ret){
    printf("ERROR: create VI[o] error! ret=d\n",ret);
    return 0;
}

上述代码是VI设备的初始化操作,这里涉及的参数包括pcVideoNode(设备节点)、u32Width(长度)、u32Height(高度)、enPixFmt(像素类型)、enBufType(VI捕获视频缓冲区计数)、enWorkMode(VI通道工作模式)。

1.2.HDR设备的初始化:

rk_aiq_working_mode_t hdr mode = RK_AIQ_WORKING_MODE_NORMAL;
SAMPLE_COMM_ISP_Init(hdr_mode, RK_FALSE);
SAMPLE_COMM_ISP_Run();
SAMPLE_COMM_ISP_SetFrameRate(25);

if(poutPath){
    g_output_file = fopen(poutPath,"w");
    if(!g_output_file){
        printf("ERROR: open file:&s fail,exit\n", poutPath);
        return 0;
    }
}

上述代码则是启动HDR功能的流程代码,这里直接调用SAMPLE_COMM_ISP_Run API进行HDR功能的开启。

1.3. VO设备的初始化

VO_CHN_ATTR_S stVoAttr ={0};stVoAttr.pcDevNode ="/dev/dri/card";stVoAttr.emPlaneType = VO_PLANE_OVERLAY;stVoAttr.enImgType = IMAGE_TYPE_NV12;stVoAttr.u16Zpos = 0;stVoAttr.stImgRect.s32X = 0;stVoAttr.stImgRect.s32Y = 0;stVoAttr.stImgRect.u32Width = disp width;stVoAttr.stImgRect.u32Height = disp height;stVoAttr.stDispRect.s32X = 0;stVoAttr.stDispRect.s32Y = 0;stVoAttr.stDispRect.u32Width = disp width;stVoAttr.stDispRect.u32Height = disp height;ret = RK MPI Vo Createchn(0,&stVoAttr);if(ret){    printf("Create vo[0] failed! ret=%d\n", ret);    return -1;}

上述代码是VO设备的初始化,这里涉及的参数包括:pcDevNode(输出设备节点)、emPlaneType(视频输出图层类型)、enImgType(视频输出类型)、stImgRect(视频输入图像格式)、stDispRect(输出图层尺寸参数)。

2.初始化完成之后,则开启两个线程进行开发,分别是rockx_rga_vi_test_thread线程、rockx_process_vo_thread线程。

rockx_rga_vi_test_thread线程主要功能是,从rv1126摄像头数据拿到原始数据(NV12)数据,并利用rockx框架进行人脸检测、人脸识别、实时画框等操作。并把处理过后的原始数据存放到队列rockx_queue里面。

rockx_process_vo_thread线程的主要功能是,阻塞rockx_queue队列操作,等待数据的到来。当rockx_queue有数据来的时候,则把处理过后的数据传送给VO设备。

具体的看流程图:

3.YOLOV3目标识别说明

1.加载YOLOV3的文件,并把标签名称存放到容器里面

std::ifstream ifs(yolov3_model_file.c_str());
    if (!ifs.is_open())
    {
        std::cerr << "File " + yolov3_model_file + " not found";
        return -1;
    }
    std::string line;
    while (std::getline(ifs, line))
    {
        classes.push_back(line);
}

2.初始化工作线程,这三个线程分别是视频采集线程、yolov3识别线程、显示线程。这三个线程的关系如下图:

视频采集线程(read_camera_thread):利用FFMPEG去进行采集摄像头的数据,并把摄像头的YUV存放到缓存队列里面,这里的缓存队列使用的是AVFifoBuffer进行存储(操作的API是av_fifo_generic_write写入YUV数据)。

Yolov3识别线程(process_avframe_dnn_thread):从AVFifoBuffer队列里面取出YUV数据(操作的API是av_fifo_generic_read读取YUV数据)并利用OPENCV框架进行转换,转换完成之后,利用Opencv DNN API进行YOLOV3识别操作(具体的YOLOV3识别步骤非常复杂,后面会慢慢讲到)。识别完成之后,则把识别结果存放到显示队列(putMatQueue)里面.

视频显示线程(show_opencv_thread):从opencv_queue队列取出每一帧数据(getMatQueue操作)处理过后的数据,显示到播放器里面。

重点:这个项目重点在于多线程和队列的操作,一般一个大型的项目都需要用到多线程的操作。因为使用多线程能够充分利用CPU资源,并快速响应。这个项目使用了三个线程去处理,分别是视频采集线程、 YOLOV3识别线程、 视频显示线程。而线程之间的通信则利用队列进行通信。

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
红包 点赞 收藏 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区