camera调试:RK3588 MIPI/DVP camera关键配置

camera调试:RK3588 MIPI/DVP camera关键配置 txp 2024-02-26 14:15:16 496

文章目录

前言

上一篇文章介绍了如何在RK3588上面点亮一个sensor,以MIPI camera IMX577为例进行介绍的,从前面的文章也知道,RK3588最多支持6路MIPI camera,一路DVP,因此这篇文章作为补充,分别介绍一下MIPI camera和DVP camera的配置重点。

一、常用camera接口介绍

按照不同的接口进行分类,常见的camera有:USBcamera、MIPI camera、DVP camera。

1、USB camera

USB Camera常见的数据格式有:YUYV/MJPEG/H.264 YUYV:传输的是YUV数据,数据量很大,分辨率和帧率较低,一般由后端对数据进行再处理,用于一些特殊用途(虹膜、红外人脸识别等)。MJPEG:一般用于分辨率相对较低的USB Camera(720P,VGA),传输数据较大。H.264:一般用于分辨率较高的USB Camera(1080p,720p),传输数据较小。

2、MIPI camera

MIPI为低压差分信号,传输速度快,抗干扰能力强,一般支持800万及以上像素的camera。目前主流手机camera模组都使用MIPI传输,传输时使用4对差分数据信号和1对差分时钟信号。

3、DVP camera

DVP Camera或称为并口Camera,接口如下图所示,一般支持BT601/BT656/BT1120数据的传输。DVP是并口传输,速度相对较慢,传输的带宽较低,一般用于500万像素以下的camera。需要使用PCLK时钟、VSYNC场同步、HSYNC行同步、D[0:11]并口数据,可以是8/10/12bit/16bit数据位大小。

二、RK3588 调试

1、概述

连接框图如下所示,这边简单介绍一下RK3588 camera配置的关键要点。

根据上述的结构图可以大概看出MIPI和DVP分别是如何连接的,关键点如下:

  • rk3588支持两个dcphy,节点名称分别为csi2_dcphy0/csi2_dcphy1。每个dcphy硬件支持RX/TX同时使用,对于camera输入使用的是RX。支持DPHY/CPHY协议复用;需要注意的是同一个dcphy的TX/RX只能同时使用DPHY或同时使用CPHY。

  • rk3588支持2个dphy硬件,这里我们称之为dphy0_hw/dphy1_hw,两个dphy硬件都可以工作在full mode 和split mode两种模式下。1. dphy0_hw 和 dphy1_hw

    • full mode:节点名称使用csi2_dphy0 和 csi2_dphy3,最多支持4 lane。

    • split mode:拆分成2个phy使用,分别为csi2_dphy1(使用0/1 lane)、csi2_dphy2(使用2/3 lane),dphy1_hw 则拆分成csi2_dphy4和csi2_dphy5,每个phy最多支持2 lane。

    • 当dphy0_hw使用full mode时,链路需要按照csi2_dphy1这条链路来配置,但是节点名称csi2_dphy1需要修改为csi2_dphy0,软件上是通过phy的序号来区分phy使用的模式。dphy1_hw同理。

  • 使用上述mipi phy节点,需要把对应的物理节点配置上;csi2_dcphy0_hw/csi2_dcphy1_hw/csi2_dphy0_hw/csi2_dphy1_hw

  • 每个mipi phy都需要一个csi2模块来解析mipi协议,节点名称分别mipi0_csi2~mipi5_csi2。

  • rk3588所有camera数据都需要通过vicap,再链接到isp。rk3588仅支持一个vicap硬件,这个vicap支持同时输入6路mipi phy,及一路dvp数据,所以我们将vicap分化成rkcif_mipi_lvds~rkcif_mipi_lvds5、rkcif_dvp等7个节点,各个节点的绑定关系需要严格按照框图的节点序号配置。

  • 每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。

  • rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。

  • 直通与回读模式:

    • 直通:指数据经过vicap采集,直接发送给isp处理,不存储到ddr。需要注意的是hdr直通时,只有短帧是真正的直通,长帧需要存在ddr,isp再从ddr读取。

    • 回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。

    • 再dts配置时,一个isp硬件,如果只配置一个虚拟节点,默认使用直通模式,如果配置了多个虚拟节点默认使用回读模式。

2、RK3588 MIPI配置

RK3588最多 情况下可以使用4个2lane,2个4lane的MIPI接口camera,关键配置注意如下:

驱动接口配置:

驱动主要注意g_mbus_config接口的配置,该接口需要配置使用的是DVP接口还是MIPI接口,是MIPI DPHY还是MIPI CPHY,例如IMX577配置为V4L2_MBUS_CSI2_DPHY;其次,若是MIPI接口,该接口还需要配置lane数,IMX577配置为4lane;最后还需要配置虚拟通道数,如IMX577,线性模式配置一个通道,HDR模式则需要配置两个通道,若是多路vc的

static int imx577_g_mbus_config(struct v4l2_subdev *sd, unsigned int pad,
    struct v4l2_mbus_config *config)
{
 struct imx577 *imx577 = to_imx577(sd);
 const struct imx577_mode *mode = imx577->cur_mode;
 u32 lane_num = imx577->bus_cfg.bus.mipi_csi2.num_data_lanes;
 u32 val = 0;

 val = 1 << (lane_num - 1) |
  V4L2_MBUS_CSI2_CHANNEL_0 |
  V4L2_MBUS_CSI2_CONTINUOUS_CLOCK;
 if (mode->hdr_mode != NO_HDR)
  val |= V4L2_MBUS_CSI2_CHANNEL_1;

 config->type = V4L2_MBUS_CSI2_DPHY;
 config->flags = val;

 return 0;
}

dts配置

dts配置可以参考上一篇文章的IMX577的配置,这边主要强调几个重点:

data-lanes:配置lane数,如果是4lane则为< 1 2 3 4 >,2lane则为< 1 2 >;

camera-module-name和camera-module-lens-name:RAW sensor跑aiq时会用到;

RAW sensor配置:sensor->csi2_dphy->mipi_csi->rkcif_mipi_lvds … rkcif_mipi_lvds_stdif->rkisp_vir

YUV/RGB888 sensor的配置:sensor->csi2_dphy->mipi_csi->rkcif_mipi_lvds

YUV或者RGB888的sensor,一般自带isp,直接输出YUV422的图像,不需要经过RK3588的isp,因此直接在vicap级存储到ddr即可。

3、RK3588 DVP camera

RK3588有一个DVP接口,支持BT601/BT656/BT1120等,同样的,如果是RAW的sensor,需要配置到ISP,如果是YUV的,则不需经过ISP,关键配置如下:

BT601接口:

BT601接口配置关键点:

hsync-active/vsync-active必须配置,用于v4l2框架异步注册识别BT601接口,若不配置会识别为BT656接口;

pclk-sample/bus-width可选;

必须在sensor驱动的g_mbus_config接口中,通过flag指明当前sensor的hsync-acitve/vsyncactive/pclk-ative的有效极性,否则会导致无法收到数据;

pinctrl需要引用对,以对bt601相关gpio做相应iomux,否则会导致无法收到数据;

驱动接口配置如下:

static int gc2145_g_mbus_config(struct v4l2_subdev *sd, unsigned int pad_id,
    struct v4l2_mbus_config *config)
{
 struct gc2145 *gc2145 = to_gc2145(sd);

  config->type = V4L2_MBUS_PARALLEL;
  config->flags = V4L2_MBUS_HSYNC_ACTIVE_HIGH |
    V4L2_MBUS_VSYNC_ACTIVE_LOW |
    V4L2_MBUS_PCLK_SAMPLE_RISING;

 return 0;
}

dts配置与BT656和BT1120基本相同,这里不再重复,参考下面BT656/BT1120即可;

BT656/BT1120:

配置关键点如下:

hsync-active/vsync-active不要配置,否则v4l2框架异步注册时会识别为BT601;

pclk-sample/bus-width可选;

必须在sensor驱动的g_mbus_config接口中,通过flag变量指明当前sensor的pclk-ative的有效极性,否则会导致无法收到数据;

必须实现v4l2_subdev_video_ops中的querystd接口,指明当前接口为ATSC接口,否则会导致无法收到数据;

必须实现RKMODULE_GET_BT656_MBUS_INFO,BT656/BT1120都是调用这个ioctl,接口兼容,实现参考drivers/media/i2c/nvp6158_drv/nvp6158_v4l2.c

pinctrl需要引用对,以对bt656/bt1120相关gpio做相应iomux,否则会导致无法收到数据。

g_mbus_config接口示例代码如下:

static int lt8619c_g_mbus_config(struct v4l2_subdev *sd, unsigned int pad,
        struct v4l2_mbus_config *cfg)
{
 struct lt8619c *lt8619c = to_lt8619c(sd);

 cfg->type = V4L2_MBUS_BT656;
 if (lt8619c->clk_ddrmode_en) {
  cfg->flags = RKMODULE_CAMERA_BT656_CHANNELS |
   V4L2_MBUS_PCLK_SAMPLE_RISING |
   V4L2_MBUS_PCLK_SAMPLE_FALLING;
 } else {
  cfg->flags = RKMODULE_CAMERA_BT656_CHANNELS |
   V4L2_MBUS_PCLK_SAMPLE_RISING;
 }

 return 0;
}

querystd接口示例如下:

static int lt8619c_querystd(struct v4l2_subdev *sd, v4l2_std_id *std)
{
 struct lt8619c *lt8619c = to_lt8619c(sd);

 if (lt8619c->yuv_output_mode == BT656_OUTPUT)
  *std = V4L2_STD_PAL;
 else
  *std = V4L2_STD_ATSC;

 return 0;
}

dts配置参考如下:

&i2c2 {
 status = "okay";
 pinctrl-names = "default";
 pinctrl-0 = <&i2c2m4_xfer>;

 nvp6158: nvp6158@30 {
  compatible = "nvp6158-v4l2";
  status = "okay";
  reg = <0x30>;
  clocks = <&cru CLK_CIFOUT_OUT>;
  clock-names = "xvclk";
  power-domains = <&power RK3588_PD_VI>;
  pinctrl-names = "default";
  pinctrl-0 = <&cif_clk &cif_dvp_clk &cif_dvp_bus8 &cif_dvp_bus16>;
  // pwr-gpios = <&gpio1 RK_PA6 GPIO_ACTIVE_HIGH>;
  pwr2-gpios = <&gpio1 RK_PA5 GPIO_ACTIVE_HIGH>;
  rst-gpios = <&gpio1 RK_PA3 GPIO_ACTIVE_HIGH>;
  // rst2-gpios = <&gpio3 RK_PC1 GPIO_ACTIVE_HIGH>;
  // pwdn-gpios = <&gpio1 RK_PA4 GPIO_ACTIVE_HIGH>;
  // pwdn2-gpios = <&gpio4 RK_PA6 GPIO_ACTIVE_HIGH>;
  rockchip,camera-module-index = <0>;
  rockchip,camera-module-facing = "back";
  rockchip,camera-module-name = "default";
  rockchip,camera-module-lens-name = "default";
  rockchip,dvp_mode = "BT1120"; //BT656 or BT1120 or BT656_TEST
  rockchip,channel_nums = <4>; //channel nums, 1/2/4
  rockchip,dual_edge = <1>; // pclk dual edge, 0/1
  rockchip,default_rect= <1920 1080>; // default resolution
  port {
   nvp6158_out: endpoint {
    remote-endpoint = <&dvp_in_bcam1>;
   };
  };
 };
};

&rkcif {
 status = "okay";
};

&rkcif_dvp {
 status = "okay";
 ports {
  #address-cells = <1>;
  #size-cells = <0>;

  port@0 {
   #address-cells = <1>;
   #size-cells = <0>;
   /* Parallel bus endpoint */
   dvp_in_bcam1: endpoint@1 {
    reg = <1>;
    remote-endpoint = <&nvp6158_out>;
    bus-width = <16>;
   };
  };
 };
};

&rkcif_mmu {
 status = "okay";
};

同样的,dts配置中,如果是YUV的sensor,则只需要上述配置,连接到rkcif_dvp节点即可,如果是RAW的sensor,则需要添加rkcif_dvp_sditf节点,并连接到rkisp_vir的节点。

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
txp
红包 1 收藏 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
txp
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区