RV1126B-P芯片介绍

概述

RV1126B-P是一款面向机器视觉应用的高性能视觉处理器SoC，尤其适用于AI相关应用。

它基于四核ARM Cortex-A53 64位核心，该核心集成了NEON和FPU。每个核心都有32KB I-cache and 32KB D-cache，以及512KB的统一L2cache。NPU支持INT8/INT16混合操作，计算能力高达3.0Tops。此外，由于其强大的兼容性，基于TensorFlow/MXNet/PyTorch/caffe等一系列框架的网络模型可以轻松转换。

RV1126B-P引入了一款新一代完全基于硬件的最多12兆像素的ISP(图像信号处理器)和后置处理器。它实现了许多算法加速器，如HDR、3A、LSC、3DNR、2DNR、锐化、去雾、鱼眼校正、伽马校正、特征点检测等。此外，还引入了一款最多8兆像素的AI-ISP，作为对传统ISP的补充，

该AI-ISP提供了卓越的时空降噪性能以及增强的图像增强效果。通过与两个MIP ICSI(或LVDS/SubLVDS)和一个DVP(BT.601/BT.656/BT.1120)接口配合使用，用户能够构建一个系统，该系统能够同时从四个摄像头传感器接收视频数据。

嵌入RV1126B-P中的视频编码器支持H.265/H.264视频编码同时还支持多流编码。借助这一功能，来自摄像头的视频可以以高分辨率进行编码，并存储在本地内存中，同时还可以将另一段较低分辨率的视频传输到云存储。

RV1126B-P中的H.264/H.265视频解码器支持H.264和H.265的4Kp30。除了之前的高性能多媒体块外，RV1126B-P还包含丰富的音频、内存和其他外围接口，如I2C、SPI、PWM等。这些接口可以帮助用户将更多的传感器或其他外围设备集成到整个系统中，从而提高灵活性和可扩展性。

RV1126B-P配备高性能外部DRAM(DDR3/DDR3L/DDR4/LPDDR3/LPDDR4/4X)，能够支持高要求的内存带宽。

特性

应用处理器

• 四核ARM Cortex-A53
• 完整实现ARM架构v8-A指令集，支持ARMNeon高级SIMD
• 独立集成的Neon和FPU
• 32KB L1指令缓存和32 KBL1数据缓存
• 为Cortex-A53提供统一的512KBL2缓存
• 支持TrustZone技术
• 为CPU核心系统提供独立电源域，以支持根据不同应用场景实现内部电源开关和外部启停控制
• PD CPU2:第3个Cortex-A53+Neon+FPU+L1指令/数据缓存
• PDCPU3:第4代Cortex-A53+Neon+FPU+L1指令/数据缓存
• 一个独立的电压域以支持DVFS

视频编解码器

• 视频解码器
• H.264和H.265的实时解码
• 支持MMU
• H.265 HEVC/MVC 主配置文件 yuv420@L5.0 最高支持3840x2160@30fps
• H.264 AVC/MVC 主配置文件 yuv400/yuv420/yuv422@L5.1最高支持3840x2160@
• 30fps
• 视频编码器
• HEVC主配置文件，级别5.0高级版
• H.264 高级版，级别 5.0
• JPEG 基线模式
• 并行编码(HEVC+JPEG或H.264+JPEG)
• 支持最高12M@30fps
• 支持常见主码流，如3840x2160@30fps、1920x1080@30fps
• 码率最高可达200Mbps，支持CBR/BR/FixQP/QPMAP码率控制
• YUV420和YUV400流格式
• 切片分割
• 区域与块映射ROI
• 八区域OSD
• 链接表配置模式
• 支持带裁剪、旋转和镜像的YUV/RGB视频源
• 超低延迟编码
• 运动与遮挡检测
• 双参考帧搜索(HEVC)
• JPEG解码器
• 支持基线(DCT顺序)
• 支持JPEG文件交换格式(JFIF)1.02
• 支持图像尺寸从48x48到65536x65536
• 支持YUV400/YUV420/YUV422/YUV440/YUV411/YUV444

显示接口

• 支持最高达24位的MCU/RGB LCD接口
• 支持BT.656/BT.1120接口
• 支持4通道MIPI接口，每通道1.5Gbps
• 最大输出分辨率为1920x1080@60fps

视频输入接口

• MIPI接口
• 支持两个MIPICSI/LVDS/子LVDS DPHY
• 每个MIPIDPHYV1.2，支持4通道，每通道2.5Gbps
• 支持虚拟通道
• DVP接口
• 支持8/10/12/14/16位，最高可达150MHz I/O频率
• 支持BT.601/BT.656和BT.1120视频接口
• 支持像素时钟、hync、vsync极性可配置

图像信号处理器

• 视频采集(VICAP)
• 支持BT.601 RAW8/10/12/14 YCbCr 4:2:2 8位输入
• 支持BT.656 YCbCr 4:2:2 8位逐行/隔行输入
• 支持16-pins BT.1120 YCbCr 4:2:2 8位逐行/隔行输入
• 支持2/4混合BT.656/BT.1120 YCbCr 4:2:2输入
• 支持BT.656/BT.1120的双边采样
• 支持接收四组MIPI CSI/LVDS接口，每组最多四个ID
• 支持为每个ID配置VC/DT
• 支持十种MIPI CSI数据格式:RAW8/10/12/14/16，RGB888，YUV4228位，YUV4228位隔行扫描，YUV420 8位，传统YUV420 8位
• 支持三种MIPI CSI HDR模式:虚拟通道模式、识别码式、行计数器模式
• 支持四种LVDS数据格式:RAW8/10/12，YUV422 8位
• 支持RAW四舍五入处理
• 支持窗口裁剪
• 支持降低帧率
• 支持RAW数据的4/8/16/32倍下采样
• 支持RAW 2x2分档
• 支持从2x2图案提取像素
• 支持YUV422的UV平均下采样
• 支持RAW数据的紧凑/非紧凑输出格式
• 支持NV16/NV12/YUV400/YUYV输出格式用于YUV数据
• 支持写入DDR时的虚拟步长
• 支持DMA循环模式
• 支持DMA突发收集2/4/8
• 支持MMU
• 支持Qos(紧急/按压)
• 支持将RAW数据直接发送至ISP
• 图像信号处理(ISP)
• VICAP 输入:RX raw8/raw10/raw12/raw14/raw16
• 最大输入:12M@30fps
• 最小输入:264x264
• RGBIR:将去马赛克的RGB-IR图案还原为RGB模式
• 自动增强(AE)/直方图、自动对焦(AF)和自动白平衡(AWB)统计输出
• BLC:黑电平校正
• DPCC:静态/动态缺陷像素校正
• PDAF:相位检测自动对焦
• LSC:镜头阴影校正
• Bayer-3DNR:时间域Bayer原始噪声降低
• CAC:色差校正
• HDR-MGE:两帧合并至高动态范围
• EXPANDER:传感器扩展器
• GIC:绿不平衡校正
• HDR动态范围压缩:在RGB字段中进行HDR动态范围压缩与色调映射
• DeBayer:高级自适应去马赛克
• CCM/CSM:色彩校正矩阵，RGB转YUV
• 伽马:输出伽马校正
• 去雾/增强:自动去雾与效果增强
• 局部直方图:用于增强局部对比度的局部直方图
• HSV:色相、饱和度、亮度颜色调色板，供客户使用
• LDCH:水平方向镜头畸变校正
• YNR:在YUV域中进行空间亮度(Y)降噪
• CNR:YUV域中的空间色度(C)噪声降低
• 锐化:图像锐化与边界滤波
• 增益:图像局部增益
• 多传感器复用ISP，双传感器实现最大性能
• 总线接口:32位AHB配置，128位AXI读写
• 低功耗，每个模块自动门控
• MI R/W突发组以提高内存利用率
• MI:双通道输出，MP无级缩放，SP:1080p(宽度不超过1920)缩放
• 4x4 矩阵输出
• 在线模式:支持从VICAP的数据和发送至Encoder的数据，从ISP到VPSS、ISP到VPSL的数据传输
• 支持带AI-ISP路径的ISP2NPU，BAY3D输出IIR数据和增益数据至DDR，供NPU使用
• AI-ISP
• 操作模式
• 模式0:18x18卷积
• 模式1:24x24卷积
• 网络深度
• 单模式支持最多8层
• 组合模式支持最多16层
• 处理模式
• 单模式支持最多6个输入通道(通常为4个)
• 组合模式支持最多7个输入通道
• 通道控制
• 每个输入通道具有独立的使能控制
• 部分输入通道支持上采样和S2D操作
• 最大分辨率:支持最高4096X4096
• 支持最高8M@30fps性能
• 鱼眼校正(FEC)
• 输入模式和数据格式
• 光栅格式:YUV420SP
• 图块:YUV420
• 输出模式和数据格式
• 光栅格式:YUV420SP
• 图块:YUV420
• 帧缓冲区配置:YUV420
• 四分之一(至AVSP):YUV420
• 支持 32x16、16x8、4x4(仅支持低于4096x4096分辨率)密度
• 支持最高达4倍的降采样因子
• 输入分辨率 64x64~8160x8160
• 输出分辨率 64x64~8160x8160
• 性能将接近3840x2160，帧率为30fps，不同的网格会影响它
• 任意视图拼接处理器(AVSP)
• DCP输入模式和数据格式
• 光栅:YUV420SP
• 四分制:YUV420
• DCP输出模式和数据格式
• 光栅:YUV420SP
• 四分制:YUV420
• RCS输入模式和数据格式
• 四分制:YUV420
• RCS输出模式和数据格式
• 光栅:YUV420SP
• 图块:YUV420
• 功能块配置文件:YUV420
• 支持分辨率 64x64~1024x4096
• 支持波段编号 1~6
• 支持直接分解输出

串行音频接口(SAI)

• 支持3个SAI接口
• SAI0支持4个发送通道和4个接收通道
• SAI1支持1个发送通道和1个接收通道
• SAI2支持1个发送通道和3个接收通道
• 支持音频协议:I2S、PCM、TDM
• 支持最多128个插槽，可配置大小
• 支持插槽长度可配置为8至32位
• 支持插槽有效数据长度可配置为8至32位
• PDM
• 支持最多8个通道
• 支持分辨率从16位到24位
• 支持采样率最高达192kHz
• 支持PDM主收模式
• 支持增益控制
• ASRC
• 支持双通道ASRC
• 支持采样率和重采样率范围从8到384KHz
• 支持实时传输模式
• 支持内存读取模式

连接

• SDIO接口
• 兼容SDIO 3.0协议
• 4位数据总线宽度
• MAC 10/100/1000M以太网
• 支持一个以太网控制器
• 支持集成符合IEEE802.3/802.3u标准的10/100Mbps以太网PHY
• 支持RGMII接口的10/100/1000 Mbps数据传输速率
• 支持全双工和半双工操作
• 支持TCP分段卸载(TSO)和UDP分段卸载(USO)网络加速
• USB 2.0 Host
• 支持一个USB 2.0主机
• 兼容USB2.0规范
• 支持高速(480Mbps)、全速(12Mbps)和低速(1.5Mbps)模式
• 支持增强型主机控制器接口规范(EHCI)，版本1.0
• 支持开放主机控制器接口规范(OHCI)，版本1.0a
• USB 2.0 OTG
• 兼容规范
• 通用串行总线规范，版本2.0
• 通用串行总线(xHCI),可扩展主机控制器接口，版本1.1
• 支持控制/批量/中断/等时传输
• SPI接口
• 支持2个SPI控制器
• 支持双芯片选择输出
• 支持串行主从模式，软件可配置
• I2C主控器
• 支持6个12C主模式端口
• 支持7位和10位寻址模式
• 软件可编程时钟频率
• 12C总线上的数据在标准模式下最高可达每秒10万比特，快速模式下最高可达每秒40万比特，高速模式下最高可达每秒1兆比特。
• UART接口
• 支持8个UART端口
• 分别嵌入两个64字节FIFO用于TX和RX操作
• 支持5位、6位、7位、8位串行数据发送或接收
• 标准异步通信位，如起始、停止和校验位
• 支持不同的输入时钟以实现UART操作，最高可达4Mbps波特率
• 支持UART1至UART7的自动流控模式
• 支持UART1至UART7的RS-485功能
• PWM
• 支持4个PWM接口(PWM0至PWM3)，共28通道
• 支持输入捕获模式
• 支持连续模式和单次输出模式
• 支持两阶段频率分频工作时钟
• PWM0、PWM2~3支持8通道(CH0~CH7)，采用中断驱动操作
• PWM0、PWM2至PWM3支持双相计数器
• 只有PWM2支持通过查找表生成波形
• PWM1支持4通道(CH0~CH3)，采用中断驱动操作模式
• PWM1支持电源键捕获模式
• PWM1支持时钟频率计数器
• PWM1支持时钟计数器
• CAN接口
• 2个CAN端口
• 符合CAN和CAN FD规范
• 支持CAN标准和扩展帧
• 支持数据帧、远程帧、过载帧、错误帧和帧间隔
• 支持内部存储模式
• 支持协议异常事件