HDR Imaging (5) - Image Composition

david 2022-01-20 09:00:14 6427

这是HDR Imaging系列的第五篇文章,之前我们介绍了几种HDR sensor的原理,不论是时域multi-exposure time,还是空域multi-sensitivity pixel或者multi conversion gain生成HDR,都是形成image exposure stack,进行multi-frame composition,从而生成HDR 图像,这一节我们就来介绍HDR image的生成过程,学术界一般叫HDR image fusion,工业界叫HDR composition,WDR frame stitching等等。

Frame compostion可以在linear domain,也可以在non-linear domain,我们以linear domain的frame composition为例。

Irradiance与pixel value

举例:Image sensor 输出3帧单曝光图像,曝光时间比为N, 形成如视频1所示的exposure stack。

3张图覆盖了从暗到亮的场景irradiance信息。

对于每个pixel位置x而言,它的irradiance, E可以用如下公式1-1表示:

Ii(x)是在第i个曝光图像位置X的像素值,Δti是其对应的曝光时间,Ne是n帧曝光。

w(Ii(x))是该像素的权重函数。

从这个公式我们一方面可以看出,HDR composition的目标,即更大地恢复原始场景的irradiance map(Lux_low ---Lux High)。

另一方面,从这个公式可以看出image composition的基本步骤:

1.像素值归一化Ii(x)/Δti, 这样不同曝光帧的像素才可以融合。

2.归一化之后的像素值与权重函数W相乘

3.对权重做归一化。

这里有两个假设,一是image stack没有发生位移的,如果前后帧图像存在位移,那么在图像融合的之前应该先做图像配置image Registration。第二个假设是图像是线性的,如果图像是非线性的,需要先对图像做线性化。

权重函数

假设image stack是没有位移的,而且是线性的,选择什么样的权重函数则是决定HDR composition的重要因素,不同的权重函数W会产生出不同的图像SNR和sensitivity。

有三个比较常用的权重函数W,如下图,蓝色曲线是DM(由Debevec和Malik提出),黄色曲线的由Robertson提出,红色曲线是由Mitsunaga和Nayar提出。

DM与R曲线都是中心权重,这样融合结果比较不容易出现错误,稳定可靠。MN曲线可以得到最大的SNR和sensitivity,但是会出现不稳定的情况。(工业界的做法比这三种权重函数要简化:Maver注)。

曝光帧数Ne是如何决定的?

决定Ne的有四个因素:场景动态范围,场景的亮度,sensor pixel的动态范围,pixel的noise profile,图像质量的倾向。

每个曝光得到的图像都表示采集一定的场景动态范围,假设单曝光图像为12bit raw图,它可以覆盖的动态范围是70dB,那么对于一个DR为120dB的场景,至少要3帧图像,曝光比为16,融合后才能达到120dB。

早期按照固定曝光比产生exposure stack的方法实现比较简单,但是并不能达到好的图像质量,根据场景实时计算曝光比与曝光帧数可以得到更好的效果。Stanford大学的Paper《Optimal Scheduling of Capture Times in a Multiple Capture Imaging System》提出以得到最大average SNR为目标的计算方法。Nvidia《Metering for Exposure Stacks》提出了一种以得到最大PSNR为目的的计算方法。

对于监控类的HDR ISP而言,大部分都是配合HDR sensor采用固定HDR帧数,曝光比实时计算产生以得到最佳的融合效果。

相机响应函数(CRF)

从HDR ISP的角度来说,获得的输入是raw图像,对于广义的图像处理而言,其处理对象经常是从相机拍摄到Jpeg图像,这些图像是经过Gamma,动态范围压缩这些非线性变换的,所以从Jpeg图像进行HDR image composition需要将图像做线性化处理,也就是要从Jpeg图反推出相机的non linear transform function :f。

这样公式1-1 加入线性化反变换函数f,即如下公式1-2:

f-1 即inverse CRF。

求导f-1 有两种方法,Debevec&Malik'smethod,如图a,Mitsunaga & Nayar's Method 如图b. 方法b可以用校准的方法或者更好的效果。

Matlab HDR toolbox 给出了RemoveCRF 函数,可以用方法a或者b 对exposure stack进行线性化处理。

图像去伪影(De-Ghost)

时域多帧HDR融合难免因为多帧图像内容的运动或者相机的移动产生Ghost。

相机的移动所产生的artefact会产生模糊的边缘,这种问题在HDR composition中叫Misalignment,如下图

图像内容的运动经过融合产生的伪影叫Ghost,如下图

Tursun 发表了一篇《THE STATE OF THE ART IN HDR DEGHOSTING AND AN OBJECTIVE HDR IMAGE DEGHOSTING QUALITY METRIC》论文,整理了homography alignment through feature detections, optical flow methods, patch synthesis-based methods, Markov random field-based approaches, 等方法。在这些方法中patch synthesis-based methods是最好的。

对于伪影比较敏感的应用,比如车载自动驾驶,机器视觉等应用,现在更多的采用sub/split pixel技术的HDR sensor,这类sensor采用空间多sensitivity HDR,完全没有时域多帧的motion artefact。(详情请看HDR imaging(3)--sub /split pixel HDR技术)

Image composition的流程:

如下图:

先把多曝光LDR(Low Dynamic Range)图像align,进行运动(motion)检测(有的叫ghost detection),没有运动的图像成分直接进入下边的分支:进行HDR composition,有运动的图像成分进行配准逻辑,根据一定的运动处理逻辑进行HDR composition,运动处理逻辑涉及根据硬件的成本,对于一般的ISP而言,往往会比较简化。最后把有运动和没有运动的部分assemble成为HDR image输出。

本文涉及到的论文已上传到大话成像技术论坛www.dahuachengxiang.com。

《大话成像》淘宝网店二维码,淘宝扫码直接进入

转载:全栈芯片工程师

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
david
红包 点赞 收藏 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
david
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区