高动态范围的图像融合优化方法研究

本文针对高动态范围图像处理,提出了一种优化的基于图像分解的融合方法。采用小波分解和对数域变换,优化高动态范围(high dynamic range,HDR)图像的表示方式。引入小波系数的权重策略,通过对数域变换和小波系数加权,实现对图像融合过程的优化。通过Lytro多焦点图像数据集的验证,与传统方法相比,该方法在前景清晰背景模糊和前景模糊背景清晰等场景下表现更好。

基于一致性感知特征融合的高动态范围成像方法

高动态范围成像(High Dynamic Range Imaging,HDRI)技术是指通过融合多张低动态范围(Low Dynamic Range,LDR)图像拓展图像动态范围、完整图像内容的方法,其为解决由于相机传感器动态范围有限而导致所拍摄图像内容丢失的问题提供了实际的解决方案.通过数十年的研究,众多有效的HDRI方法已被提出,并在无物体运动、内容曝光良好的静态场景中取得接近最优的性能.然而,现实场景中物体移动和相机偏移无法避免,直接使用传统HDRI方法会在融合后的HDR图像中产生严重的重影和伪影.这使得仅包含简单融合过程的HDRI方法并不适用于实际应用,现实场景中的HDRI任务仍然具有一定挑战.因此,针对动态场景下的HDRI研究迅速发展.近期的方法集中在借助深度卷积神经网络(Convolutional Neural Network,CNN)的力量以期实现更好的性能.在这些基于CNN的方法中,特征融合对于恢复图像完整内容、消除图像伪影方面起着至关重要的作用.传统的特征融合方法通过借助跳跃连接或注意力模块,首先将LDR图像的特征进行拼接,并通过堆叠的卷积操作逐渐关注不同的局部特征.然而,此类方案通常忽略了LDR图像序列之间丰富的上下文依赖关系,且未充分利用特征之间的纹理一致性.为解决这一问题,本文提出了一种全新的一致性感知特征融合(Coherence-Aware Feature Aggregation,CAFA)方案,该方案在卷积过程中对输入特征中位于不同空间位置但具有相同上下文信息的特征信息进行采样,从而显式地将上下文一致性纳入特征融合中.基于CAFA,本文进一步提出了一种结合CAFA的动态场景下一致性感知高动态范围成像网络CAHDRNet.为更好地嵌合CAFA方案,本文通过设计三个额外的可学习模块来构建CAHDRNet.首先,使用基于在ImageNet上预训练的VGG-19构建可学习特征提取器,并在模型训练期间不断更新该特征提取器的参数.这种设计可实现LDR图像的联合特征学习,为CAFA中的上下文一致性评估奠定了坚实基础.接着,应用所提出的CAFA模块,通过在图像特征中采样具有相同上下文的信息进行特征融合.最后,本文提出使用一种多尺度残差补全模块来处理融合后的特征,利用不同扩张率进行特征学习,以实现更强大的特征表示并在图像缺失区域中进行可信细节填充.同时,设计一个软注意力模块来学习不同图像区域的重要性,以便在跳跃连接期间获得与参考图像互补的所需特征.多种实验验证了CAHDRNet的有效性并证实其优于现有最先进的方法.具体而言,本文所提出的CAHDRNet在Kalantari数据集上HDR-VDP-2和PSNR-L等指标相较于次好方法AHDRNet分别提升了1.61和0.68.

IMFs和改进GAN的两幅大曝光率比图像高动态融合

针对两幅大曝光率比图像高动态融合时颜色和明暗对比度失真的问题,提出一种IMFs和改进GAN的高动态融合算法。利用强度映射函数(IMFs)插值一张中间虚拟曝光图像;引入曝光感知补偿模块EACB提取可靠区域特征,设计改进GAN建模图像残差,定义渐进学习策略保证GAN稳定收敛,实现中间虚拟曝光图像增强;基于3张图像实现多尺度曝光融合。实验结果表明,针对曝光间隔4EV的高低曝光图像集,算法能有效抑制颜色和明暗度对比失真,保留纹理细节,客观指标MEF-SSIM优于经典MEF算法。

面向焊接场景的自适应权重高动态图像生成算法

为实现焊接过程实时监控,首先需要获取包含清晰焊缝信息的焊接过程图像。为了能够实时获取具有足够清晰度且包含充足的焊区信息的图像,提出了一种基于拉普拉斯金字塔多曝光融合的高动态图像生成的改进算法。以对比度、色彩饱和度和曝光良好度作为图像融合的3个指标,在图像金字塔上对不同尺度的图像信息进行分层融合,同时引入了强化学习对融合指标进行自适应调整,优化了图像融合权重的选取,并进行了实验验证。对经算法处理前后的焊接图像进行实验数据对比,结果显示,图像的信息熵、方差、平均梯度分别提高了59.7%、75.0%和83.1%,表明改进后的算法能得到的更清晰的焊接图像的纹理和细节,有效避免了弧光附近区域细节信息丢失的问题,更加有利于对焊接过程进行实时监控。

动态场景下深度自监督多曝光图像融合方法

近年来,面向动态场景的多曝光图像融合技术取得重大进展.其中,基于深度学习的方法在视觉效果和运算效率上都远超传统算法,成为高动态范围成像技术的主流.然而,现有基于深度学习的融合方法都以有监督学习的方式实现,过度依赖真值图像,难以被广泛应用于实际场景中.本文提出了一个基于深度自监督学习的动态多曝光图像融合网络,主要贡献包括:设计自监督的动态多曝光融合网络框架,探索高动态范围图像与低动态范围图像序列的内在关联;提出基于注意力机制的全局去伪影模块,使用全局文本模块减少动态融合产生的运动伪影,增强图像细节;提出融合重建模块,通过残差和稠密连接实现多层次特征之间的信息流动;设计运动掩膜引导的自监督损失函数,用于网络的高效训练.实验表明,与现有方法相比,本文提出的方法在高动态范围图像重建的主观和客观质量上均表现较好,运算效率显著提升.

高动态范围图像合成中相机响应函数的快速标定

针对高动态范围图像合成过程中相机响应函数标定速度低的问题,提出了一种快速有效的相机响应函数标定的方法.首先根据不同曝光度的图像在成像过程中场景照度保持一致的特性,提出构建一种新的最小平方代价函数,以降低相机响应函数标定方程组的维数;然后在保证标定方程组求解效率的前提下,根据不同曝光度图像的噪音分布,引入高斯加权函数,有效减小多曝光图像在高亮或过暗区域成像过程中引入的噪音,并利用稳健的QR分解算法提高标定方程组的求解速度;最后采用查表的方法,利用高斯加权函数完成场景照度的合成及相应的色调映射,得到能表现整个场景亮区和暗区细节的可视化图像.实验结果表明,与传统方法相比,本文算法在保证相机响应函数标定准确度的同时,具有计算量小、速度快的优点,可实现相机响应函数的快速标定,而且所获得的可视化图像主观效果有所提高,在便携式摄像设备上具有广泛的应用前景.

高动态范围视频的多曝光图像序列快速融合

使用多次曝光法进行高动态范围视频获取时,需要将多幅低动态范围(LDR)图像进行快速融合,并满足视频融合系统的实时性要求。本文提出了一种改进的快速多分辨率塔形分解融合算法,在不降低原有算法融合质量的前提下极大减少计算量。算法分别从金字塔分解卷积核、高斯系数扩展插值方法、拉普拉斯系数融合规则、高斯系数融合规则等方面进行改进,简化了塔形分解、融合和重构过程。该方法应用在某运载火箭视频采集系统中,实验结果表明,该改进算法稳定性强,融合质量高,并极大地减少了计算量,运算速度提高了10倍以上,在TMS320DM642DSP上一帧512×512图像的融合时间约为8.9ms,满足25fps高动态范围视频融合的实时性要求。

用于增强可视性的高动态范围红外图像融合

针对高动态范围(14 bit)红外图像融合后并不能直接用于显示的问题,设计了一种用于增强红外图像可视性的融合框架。利用数字全变分滤波器对图像分层处理,然后对每一层进行动态范围压缩,自适应的合成低动态范围图像(8 bit),再通过传统融合算法进行融合,得到可视性增强的低动态范围融合图像。实验结果表明,相较于目前已有的方法,该框架融合得到的信息量大,在增强对比度的同时能有效抑制噪声,明显改善融合图像的视觉效果。

基于局域加权叠加的高动态范围图像融合算法

针对成像传感器自身设备动态范围限制的问题,改进了基于相机响应曲线的多曝光图像融合方法。改变曝光时间,获得一组不同曝光度的图像,对高亮图像和低亮图像进行图像融合。首先直接基于图像像素值求解转换因子,简化了高亮图像与低亮图像像素比率因子曲线的运算,避免了对相机响应曲线的求解,通过比率因子将低亮图像中的像素值映射至高亮图像像素值范围,然后对图像进行局域加窗处理,根据高亮图像窗口内的像素饱和情况,划分出像素值完全过曝、不完全过曝和良好过曝三种情况。针对不同的曝光情况,根据高亮图像窗口内的邻域像素饱和情况,确定不同的权重系数进行多曝光加权融合。实验结果表明,局域加权叠加方法很好地保留了两幅图像中的暗部细节信息和高亮场景信息,并通过对比其他算法,融合图像的峰值信噪比和结构相似性均有提高。

基于相机响应曲线的高动态范围图像融合

高动态范围成像技术由于能够更加真实地再现成像目标及周围场景,在军事、航天等领域具有重要的研究价值。首先利用佳能1DC针对同一场景拍摄不同曝光量的序列图像,通过推导计算获得彩色图像各通道的相机响应曲线;然后通过建立图像灰度值与辐照度之间的照度映射获得一幅高动态范围的辐照度图像;其次利用基于双边滤波色调映射算法对获得的高动态范围图像进行压缩;最后通过基于镜面反射白平衡算法对图像进行色彩校正,从而获得拍摄场景的高动态范围图像。抽取不同帧数的实验拍摄图像对所提算法进行有效性验证,通过实验结果分析该算法实现高动态范围图像融合所需最少图像帧数为4帧。

一种去虚影的高动态范围图像融合算法

高动态范围（High Dynamic Range,HDR）成像技术能够获取更加贴近拍摄场景的高质量图像。基于多曝光图像序列进行融合得到HDR图像的算法常常会产生严重虚影现象。针对该问题,提出了一种高动态范围图像融合算法。该算法利用输入多曝光图像序列标定出逆相机响应函数曲线,利用它求响应图像,对响应图像进行配准,再结合标定的逆相机响应函数曲线及权重函数,进行HDR图像融合。结果表明,所提出的算法能有效地去除运动物体所带来的虚影影响,实现高动态范围图像融合。

极端曝光图像的多尺度分解细节感知融合算法

针对极端曝光(欠曝光和过曝光)图像动态范围低的问题,提出一种基于多尺度分解细节感知的图像融合算法。欠曝光图像经过细节增强后,与过曝光图像进行初步的粗融合;采用小波变换对细节增强后图像的亮度分量进行多尺度分解,并设计专门的高频和低频融合策略,实现亮度分量的精融合;将粗融合图像的色调、饱和度分量,与精融合图像的亮度分量重组,获得最终的融合结果。基于大量测试数据,实验结果表明所提方法在视觉效果方面表现优异,平均MEF-SSIM指标为0.9854,平均SSIM指标为0.6508,均优于现有主流算法。

用于高动态范围图像生成的CCD辐照度标定

为了使低动态范围（LDR）图像采集设备能够生成高动态范围（HDR）图像,研究了对同一场景进行多次曝光生成HDR图像的技术,提出了不苛求输入图像为低噪声的CCD辐照度标定方法.为避免参数个数过多导致参数求解偏离全局最优值,构建了大幅削减参数个数的能量函数,该能量函数由CCD辐照度响应曲线参数模型、残差惩罚函数、权重函数3部分组成;分别使用低拟合误差的EMoR参数模型、抑制图像高斯噪声的平方和残差惩罚函数、平衡图像噪声与截止域干扰的权重函数最优实现能量函数的各个部分,继而通过快速迭代和精确迭代相切换的Levenberg Marquardt （LM）算法最小化能量函数求解参数.实验结果表明,依据图像噪声大小和参数模型参数个数的不同,拟合响应曲线的均方根误差RMSE∈[0.0022,0.0163],精度提高了39％～90多,处理时间缩短了38％～56％,得到的HDR-LDR映射图更忠实地反映了LDR图像序列的色彩特征,且明暗细节清晰可见.

基于交叉皮质模型的高动态范围图像可视化方法

针对高动态范围图像(HDRI)在低动态范围显示设备上的可视化问题,提出基于交叉皮质模型(ICM)的色调映射算法,其在融入人类视觉特性的同时兼顾了全局亮度和局部细节保持.首先将线性热流(LHF)应用于向心自动波(CA)的实现,构成LHF-CA-ICM,以解决原有ICM自动波效应的负面影响;然后根据LFH-CA-ICM迭代过程,通过设计自适应S形函数将亮度信息从高动态范围向低动态范围映射,并进行基于直方图截取的后处理;最后在RGB空间恢复颜色信息.实验结果表明,该算法可以获得HDRI高视觉质量显示效果,能够再现真实场景的细节和丰富色彩,并有效地避免了光晕等人工效应.

多尺度细节融合的多曝光高动态图像重建

同一场景不同曝光的图像序列,常出现曝光不足或曝光过度的区域,造成高亮或阴暗处的细节损失。针对这一问题,提出的多尺度细节融合的多曝光高动态图像重建方法,根据图像的对比度、饱和度、适度曝光量等三个测度因子生成原始多曝光图像的权重图,对分解的权重高斯金字塔进行Dirichlet函数映射,保证信息丰富区域权值最大,通过拉普拉斯金字塔重建,使得融合图像所包含的细节信息最大化并且最大限度地减少失真。

基于多曝光的高动态范围全景图像合成

提出了一种合成高动态范围全景图像的方法。采用传统的多曝光算法,合理选择采样点,分别求取全景相机各子相机的响应曲线;再对不同子相机的响应曲线加权求得全景相机响应曲线;运用空间频率的方法选取一幅模板全景图像,从而完成高动态范围全景图像的合成。实验表明,合成的全景相机响应曲线可以较好地反映全景相机的特性,根据该曲线生成的高动态范围全景图像较好地展现场景细节信息。根据生成的高动态范围全景图像可获得真实场景的光照信息,以便完成虚拟物体的照明,实现虚实融合的光照一致性。

双能X射线高动态范围安检图像压缩算法

为使拥有高动态范围的双能X射线安检图像在普通显示器上显示时不丢失细节,提出了一种基于多尺度局部保边(local edge-preserving,LEP)滤波的自适应色调映射算法.该算法对原始图像进行多尺度LEP滤波,得到1个基础层和3个细节层.随后对基础层进行对数自适应色调映射,并对3个细节层进行Sigmoid函数自适应增强.将处理后的各层图像相加,并进行直方图均衡化调整以去除噪声、提高图像对比度.该算法同时对高、低能X射线图像进行处理,并在处理后根据高、低能图像各自的特点进行融合,最终得到保留丰富信息的低动态范围双能X射线图像.实验表明,该算法在信息熵、对比度提升指数及峰值信噪比三方面都有提高,能够有效改善图像质量.

基于亮度分区模糊融合的高动态范围成像算法

针对单幅图像生成高动态范围(HDR)图像进行直方图扩展时,造成的色彩失真、局部细节信息丢失的问题,提出了一种基于亮度分区融合的高动态范围图像成像算法。首先,提取正常曝光彩色图像的亮度分量,根据亮度阈值将亮度分成两个区间;然后,对两个区间的图像用改进的指数函数扩展其亮度范围,使得低亮度区域的亮度增加、范围扩大,高亮度区域的亮度减小、范围扩大,从而增大图像的整体对比度,保留色彩和细节信息;最后,将扩展后的图像和原始正常曝光的图像基于模糊逻辑的方法融合为高动态图像。分别从主观和客观两方面对所提算法进行了分析。实验结果表明,所提算法能够有效地扩展图像的亮度范围,并保持场景的颜色信息和细节信息,生成的图像视觉效果更佳。

基于局部细节增强的快速多曝光图像融合算法

当前基于细节增强机制的多曝光图像融合方法效率较低,针对此问题,提出一种基于局部细节增强的快速多曝光图像融合算法。首先,改进每幅图像待增强区域的划定方法;然后,采用快速局部拉普拉斯滤波(FLLF)提取待增强区域的细节信息,并根据采样插值原理对增强过程进行优化加速,减少计算局部拉普拉斯金字塔系数时的采样次数,避免细节过度增强的同时,进一步提高融合效率。对40组多曝光序列的融合质量和平均运行时间进行测试,并与5种代表性算法进行对比实验。结果表明,算法不仅保持超亮超暗区域的细节信息,而且视觉效果更加自然。算法的两种客观质量指标MEF-SSIM值和Q CB分别为0.942和0.441,在6种算法中分别排名第2和第1;运行时间比基于原始分辨率空间运算的最快方法Li2020减少了46.2%,具有较高的运行效率。

基于细节再现的高动态范围图像分层映射算法

针对当前映射算法中亮度的映射函数非适性而引起对比度过度压缩的问题,以及映射时亮度变化改变图像细节可见性的问题,提出了一种基于细节再现的高动态范围(HDR)图像分层映射算法。该算法采用视觉响应曲线作为基础层的映射函数,根据图像局部适应性亮度动态地映射亮度;同时,在Stevens效应的思想基础上依据映射前后亮度变化获得补偿系数,拉伸或压缩细节层。测试结果表明:该映射算法所得图像能正确再现更多的可见细节。