动态场景下深度自监督多曝光图像融合方法

近年来,面向动态场景的多曝光图像融合技术取得重大进展.其中,基于深度学习的方法在视觉效果和运算效率上都远超传统算法,成为高动态范围成像技术的主流.然而,现有基于深度学习的融合方法都以有监督学习的方式实现,过度依赖真值图像,难以被广泛应用于实际场景中.本文提出了一个基于深度自监督学习的动态多曝光图像融合网络,主要贡献包括:设计自监督的动态多曝光融合网络框架,探索高动态范围图像与低动态范围图像序列的内在关联;提出基于注意力机制的全局去伪影模块,使用全局文本模块减少动态融合产生的运动伪影,增强图像细节;提出融合重建模块,通过残差和稠密连接实现多层次特征之间的信息流动;设计运动掩膜引导的自监督损失函数,用于网络的高效训练.实验表明,与现有方法相比,本文提出的方法在高动态范围图像重建的主观和客观质量上均表现较好,运算效率显著提升.

基于自适应多曝光融合的高动态范围表面测量方法

为解决结构光测量高动态范围表面物体时出现局部过度曝光或曝光不足的问题,提出一种改进的多曝光融合方法,利用自适应曝光代替手动曝光,并对图像融合过程进行优化。首先,将初始曝光时间下拍摄的图像利用直方图进行分析,将被测物体表面反射率不同的区域分为若干组,分别计算出每个组别的最佳曝光时间;在此基础上,拍摄不同组别对应最佳曝光时间下投射白光和条纹的图像,并去除图像中超过设定阈值的高灰度值区域,再将投射白光处理后的图像制作成掩模图,与相同曝光时间下投射条纹处理后的图像相乘,进而对多组相乘后的图像进行亮度压缩与融合;最后,通过CLAHE算法提高融合后所生成条纹图的对比度与清晰度,并对条纹解相后进行点云重建和尺寸测量。实验结果表明:文中方法中自适应曝光相较于手动曝光具有高效性和准确性,U型卡、连接块、圆盘三个高动态范围表面物体的点云重建率分别高达99.98%、99.74%、99.76%,测量出的标准块阶梯高度差绝对误差为0.062 mm,相对误差仅为0.69%,该方法有效解决了高动态范围表面物体测量时点云缺失的问题,提高了三维轮廓的测量精度。

基于模拟多曝光融合的低照度行人动作图像增强处理设计

为提高低照度行人动作图像的自然性亮度和清晰度、降低失真率,设计了基于模拟多曝光融合的低照度行人动作图像增强处理方法。以提高图像可视化质量为目标,生成过曝光与中等曝光行人动作图像;利用模拟多曝光融合技术实现对图像的多尺度融合处理;在增强图像的光照分量后,对图像实施噪声过滤,并完成细节增强处理。对比实验表明:新方法可以使低照度行人动作图像保持良好的自然性亮度和清晰度,失真率也得到了有效控制。

一种融合多曝光图像的监控场景分割模型HDR-PSPNet

针对传统语义分割模型对监控场景下具有不同明亮程度图像分割效果不佳的问题,提出了一种融合多曝光图像的监控场景分割模型HDR-PSPNet.此模型通过融合多张不同曝光时间的图像实现数据增强,使用空洞卷积替代金字塔池化模块来保障特征图具有相同的分辨率,同时使用编解码结构增强图像底层特征的提取能力.通过基于自建新疆某水库监控图像数据集的实验结果可知,HDR-PSPNet相较于FCN、PSPNet和DeepLabv3,y MPA指标分别增加了5.5%,1.6%和1.0%,x MIoU指标分别增加了6.4%,2.9%和2.1%,表明其在多曝光时间图像监控场景的分割上HDR-PSPNet效果优于FCN、PSPNet和DeepLabv3网络.

基于多曝光场景的新型电力图像配准技术

基于现有的图像配准技术,对电力图像拍摄时间差异所造成的曝光度不同而产生的图像配准误差大和配准效率提升难的问题,提出了一种基于电力图像去除亮度差异影响的边缘特征配准技术。通过提取图像的边缘信息,以产生二值化的效果图像代替原始图像进行旋转矩阵的计算,完成原始图像空间一致性调整,实现多曝光场景的新型电力图像配准技术,并通过一系列电力图像试验数据进行了验证。试验结果表明,所提的新型电力图像配准技术在配准效率方面较改进前的基于互相关信息配准方法提升了50%,配准精度达到了亚像素级别,配准方法鲁棒性更高。

基于多曝光融合与超分辨率的单图像阴影去除

在大多数自然图像中,当光源被遮挡时阴影就会出现。阴影去除的研究难点在于所设计的算法不仅关注阴影的去除,还要重建阴影覆盖下的背景亮度、色彩、以及纹理,同时保留非阴影覆盖区域不受影响。本文利用图像多曝光融合(MEF)与图像超分辨率(SR)联合成耦合反馈网络,处理单幅图像阴影去除问题。在ISTD+数据集上进行了大量的实验,证明在阴影去除效果和图像超分辨率重建效果上优于目前的先进方法。

细节增强的多曝光图像融合方法

针对基于权重图的多曝光图像融合方法存在序列图像中偏亮与偏暗区域获得的权重较低,导致融合图像高亮与黑暗区域细节丢失的问题,提出了一种细节增强的多曝光图像融合方法。将序列图像与基于权重图的融合图像进行小波分解,提取融合图像的低频分量和边缘区域高频分量并与序列图像非边缘区域高频分量融合,经小波逆变换得到细节增强的融合图像。实验选取9组经典多曝光图像序列,分别从主观比较和客观评价2个方面与9种多曝光图像融合算法进行对比。结果表明:该方法将空间域与频率域两类图像融合方法相结合,能有效解决融合图像高亮与黑暗区域细节丢失的问题,避免频率域图像融合方法易出现振铃现象的问题,融合图像真实自然、颜色饱满,使用本文方法得到融合图像的图像信息熵均值与图像梯度均值分别为7.6555和7.027 3,在10种多曝光图像融合算法中分别排名第一和第二。综合主观和客观评价结果,提出的方法优于9种对比方法。

基于Sigmoid函数拟合的多曝光图像直接融合算法

同一场景不同曝光的图像序列,常出现曝光不足或曝光过度的区域,造成高亮或阴暗处的细节损失。针对这一问题,提出了基于Sigmoid函数拟合的多曝光图像直接融合算法。该算法从同一场景不同曝光的LDR图像序列中提取每个像素位置亮度信息,利用视觉适应的S形曲线,建立亮度序列曲线的数学模型,给出像素最佳成像亮度值判别方法,避免了HDR图像重建和色调映射的复杂计算,快速合成直接在常规设备上显示的HDR图像。实验结果表明,该方法具有更高的计算效率,极大程度地保留了图像细节,并对运动目标和相机微小移动的影响具有良好的鲁棒性。

细节保留的多曝光图像融合

针对传统的多曝光图像融合算法存在的细节丟失严重和鬼影现象,提出了一种细节保留的多曝光图像融合算法。该算法首先计算曝光序列的3个特征指标:图像细节、曝光亮度和色彩信息,其中图像细节通过引导滤波计算,曝光亮度的权值由高斯方程分配,而曝光序列的色彩信息用色彩饱和度表示。然后,利用差分图和邻域相关系数检测多曝光序列中运动物体,利用3个特征指标和运动目标检测结果分别计算静态场景和动态场景的融合权值图。为了消除噪声的影响,采用递归滤波器来修正融合权值图。最后,采取加权融合的方式得到融合图像。选取10组不同的曝光序列,分别从主观和客观两方面与6种传统的融合算法进行了比较。实验结果表明,本文算法保留了丰富的细节信息,呈现出了更加生动自然的现实场景,并且有效去除了由运动物体产生的鬼影现象,效果优于其他比较算法,在静态场景和动态场景的曝光融合中都取得了好的效果。

高动态范围视频的多曝光图像序列快速融合

使用多次曝光法进行高动态范围视频获取时,需要将多幅低动态范围(LDR)图像进行快速融合,并满足视频融合系统的实时性要求。本文提出了一种改进的快速多分辨率塔形分解融合算法,在不降低原有算法融合质量的前提下极大减少计算量。算法分别从金字塔分解卷积核、高斯系数扩展插值方法、拉普拉斯系数融合规则、高斯系数融合规则等方面进行改进,简化了塔形分解、融合和重构过程。该方法应用在某运载火箭视频采集系统中,实验结果表明,该改进算法稳定性强,融合质量高,并极大地减少了计算量,运算速度提高了10倍以上,在TMS320DM642DSP上一帧512×512图像的融合时间约为8.9ms,满足25fps高动态范围视频融合的实时性要求。

基于质量度量与颜色校正的多曝光图像融合算法

针对当前多曝光图像融合过程的图像质量属性选择不当,易导致颜色失真与丢失细节等问题,设计了一种质量度量耦合颜色校正的多曝光图像融合算法。首先,选择3种最显著的图像质量属性(对比度、饱和度和亮度)作为度量方式;然后,利用线性组合将得到的3种质量属性进行成加权组合,并采用幂函数来控制每个属性的影响,将较低的权重值赋予曝光不足和曝光过度的像素,消除具有视觉效果不佳的像素,从而有效保留正常的曝光像素及其明亮的颜色与细节;随后,将不同曝光图像加权组合的特征进行Laplacian金字塔分解,经过归一化权重映射后,对其进行不同系数的多分尺度融合,完成多曝光图像融合。为了避免颜色失真与细节丢失,采用基于局部饱和度的颜色校正方法来改善图像质量。实验数据表明,与当前多曝光图像融合方案相比,所提算法具有更高的融合视觉质量,可以更好地保持图像细节和校正曝光融合图像的颜色。

基于金字塔变换的多曝光图像融合

在同一场景不同光线下得到的图像序列,常出现过曝光或曝光不足的现象,造成图像质量低,重要信息丢失。为解决这些问题,文中对拉普拉斯金字塔与梯度金字塔变换融合的方法进行了分析研究,后者增加了图像方向信息。在图像融合过程中,采用分块的方法,首先生成原始多曝光图像的权重图,再根据金字塔原理对权重图进行加权平均得到融合后图像。实验结果表明,该算法能够得到具有更多有用信息的高对比度的融合图像,融合效果良好,具有较好的实用价值。

多尺度细节融合的多曝光高动态图像重建

同一场景不同曝光的图像序列,常出现曝光不足或曝光过度的区域,造成高亮或阴暗处的细节损失。针对这一问题,提出的多尺度细节融合的多曝光高动态图像重建方法,根据图像的对比度、饱和度、适度曝光量等三个测度因子生成原始多曝光图像的权重图,对分解的权重高斯金字塔进行Dirichlet函数映射,保证信息丰富区域权值最大,通过拉普拉斯金字塔重建,使得融合图像所包含的细节信息最大化并且最大限度地减少失真。

基于多曝光的高动态范围全景图像合成

提出了一种合成高动态范围全景图像的方法。采用传统的多曝光算法,合理选择采样点,分别求取全景相机各子相机的响应曲线;再对不同子相机的响应曲线加权求得全景相机响应曲线;运用空间频率的方法选取一幅模板全景图像,从而完成高动态范围全景图像的合成。实验表明,合成的全景相机响应曲线可以较好地反映全景相机的特性,根据该曲线生成的高动态范围全景图像较好地展现场景细节信息。根据生成的高动态范围全景图像可获得真实场景的光照信息,以便完成虚拟物体的照明,实现虚实融合的光照一致性。

基于多曝光的焊接图像融合方法

在明弧焊接中,由于弧光的强烈干扰,常用的视觉系统难以获得清晰的图像,通过采集多曝光图像然后融合的方法可以解决这个问题。但是现有的多曝光图像融合方法没有针对焊接图像做相应的处理,致使图像中弧光干扰无法得到有效抑制。本文针对明弧焊接光强分布的特点,将图像划分为弧光区域和非弧光区域,使用图像熵评价和阈值处理的方法分别获得两个区域的权重图像,并使用高斯模糊权重图像的方法消除了加权融合时的拼接痕迹。非弧光区域的权重值是固定的从而无需重复计算,只需要对弧光区域进行高斯模糊,这样的处理方式能有效降低计算量。试验结果表明,该方法具有运算速度快的特点,能够获得细节丰富、视觉观感好的焊接融合图像。

基于Retinex理论的多曝光图像融合算法

多曝光图像融合技术是将一组场景相同但曝光程度不同的图像序列直接融合成为一幅含有更多场景细节信息的高质量图像。针对现有算法局部对比度差和色彩失真的问题,结合Retinex理论模型提出了一种新的多曝光图像融合算法。首先,基于Retinex理论模型,利用光照估计算法将曝光序列图像分为入射光分量序列和反射光分量序列,然后分别采用不同的融合方法对这两组序列进行处理。对于入射光分量,要保证场景的全局亮度的变化特性并且削弱过曝光和欠曝光区域的影响;而对于反射光分量,要采用适度曝光的评价参数来更好地保留场景的色彩及细节信息。分别从主观和客观两方面对所提算法进行了分析。实验结果表明,同传统基于图像域合成的算法相比,该算法在结构相似度(SSIM)上平均提升了1.7%,另外在图像色彩和局部细节上的处理效果更好。

基于导向滤波的鬼影消除多曝光图像融合

为解决传统多曝光融合算法存在光晕、细节丢失和鬼影消除不充分的问题,提出一种优化导向滤波的鬼影消除多曝光融合算法。为确保相似结构的像素存在相似的融合贡献,利用差分法和最大类间方差检测运动像素点;结合局部对比度、适当曝光度和色彩饱和度构建权重图;设计改进的导向滤波自适应地强化边缘区域,减少光晕,细化权重。实验结果表明,该算法在边缘相似性和图像清晰度评价中平均提升31%和17%,运行效率至少提高23%,有效去除了鬼影和光晕,呈现丰富的细节信息。

基于自适应分割的多曝光图像融合算法

针对传统多曝光图像融合存在颜色和细节信息保留不完整的问题,提出了一种新的基于自适应分割的多曝光图像融合算法。首先,采用超像素分割将输入图像分割为颜色一致的图像块,再利用结构分解将图像块分解为三个独立分量。根据各分量特点设计不同融合规则,以保留源图像中的颜色和细节信息。然后,采用引导滤波平滑各分量的权重图以及信号强度分量和亮度分量,有效地克服块效应缺陷,保留源图像中的边缘信息,减少伪影。最后,重构融合后的三个分量,得到最终的融合图像。实验结果表明,与传统的融合算法相比,所提算法在互信息(MI)上平均提升了53.6%、标准差(SD)上平均提升了24.0%。该算法能够有效地保留输入图像的颜色和细节纹理信息。

基于细节增强的多曝光图像融合算法

针对已有多曝光图像融合算法存在细节丢失的问题,提出一种基于细节增强的多曝光图像融合算法。为使图像细节更加清晰,构建三尺度融合框架;设计一种曝光亮度权重函数,结合图像饱和度及增强后的对比度,构建初始权重图;根据引导滤波计算最终权重图,在三尺度融合框架上进行加权融合。实验结果表明,与3种实验对比算法相比,该算法的融合结果能呈现更丰富的细节信息,在综合质量评价指标IL-NIQE上分别有平均8.95%、11.38%和21.2%左右的提升。

基于DCT变换的多曝光图像融合方法

针对普通相机拍摄图像中存在区域曝光问题,提出一种改进的基于离散余弦变换的多曝光图像融合算法。分别对同一场景的多幅不同曝光图像分块,并对每个小块进行离散余弦变换。对提取相应位置的低频系数平均加权,获取图像近似部分的融合分量;对高频系数基于区域标准差确定权重系数,根据权重系数的大小获取细节部分的融合分量。最后,通过反离散余弦变换获得较好质量的多曝光融合图像。仿真实验表明,该算法在提取低频系数为25%,高频系数为75%时,展现的图像细节信息更加丰富。