基于NSST和自适应稀疏表示的紫外光与可见光图像融合

针对紫外成像仪中紫外光图像与可见光图像的灰度值特点及传统的图像融合方法在图像融合时存在紫外光斑信息丢失的问题,提出一种基于非下采样剪切波变换(NSST)和自适应稀疏表示的紫外光与可见光图像融合方法。首先用NSST变换分解源图像,得到低频子带系数和高频子带系数;然后采用邻域标准偏差取大的融合规则融合低频子带系数,生成近似融合图像;根据自适应稀疏思想指导高频子带系数的融合;最后通过逆NSST变换重构得到融合图像。实验结果表明,该方法在保留可见光背景信息的基础上,很好地融合了紫外光斑信息,改善了图像的主观视觉质量,在客观评价指标上也有所提高。

基于目标增强与鼠群优化的红外与可见光图像融合算法

针对传统红外与可见光图像融合结果存在目标模糊、信息丢失问题,提出一种基于目标增强与鼠群优化的红外与可见光图像融合方法,记为TERSFuse。为了减少融合结果中原始图像细节信息丢失,分别构建了红外对比度增强模块和基于亮度感知的可见光图像增强模块;利用拉普拉斯金字塔变换对红外和可见光增强图像进行多尺度分解,从而得到对应的高、低频图像;为了使融合结果充分保留原始图像信息,分别采用“最大绝对值”规则对红外和可见光高频图像进行融合以及通过计算权重系数对低频图像进行融合;设计了基于鼠群优化的图像重构模块以实现高频图像和低频图像重构权重的自适应分配,进而提高融合图像的视觉效果。为了验证所提算法优势,与7种经典融合算法进行比较,实验结果表明所提算法不仅具有良好的视觉效果,而且融合图像能够保留原始图像丰富的边缘纹理和对比度信息。

基于自编码器的红外与可见光图像融合算法

针对目前红外与可见光图像融合过程中,图像特征提取不充分、中间层信息丢失以及融合图像细节不够清晰的问题,提出了一种基于自编码器的端到端图像融合网络结构。该网络由编码器、融合网络和解码器3部分组成。将高效通道注意力机制和混合注意力机制引入到编码器和融合网络中,利用卷积残差网络(convolutional residual network,CRN)基本块来提取并融合红外图像和可见光图像的基本特征,然后将融合后的特征图输入到解码器进行解码,重建出融合图像。选取目前具有典型代表性的5种方法在主客观方面进行对比。在客观方面,较第2名平均梯度、空间频率和视觉保真度分别提升了21%、10.2%、7.2%。在主观方面,融合后的图像目标清晰、细节突出、轮廓明显,符合人类视觉感受。

基于特征相似性的红外与可见光图像融合方法

单一图像无法全面描述目标的信息,实际应用价值低,针对当前红外与可见光图像融合方法存在的一些不足,如:融合质量差等,为了获得更加理想的红外与可见光图像融合效果,提出了基于特征相似性的红外与可见光图像融合方法。首先分析当前红外与可见光图像融合的研究进展,指出各种方法的局限性,然后采用红外图像和可见光图像,并对它们进行图像去噪、增强处理,采用卷积神经网络提取红外与可见光图像的特征,最后根据特征相似性进行红外与可见光图像融合,并对红外与可见光图像融合效果进行了测试,结果表明,本方法提升了红外与可见光图像融合质量,融合效果要明显优于其他红外与可见光图像融合方法。

基于大数据分析的可见光图像融合质量评价研究

在复杂可见光图像下图像融合质量受到遮挡和重叠等因素影响,需要进行图像融合质量评价优化设计,提出基于大数据分析的可见光图像融合质量评价模型,采用相应图像块之间的视觉特征提取方法建立可见光图像的深度立体匹配模型,将不同光照强下采集的图像像素值显示映射到嵌入特征空间中,完成预处理,构建可见光图像的动态像素大数据融合模型,通过端到端的视差融合估计实现对可见光图像的动态融合,采用超分辨重建方法获得真实配对图像,分析SR结果与LR图像中的相似内容,以特征级别的图像分布域反映可见光图像融合质量评价,实现可见光图像融合质量评价。仿真结果表明,采用该方法进行可见图像融合的匹配性能较好,图像的对比度、饱和度高,提高了可见光的成像质量,耗时为0.012 s,平均迭代次数为1.569,并且均方误差仅为1.071,总误差仅为4.646,该方法有效提高了图像融合质量的同时,提高了评估效果。

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于多层卷积的红外与可见光图像融合算法

针对复杂背景下纹理细节信息丢失、融合图像视觉感受较差等问题,提出了一种基于多层卷积的红外与可见光图像融合算法。该算法的网络框架分为编码器、解码器和融合网络3个部分。在编码器中引入高效通道注意力机制对源图像进行编码处理,融合多层卷积块、梯度卷积块、下采样卷积块以及卷积空间通道注意力机制等形成多层卷积融合网络(MCFN),通过该融合网络进行特征融合,利用解码器重建输出融合图像。选取了5种现有算法与所提算法用8种客观评价指标在两种数据集上进行比较,结果表明,所提算法融合后的图像目标突出、细节清晰、轮廓明显、指标提升显著,符合人体视觉感受。

基于预训练固定参数和深度特征调制的红外与可见光图像融合网络

为了更好地利用红外与可见光图像中互补的图像信息,得到符合人眼感知特性的融合图像,该文采用两阶段训练策略提出一种基于预训练固定参数和深度特征调制的红外与可见光图像融合网络(PDNet)。具体地,在自监督预训练阶段,以大量清晰的自然图像分别作为U型网络结构(UNet)的输入和输出,采用自编码器技术完成预训练。所获得编码器模块能有效提取输入图像的多尺度深度特征功能,而解码器模块则能将其重构为与输入图像差异极小的输出图像;在无监督融合训练阶段,将预训练编码器和解码器模块的网络参数保持固定不变,而在两者之间新增包含Transformer结构的融合模块。其中,Transformer结构中的多头自注意力机制能对编码器分别从红外和可见光图像提取到的深度特征权重进行合理分配,从而在多个尺度上将两者融合调制到自然图像深度特征的流型空间上来,进而保证融合特征经解码器重构后所获得融合图像的视觉感知效果。大量实验表明:与当前主流的融合模型(算法)相比,所提PDNet模型在多个客观评价指标方面具有显著优势,而在主观视觉评价上,也更符合人眼视觉感知特点。

基于AGF和CNN的红外与可见光图像融合

针对红外与可见光图像融合中出现的边缘模糊和细节丢失等问题,本文提出了一种基于交替引导滤波器(AGF)与掩膜引导卷积神经网络(CNN)的融合算法。首先,将源图像通过交替引导滤波分解为基础层与细节层;然后,将基础层通过能量属性的融合规则得到基础融合图像,细节层在基于掩膜引导的损失函数的指导下,通过卷积神经网络得到融合后的细节图像;最后,将基础融合图像与细节融合图像相加得到最终融合图像;实验结果表明,本文方法能够在突出显著热目标的同时保留丰富的背景边缘纹理信息,在客观评价指标上相较对比方法取得了更好的效果,证明了本文算法的优越性。

基于快速联合双边滤波器和改进PCNN的红外与可见光图像融合

针对红外与可见光图像融合结果中细节丢失、目标不显著和对比度低等问题,提出了一种结合快速联合双边滤波器(fast joint bilateral filter,FJBF)和改进脉冲耦合神经网络(pulse coupled neural network,PCNN)的红外与可见光图像融合方法,在保证融合图像质量的前提下有效提高运行效率。首先,利用快速联合双边滤波器对源图像进行分解;其次,为了更好地提取图像中显著结构和目标信息,针对基础层图像采用一种基于视觉显著图(visual significance map,VSM)的加权平均融合规则,针对细节层图像采用改进脉冲耦合神经网络模型进行融合,其中PCNN的所有参数都可以根据输入波段自适应调节;最后,将基础层融合图与细节层融合图叠加重构得到融合图像。实验结果表明,该方法提高了融合图像的效果,有效地保留了目标、背景细节和边缘等重要信息。

多尺度和卷积注意力相结合的红外与可见光图像融合

针对红外与可见光图像融合时,单一尺度特征提取不足、红外目标与可见光纹理细节丢失等问题,提出一种多尺度和卷积注意力相结合的红外与可见光图像融合算法。首先,设计多尺度特征提取模块和可变形卷积注意力模块相结合的编码器网络,多感受野提取红外与可见光图像的重要特征信息。然后,采用基于空间和通道双注意力机制的融合策略,进一步融合红外和可见光图像的典型特征。最后,由3层卷积层构成解码器网络,用于重构融合图像。此外,设计基于均方误差、多尺度结构相似度和色彩的混合损失函数约束网络训练,进一步提高融合图像与源图像的相似性。本算法在公开数据集上与7种图像融合算法进行比较,在主观评价和客观评价方面,所提算法相较其它对比算法具有较好的边缘保持性、源图像信息保留度,较高的融合图像质量。

基于深度学习的红外可见光图像融合综述

如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合(IVIF)作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛的应用。近年来,深度学习技术引领了图像融合的发展方向,研究人员利用深度学习针对IVIF方向进行了探索。相关实验工作证明了应用深度学习方法来完成IVIF相较于传统方法有着显著优势。对基于深度学习的IVIF前沿算法进行了详细的分析论述。首先,从网络架构、方法创新以及局限性等方面报告了领域内的方法研究现状。其次,对IVIF方法中常用的数据集进行了简要介绍并给出了定量实验中常用评价指标的定义。对提到的一些具有代表性的方法进行了图像融合和语义分割的定性评估、定量评估实验以及融合效率分析实验来全方面地评估方法的性能。最后,给出了实验结论并对领域内未来可能的研究方向进行了展望。

基于光照权重分配和注意力的红外与可见光图像融合深度学习模型

针对现有红外与可见光图像融合模型在融合过程中忽略光照因素、使用常规的融合策略,导致融合结果存在细节信息丢失、显著信息不明显等问题,提出一种基于光照权重分配和注意力的红外与可见光图像融合深度学习模型。首先,设计光照权重分配网络(IWA-Net)来估计光照分布并计算光照权重;其次,引入CM-L1范式融合策略提高像素之间的依赖关系,完成对显著特征的平滑处理;最后,由全卷积层构成解码网络,完成对融合图像的重构。在公开数据集上的融合实验结果表明,所提模型相较于对比模型,所选六种评价指标均有所提高,其中空间频率(SF)和互信息(MI)指标分别平均提高了45%和41%,有效减少边缘模糊,使融合图像具有较高的清晰度和对比度。该模型的融合结果在主客观方面均优于其他对比模型。

多重关系感知的红外与可见光图像融合网络

为充分整合红外与可见光图像间的一致特征和互补特征,该文提出一种基于多重关系感知的红外与可见光图像融合方法。该方法首先利用双分支编码器提取源图像特征,然后将提取的源图像特征输入设计的基于多重关系感知的跨模态融合策略,最后利用解码器重建融合特征生成最终的融合图像。该融合策略通过构建特征间关系感知和权重间关系感知,利用不同模态间的共享关系、差分关系和累积关系的相互作用,实现源图像一致特征和互补特征的充分整合,以得到融合特征。为约束网络训练以保留源图像的固有特征,设计了一种基于小波变换的损失函数,以辅助融合过程对源图像低频分量和高频分量的保留。实验结果表明,与目前基于深度学习的图像融合方法相比,该文方法能够充分整合源图像的一致特征和互补特征,能够有效保留可见光图像的背景信息和红外图像的热目标,整体融合效果优于对比方法。

M-SWF域红外与可见光图像结构相似性融合

为了解决常规滤波器组在红外与可见光图像融合领域中存在提取结构信息不充分和融合视觉效果不佳的问题,本文提出了一种基于多尺度滑动窗口滤波器(Multi-scale Sliding Window Filter,M-SWF)图像融合方法。首先,提出一种基于SWF的多尺度图像分解方法实现对源图像的结构细节层和基础层提取;其次,采用L1范数融合规则(L1-Fusion,L1F)整合结构细节层,提取图像的结构信息;然后,利用一种图像能量贡献融合规则(Energy Attribute-Fusion,EAF)整合基础层,突出显著性目标;最后,融合图像通过叠加整合后的多尺度结构细节层和基础层得到。实验首先通过分析能量贡献系数,从主客观方面得到M-SWF域内红外与可见光图像融合较为适宜的能量贡献系数;其次,在该取值下,本文提出的M-SWF融合模型与其他的融合方法相比,不仅提高了对源图像结构信息的提取能力,而且通过整合图像的能量属性,改善了融合效果不佳问题,有效地突出了显著性目标。

基于多尺度及多头注意力的红外与可见光图像融合

针对红外与可见光图像融合容易出现细节丢失,且现有的融合策略难以平衡视觉细节特征和红外目标特征等问题,提出一种基于多尺度特征融合与高效多头自注意力相结合的红外与可见光图像融合方法。首先,为提高目标与场景的描述能力,采用了多尺度编码网络提取源图像不同尺度的特征;其次,提出了基于Transformer的多头转置注意力结合残差密集块的融合策略以平衡融合细节与整体结构;最后,将多尺度特征融合图输入基于巢式连接的解码网络,重建具有显著红外目标和丰富细节信息的融合图像。基于TNO与M^(3) FD公开数据集与7种经典融合方法进行实验,结果表明,本文方法在视觉效果与量化评价指标上表现更佳,生成的融合图像在目标检测任务上取得更好的效果。

基于注意力密集网络的伪彩色红外与可见光图像融合

针对现有红外与可见光图像融合算法中存在融合图像的纹理细节不清晰,红外信息和纹理细节的显示不平衡等问题,提出了一种基于注意力密集网络的伪彩色红外与可见光图像融合方法。首先对灰度的红外图像进行伪彩色处理再与彩色的可见光图像组成多通道数据输入融合网络。其次,设计了一种由卷积层和带有注意力模块的密集连接块组成的生成器网络结构,关注源图像的关键信息,增强网络提取源图像信息的能力。最后,利用红外像素、可见光像素、可见光梯度和红外梯度构建内容损失函数,以保持融合图像中红外目标和纹理细节的平衡。与5种具有代表性的融合方法进行定性和定量比较。结果表明,该方法所获得融合图像的峰值信噪比、信息熵、平均梯度和互信息取得最优值,分别为31.6841、6.5581、6.0096、3.0960。定量以及定性结果证明所提融合方法使融合图像具有更为丰富的纹理细节以及良好的视觉效果。

基于知识蒸馏自适应DenseNet的无人机对地目标可见光与红外图像融合

可见光与红外图像融合旨在利用两种不同传感器之间有效的信息,通过互补的图像特征实现图像增强。然而,当前基于深度学习的融合方法倾向于优先考虑评价指标。模型的复杂性较高,权重参数较大,推理性能低,泛化性较差,不易部署到无人机载边缘计算端。为了应对这些挑战,本文提出了一种新颖的可见光与红外图像融合方法,即知识蒸馏的自适应DenseNet来学习预先存在的融合模型,通过使用超参数(例如宽度和深度)来实现融合效果和模型轻量化。本文提出的方法在典型地面目标数据集进行了评估,实验结果表明,该模型参数仅为77 KB,推理时间为0.95 ms,具有超轻量的网络结构,良好的图像融合效果和复杂场景下较强的泛化能力。

光电载荷下的红外和可见光图像融合综述

随着机载光电平台在军事、民用等领域的应用,红外与可见光图像的增强和融合技术逐渐成为研究的热点方向。红外设备主要依靠物体本身的热辐射进行成像,适用于恶劣自然环境和隐秘场所等特殊场景,但存在成像质量不佳、图像对比度较低、纹理细节不丰富等缺点;可见光图像的纹理细节和对比度更适合人类的视觉感知,但可见光图像在烟雾、夜间等条件下的成像效果差,不适用于隐秘的场所。因此,研究人员提出了既有可见光图像边缘、细节信息又有红外热辐射目标信息的互补图像融合方法。结合红外与可见光图像特点,对目前适用于机载平台的传统红外与可见光图像融合方法进行整理和综述,给出了现有红外与可见光融合算法中弱小目标、纹理信息缺失和计算效率问题的改进思路,并对光电载荷背景下传统红外与可见光图像融合技术未来的发展进行了展望。