基于自编码器的红外与可见光图像融合算法

针对目前红外与可见光图像融合过程中,图像特征提取不充分、中间层信息丢失以及融合图像细节不够清晰的问题,提出了一种基于自编码器的端到端图像融合网络结构。该网络由编码器、融合网络和解码器3部分组成。将高效通道注意力机制和混合注意力机制引入到编码器和融合网络中,利用卷积残差网络(convolutional residual network,CRN)基本块来提取并融合红外图像和可见光图像的基本特征,然后将融合后的特征图输入到解码器进行解码,重建出融合图像。选取目前具有典型代表性的5种方法在主客观方面进行对比。在客观方面,较第2名平均梯度、空间频率和视觉保真度分别提升了21%、10.2%、7.2%。在主观方面,融合后的图像目标清晰、细节突出、轮廓明显,符合人类视觉感受。

改进生成对抗网络水下图像增强方法

针对水下图像颜色失真和细节模糊的问题,提出一种基于改进生成对抗网络的水下图像增强方法。该方法将生成对抗网络作为基础架构,生成网络采用编码解码结构,并引入RGB颜色空间块、HSV颜色空间块和注意力机制;RGB块可以更好地去噪和去除偏色,HSV颜色空间可以调整水下图像的亮度、颜色和饱和度,最后生成网络通过分配权重来生成图像。判别网络采用类似马尔科夫判别器的结构。此外,通过构建全局相似和内容感知多项损失函数,使生成的图像在色彩、内容、结构上和参考图像保持一致。实验表明,所提出的方法在主观比较和客观指标上都有很好的表现。其中结构相似度、峰值信噪比、水下彩色质量评估和水下图像质量度量在合成水下图像测试集的平均值分别为0.7746、19.2758、0.4889和3.3124。在真实水下图像测试集的平均值分别为0.9000、24.2636、0.4499和3.1619。在主观评价和客观评价指标上,综合比较,该文算法实验结果均优于对比算法。

基于多层卷积的红外与可见光图像融合算法

针对复杂背景下纹理细节信息丢失、融合图像视觉感受较差等问题,提出了一种基于多层卷积的红外与可见光图像融合算法。该算法的网络框架分为编码器、解码器和融合网络3个部分。在编码器中引入高效通道注意力机制对源图像进行编码处理,融合多层卷积块、梯度卷积块、下采样卷积块以及卷积空间通道注意力机制等形成多层卷积融合网络(MCFN),通过该融合网络进行特征融合,利用解码器重建输出融合图像。选取了5种现有算法与所提算法用8种客观评价指标在两种数据集上进行比较,结果表明,所提算法融合后的图像目标突出、细节清晰、轮廓明显、指标提升显著,符合人体视觉感受。

基于多尺度三重注意力的水下图像增强算法

针对水下图像颜色失真和细节丢失等问题,提出了一种基于多尺度三重注意力机制的水下图像增强算法。该算法使用生成对抗网络作为基础架构,生成网络采用编码解码结构,并设计一个多尺度三重注意力模块,多尺度结构和三重注意力机制结合可以实现不同层次信息的跨维度交互,使网络更好地学习水下图像特征和抑制噪声特征,判别网络采用类似马尔可夫判别器的结构;构建了多个损失函数,使生成的图像在结构、内容、色彩上和参考图像保持一致。实验结果表明,所提算法在主观视觉和客观评价指标上均优于比较算法,可以有效地提升网络的特征提取能力,实现对不同场景水下图像的色彩恢复,增强图像的对比度和清晰度。