基于增强型多尺度残差生成对抗网络的图像压缩

为解决低码率下更符合人类视觉感知的图像压缩,提出一种基于增强型多尺度残差生成对抗网络的有损压缩方法。在网络框架的自动编码器中,使用一种结构上改进的增强型多尺度残差块,其可以扩大感受野,更容易获得图像的全局信息。引入简易注意力模块,帮助网络更加关注图像复杂的部分,减少简单部分的比特。判别器部分采用全新的相对平均判别器,在网络框架中使用LPIPS(learned perceptual image patch similarity)感知损失减轻图像伪影问题。采用两阶段训练的方式解决引入生成对抗网络导致训练不稳定的问题。实验结果表明了在低码率下所提模型的有效性,与之前的工作相比,所提方法在感知失真指标上表现更优,性能提升了65%左右,重建图像更符合人类视觉感知。

改进残差密集生成对抗网络的红外与可见光图像融合

基于深度学习的红外与可见光图像融合算法通常无法感知源图像显著性区域,导致融合结果没有突出红外与可见光图像各自的典型特征,无法达到理想的融合效果.针对上述问题,设计一种适用于红外与可见光图像融合任务的改进残差密集生成对抗网络结构.首先,使用改进残差密集模块作为基础网络分别构建生成器与判别器,并引入基于注意力机制的挤压激励网络来捕获通道维度下的显著特征,充分保留红外图像的热辐射信息和可见光图像的纹理细节信息;其次,使用相对平均判别器,分别衡量融合图像与红外图像、可见光图像之间的相对差异,并根据差异指导生成器保留缺少的源图像信息;最后,在TNO等多个图像融合数据集上进行实验,结果表明所提方法能够生成目标清晰、细节丰富的融合图像,相比基于残差网络的融合方法,边缘强度和平均梯度分别提升了64.56%和64.94%.