基于改进条件生成对抗网络的水下图像增强方法

光在水中传播使得红色光衰减严重,从而导致水下图像在颜色上出现偏绿或偏蓝的颜色色差。针对这一红色光衰减现象,提出了一种改进条件生成对抗网络的方法来对水下图像进行增强处理。首先使用动态阈值对原始图像进行初步颜色校正,之后利用条件生成对抗网络在编码与解码连接处引入链接块学习水下图像与正常图像之间的映射关系来实现水下图像的色彩恢复,再使用双边滤波算法进行图像去噪,提高图像的可视性。在损失函数中引入L1与L2损失结合对图像颜色进行学习,同时加入焦点损失来解决样本比例高度不平衡现象。实验结果表明,此方法在水下图像的颜色失真和模糊方面都有很好的增强效果,获得了较好的视觉效果。

基于门控卷积与注意迁移的二阶图像修复

针对现有修复算法在处理较大面积缺失时易产生伪影且与原图像语义不符的问题,提出了基于门控卷积与注意迁移的二阶图像修复方法,通过加强待修复图像内部语义对修复网络的影响来确保修复结果整体语义的一致性。首先使用多层卷积对缺损图像进行粗略修复;然后将粗略修复结果输入改进的细化修复网络,使用门控卷积和注意迁移网络对图像内部纹理细节进行修复处理,在编解码阶段引入SimAM模块作为注意力机制,强化对待修复图像中重要信息的筛选能力;最后通过谱归一化的马尔科夫判别器判别真伪同时提供对抗损失,将感知损失与多尺度结构相似性损失作为重建损失再将其与对抗损失相结合作为损失函数。与其他图像修复方法的对比实验表明,本文方法较其中最好结果在结构相似性上提升1.47%,峰值信噪比上提升5.48%。本文方法修复结果更加真实自然且在各种尺寸缺失下均实现了理想的修复效果。

基于上下文特征的渐进式图像修复方法

针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义等问题,提出了一种基于上下文特征的渐进式图像修复方法。首先,使用ResNet18网络对破损图像进行粗略填充。然后,将其输入具有双分支结构的细化网络:上下文特征聚合模块通过多尺度语义特征获取现存图像内部最有利于修复图像的区域;注意转移网络学习缺失区域与剩余背景区域的联系,将其以更高分辨率对缺失区域进行填充,引入CBAM(convolutional block attention module)模块作为网络注意力机制。定义全局和局部判别网络实现生成图像与背景语义一致性并计算得到对抗损失,将L 1损失与结构相似性损失相结合作为网络重建损失,再将其与对抗损失相结合作为损失函数。在Place2数据集上进行实验,平均峰值信噪比和平均结构相似性分别为27.83 dB和93.19%;与四种图像修复方法进行比较:主观感受上该方法较其他方法生成的修复图像更加清晰自然,与背景语义高度相符;客观指标上选用四种常用评价指标进行比较,在更符合人眼视觉的结构相似性上该方法分别提升11.48%、6.23%、3.24%、2.21%。对改进网络各模块的消融实验结果也验证了所提创新点的有效性,表明该方法优于同类算法。

聚合残差注意力网络的单图像超分辨率重建

针对现有生成式对抗网络对单图像进行超分辨率重建时存在特征信息挖掘不足、算法复杂度高及训练不稳定的问题,提出一种聚合残差注意力网络的单图像超分辨率重建方法。首先,以聚合残差模块作为基本残差块构造生成器,降低计算复杂度,在每个残差块中引入具有三维权重的注意力模块作为网络主通道,在不引入其他参数情况下捕获更多的高频信息。其次,在鉴别器中采用谱归一化处理,对鉴别器网络参数进行限制,从而稳定训练过程。最后,采用拟合性更好的Swish激活函数,提高网络的特征提取能力。将鲁棒性更好的Charbonnier损失函数作为像素损失,同时加入正则化损失抑制图像噪点,提升图像的空间平滑性。实验结果表明,所提方法得到的四倍放大的超分辨率重建图像在Set5、Set14、BSD100三个公开数据集上的峰值信噪比平均值提高了1.54 dB,结构相似性平均值提高了0.0457,重建图像拥有更好的清晰度和更为丰富的高频细节。