改进迁移学习的双分支卷积神经网络图像去雾

针对现有图像去雾算法存在去雾不彻底和图像颜色失真的问题,提出一种迁移学习子网络和残差注意力子网络相结合的图像去雾模型。采用迁移学习子网络的预训练模型增强样本的特征属性;构建双分支网络结构,并利用残差注意力子网络辅助迁移学习子网络训练网络模型的参数;利用尾部集成学习的方法融合双网络的特征,得到去雾图像的模型参数,完成图像恢复任务。实验结果表明:所提算法在RESIDE数据集和O-HAZE数据集上PSNR指标比GCANet分别提高了1.87 dB和4.22 dB,在O-HAZE数据集上SSIM指标比GCANet提高了6.7%。

多尺度混合注意力网络的图像超分辨率重建

针对现有超分辨率(super-resolution)重建算法重建出的图像存在高频细节丢失、结构化失真的问题,结合多尺度混合注意力网络,给出一种新的重建算法。首先,设计了一种多尺度残差模块(multi-scale residual module,MRM),提取不同尺度信息的特征并进行融合来获取包含更多信息的浅层特征;其次,采用残差混合注意力模块(residual hybrid attention module,RHAM),依次沿着通道和空间2个不同的维度增强网络特征提取能力,进行自适应的特征优化,提高高频特征的复用;最后,通过重建模块对提取的特征进行增强,获取相应的高分辨率图像。在基准数据集上进行测试,实验结果表明:文中提出的算法相较主流图像SR算法,在放大尺度为2、3、4倍时峰值信噪比(peak signal to noise ratio,PSNR)平均提高了0.104、0.224、0.146 dB,结构相似性(structural similarity index measure,SSIM)平均提高了0.0349、0.0276、0.0181。该算法能更有效地利用原始图像信息,重建出的图像在边缘和纹理细节等方面有一定的提高。

改进深度卷积生成式对抗网络的文本生成图像

针对深度卷积生成式对抗网络(DCGAN)模型高维文本输入表示的稀疏性导致以文本为条件生成的图像结构缺失和图像不真实的问题,提出了一种改进深度卷积生成式对抗网络模型CA-DCGAN。采用深度卷积网络和循环文本编码器对输入的文本进行编码,得到文本的特征向量表示。引入条件增强(CA)模型,通过文本特征向量的均值和协方差矩阵产生附加的条件变量,代替原来的高维文本特征向量。将条件变量与随机噪声结合作为生成器的输入,并在生成器的损失中额外加入KL损失正则化项,避免模型训练过拟合,使模型可以更好的收敛,在判别器中使用谱约束(SN)层,防止其梯度下降太快造成生成器与判别器不平衡训练而发生模式崩溃的问题。实验验证结果表明:所提模型在Oxford-102-flowers和CUB-200数据集上生成的图像质量较alignDRAW、GAN-CLS、GAN-INT-CLS、StackGAN(64×64)、StackGAN-v1(64×64)模型更好且接近于真实样本,初始得分值最低分别提高了10.9%和5.6%,最高分别提高了41.4%和37.5%,FID值最低分别降低了11.4%和8.4%,最高分别降低了43.9%和42.5%,进一步表明了所提模型的有效性。

基于改进生成对抗网络的书法字生成算法

针对生成对抗网络生成字体存在笔画缺失、字形结构错乱、图像模糊与质量差的问题,提出改进zi2zi生成对抗网络的书法字生成算法.在编码器中引入卷积核为1的残差块,提高生成器提取书法字体细节特征的能力,通过增加上下文感知注意力结构提取书法字体的风格特征.在判别器中利用谱归一化增强模型的稳定性,避免因模型训练不稳定而带来的模式崩塌.采用最小绝对误差L1范数约束生成字体边缘特征,使得字体轮廓更加清晰,最终生成2种风格的书法字.颜真卿楷书与赵孟頫行书目标风格数据集的测试结果表明,提出算法的主观客观评价结果均优于对比算法,与zi2zi相比,峰值信噪比分别提高了1.58、1.76 dB,结构相似性分别提高了5.66%、6.91%,感知相似性分别降低了4.21%、6.20%.