融合递归自编解码器的蒙卡画面重构降噪方法

针对生成对抗模型降噪结果出现的伪影和模糊问题,提出一种基于对抗生成递归自编码器的蒙卡渲染画面降噪方法。在模型上,设计多尺度卷积编码结构,以多尺度残差自编码模型为生成器,通过组合连接实现不同层次特征提取,融合不同感受野的特征信息。以设计的递归残差网络模型为判别器,判断蒙卡渲染画面真伪,在对抗中提高网络性能。以端到端的方式将辅助信息特征、含有噪声的蒙卡画面和8192采样率下的画面输入到融合递归自编解码器中进行降噪处理。实验表明,该方法在测试场景下的平均峰值信噪比为32.44 dB,比生成对抗网络方法和残差网络方法分别提升4.80%和3.13%;平均结构相似性为0.92,比2种已有的算法分别提高2.54%和1.01%。

基于LSTM的递归网络图像去雨算法

随着深度学习的发展的热潮,单幅图像去雨得到了很大的发展。然而由于雨图像在方向、大小和雨密度的雨纹的不同,使得去雨的工作变得更困难。针对以上问题,提出了一种基于LSTM的递归图像去雨算法,在特征提取方面采用卷积块和残差块相结合,并运用长短期记忆模块(LSTM)进行多层递归去雨,最后通过注意力融合模块进一步提取雨纹特征,对不同方向、大小等雨纹有较强的学习能力,较好地保留了图像的细节,通过在真实数据集和合成数据集上进行实验,证明了该方法的有效性,通过与其他算法的比较,在客观指标和主观效果上优于它们。主观效果去雨更彻底,图像细节更加清晰。在合成数据集Rain100H上PSNR达到30.48,SSIM为0.91,在Rain100L上PSNR达到38.05,SSIM为0.98。

全局注意力门控残差记忆网络的图像超分重建

目的随着深度卷积神经网络的兴起,图像超分重建算法在精度与速度方面均取得长足进展。然而,目前多数超分重建方法需要较深的网络才能取得良好性能,不仅训练难度大,而且到网络末端浅层特征信息容易丢失,难以充分捕获对超分重建起关键作用的高频细节信息。为此,本文融合多尺度特征充分挖掘超分重建所需的高频细节信息,提出了一种全局注意力门控残差记忆网络。方法在网络前端特征提取部分,利用单层卷积提取浅层特征信息。在网络主体非线性映射部分,级联一组递归的残差记忆模块,每个模块融合多个递归的多尺度残差单元和一个全局注意力门控模块来输出具备多层级信息的特征表征。在网络末端,并联多尺度特征并通过像素重组机制实现高质量的图像放大。结果本文分别在图像超分重建的5个基准测试数据集(Set5、Set14、B100、Urban100和Manga109)上进行评估,在评估指标峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)上相比当前先进的网络模型均获得更优性能,尤其在Manga109测试数据集上本文算法取得的PSNR结果达到39.19 dB,相比当前先进的轻量型算法AWSRN(adaptive weighted super-resolution network)提高0.32 dB。结论本文网络模型在对低分图像进行超分重建时,能够联合学习网络多层级、多尺度特征,充分挖掘图像高频信息,获得高质量的重建结果。