基于增强多尺度生成对抗网络的单幅图像去雾

雾容易导致采集的图像质量下降,并且包含的雾会影响后续的图像分析.单幅图像去雾是计算机视觉领域的经典问题之一.本文提出一种增强的多尺度生成对抗网络用于图像去雾.该方法不依赖物理散射模型,去雾网络由生成器、判别器和增强器3个部分组成.其中,增强器有助于采样多种特征使不同尺度的特征细节融入到结果,提升去雾图像在颜色和细节上的复原效果.增强器被分别嵌入到生成器和判别器,全局生成器和局部生成器融合生成一个由粗到细的高分辨率去雾图像,多尺度判别器用于监督生成图像.在真实世界和合成含雾图像数据集上的大量实验结果表明,提出的方法得到的去雾图像具有满意的主观视觉质量,并且利用最新的去雾定量评价指标,也具有好的客观图像质量.

融合多尺度残差注意力的图像修复算法

为解决在修复任意缺失形状的图像以及缺损面积较大的图像时存在修复模糊、修复的连接处存在差异等问题,提出一种融合多尺度残差注意力的图像修复模型。针对修复模糊问题,在修复模型编码器与解码器之间添加残差注意力模块,针对修复细节的差异问题,通过多尺度判别器结合全局和局部损失约束修复边界和周围视觉的一致性。实验结果表明,所提模型能有效提取缺失信息,修复结果具有自然过渡的边界和清晰的细节,提高了修复质量。

基于动态卷积的多模态脑MR图像生成

近年来,通过自动生成方法获取多模态MR图像得到了广泛研究,但仍难以通过一种模态直接生成其他各类模态的图像.针对该问题,本文提出了动态生成对抗网络.新模型通过将生成对抗网络与动态卷积相结合,同时加入任务标签这一条件,实现从一种MR模态同时生成其他3种MR模态.同时为了提高图像生成质量,进一步提出了多尺度判别策略,通过融合多个尺度来提升判别效果.基于BRATS19数据集进行生成验证,实验结果表明,新方法不但可以同时生成多种模态的数据,而且提高了生成图像的质量.

融合残差和对抗网络的跨模态PET图像合成方法

针对现有跨模态图像合成方法不能很好地捕获人体组织的空间信息与结构信息,合成的图像具有边缘模糊、信噪比低等问题,提出一种融合残差模块和生成对抗网络的跨模态PET图像合成方法。该算法在生成器网络中引入改进的残差初始模块和注意力机制,减少参数量的同时增强了生成器的特征学习能力。判别器采用多尺度判别器,以提升判别性能。损失函数中引入多层级结构相似损失,以更好地保留图像的对比度信息。该算法在ADNI数据集上与主流算法进行对比,实验结果表明,合成PET图像的MAE指标有所下降,SSIM与PSNR指标有所提升。实验结果显示,提出的模型能很好地保留图像的结构信息,在视觉和客观指标上都能提高合成图像的质量。

基于改进生成对抗网络的动漫人物头像生成算法

针对已有的动漫人物头像生成方法中生成结果的多样性较差,且难以准确地按照用户想法按类生成或按局部细节生成的问题,基于含辅助分类器的对抗生成网络(ACGAN),结合互信息理论、多尺度判别等提出了一种改进模型LMV-ACGAN(Latent label attached Multi scale ACGAN with improved VGG mode),用于动漫人物头像的生成。文中设计的模型主要包括特征整合的反卷积生成器,多尺度特征提取器以及真假、类别、隐参数,还原3个全连接神经网络。对于网络结构,所提模型除了类别标签外,额外引入了一组连续值的隐参数,用来增强对模型的约束,同时将卷积神经网络部分的VGG模型中的池化层替换为跨步卷积,并且判别器引入了图像的多尺度信息进行特征融合且改进了网络末端结构以及各部分的参数更新方式,以尽可能减弱末端的分类部分、真假判别部分和隐参数还原部分之间的相互影响。实验结果表明,所提模型有效地解决了模式崩塌的问题,同时较ACGAN提高了模型生成指定类型图像的成功率和准确度,对于ACGAN等生成失败或者类型判别错误的图像,可以做到正确生成,且能够通过调整连续的隐参数有效地实现一些简单的图像编辑功能,如人脸的朝向等。

基于改进循环生成对抗网络的图像去噪研究

图像去噪研究是图像处理中非常关键的一项技术。目前,常见的图像去噪方法大部分都需要成对的训练数据集,并且所生成的去噪图像大都会在颜色分布、边缘衔接等细节信息上和真实图像存在一定的差异,因此提出了一种基于改进的循环生成对抗网络的图像去噪方法。这种改进方法在原网络的基础上引入了多尺度判别器并提出了新的目标损失函数。其中,新的损失函数引入了像素损失和特征损失,还用Smooth L1范数损失代替了原网络中的L1范数损失。实验结果表明,提出的改进网络相较于原网络的性能有一定提升。和原网络相比,利用改进后的网络进行去噪的图片峰值信噪比从25.24dB提高到29.02dB,提高了15.0%;结构相似性指数从0.862提高到0.956,提高了10.9%。

基于CycleGAN的HDR重建方法研究

针对基于单曝光LDR图像的HDR重建方法生成的HDR图像存在图像细节缺失、色彩不准确等问题,本文基于循环一致性生成式对抗网络(Cycle-Consistent Generative Adversarial Networks,CycleGAN)提出了一种单曝光的HDR图像重建方法,首先对CycleGAN的结构进行改进,使用DenseNet替换生成器中的ResNet,使用多尺度判别器替代原有的判别器。接着,在生成器中添加双重注意力(Dual Attention Network,DANet)混合机制,形成DADB(DANet Dense Block)模块,解决生成图像纹理细节缺失问题。最后,将改进的模型应用于HDR图像重建任务中,将得到的结果与几种经典算法进行对比,实验表明本文的模型在各项指标上的表现优异。

基于改进全卷积网络的多尺度感知行人检测算法

当前行人检测的一个主要挑战是在复杂的场景中检测出不同尺度的行人,尤其是远尺度行人。由于不同尺度的行人会表现出不同的视觉外观特征,鉴于此提出了一种多尺度感知的行人检测算法。在全卷积网络结构中引进可形变卷积层,扩大特征图的感受野;通过级联区域建议网络提取多尺度行人建议区域,引入多尺度判别策略,定义尺度判别层,判别行人建议区域的尺度类别;构建一个多尺度感知网络,引进软非极大值抑制(Soft-NMS)检测算法,融合每个网络输出的分类值和回归值,获取最终的行人检测结果。实验表明,本文提出的检测算法在基准数据集Caltech和ETH上的检测误差较低,检测精度优于当前其他检测算法,适用于检测远尺度行人。

增强型遥感影像SRGAN算法及其在三维重建精度提升中的应用

遥感影像是地形测绘、三维重建等任务的主要数据源之一,分辨率影响着被测目标在影像上的表示能力,对后期三维模型的定位精度及重建效果起着重要作用。针对遥感影像像幅较大且目标特征表现复杂、细节丰富的特点,结合实景三维模型重建的需求,提出了一种增强型遥感影像SRGAN算法。克服了传统方法进行超分重建时易出现边缘效应、产生模糊重建的情况,改进了简单卷积网络仅能提取影像中较为浅层的特征信息,无法在提高分辨率的同时保留影像丰富细节的局限。本文所提算法在生成模型中使用密集剩余残差块进行深层特征提取,在判别模型中引入多尺度判别思想,从而保证遥感影像重建时特征纹理、细节信息、高频目标的完整与精确。实验构建不同时间、不同类型区域的遥感影像数据集,在此基础上将本文算法与Bicubic、SRGAN、ESRGAN算法进行对比分析,在超分重建中PSNR较对比算法提升约3个单位,渗透指数PI更趋向且稳定于1,SSIM与清晰度指标Q同样得到较好改善;在三维重建中影像密集匹配点数量得到提升,同时误差减少,模型精细程度和定位精度得到提高。结果表明,本文算法适用于遥感影像超分辨率重建问题,并在实景三维模型重建中对精度的提升表现较好。