生成式对抗神经网络的多帧红外图像超分辨率重建

生成式对抗神经网络在约束图像生成表现出了巨大潜力,使得其适合运用于图像超分辨率重建。但是使用生成式对抗神经网络重建后的超分辨率图像存在过度平滑,缺少高频细节信息的缺点。针对单帧图像超分辨率重建方法不能有效利用图像序列间的时间-空间相关性的问题,提出了一种基于生成式对抗神经网络的多帧红外图像超分辨率重建方法(M-GANs)。首先,对低分辨率图像序列进行运动补偿;其次,使用权值表示卷积层对运动补偿后的图像序列进行权值转换计算;最后,将其输入生成式对抗重建网络,输出重建后的高分辨率图像。实验结果表明:文中方法在主观及客观评价中均优于当前代表性的超分辨率重建方法。

基于生成对抗网络改进的更快速区域卷积神经网络交通标志检测

针对小尺寸、远距离的交通标志检测过程中缺少信息的问题,以改进的更快速区域卷积神经网络(Faster R-CNN)检测器为基础,结合生成对抗网络(GAN)的目标检测算法实现对小目标交通标志的检测。Faster R-CNN首先根据期望目标设定合适的锚点数量,生成包含小目标的候选区域,再使用生成网络对候选区域中的模糊小目标进行上采样,生成高分辨率图像,最后使用分类损失函数与回归损失函数对判别网络进行改进。试验结果表明,Faster R-CNN和生成对抗网络相结合的检测算法可以提高远距离小目标交通标志检测性能。

基于条件生成对抗网络的图像超分辨率重建研究

图像超分辨率重建方法是深度神经网络在计算机视觉方向的重要应用。近期,各行各业对高分辨率图像的需求量愈来愈高,这一趋势促使各种深度神经网络模型不断涌现。其中,条件生成对抗网络成为处理图像超分辨率任务的一种重要模型。基于此,在现有条件生成对抗网络模型的基础上,提出一种新型的条件生成对抗网络。通过引入自注意力机制以及相对判别器模型,构造了一种更有效的超分辨率重建方法,解决了图像超分辨率重建任务中图像的高频细节损失以及边缘模糊等问题。

生成对抗网络的单图像超分辨率重建方法

基于深度卷积神经网络的超分辨率重建方法虽然有较高的峰值信噪比(PSNR),但重建结果在大尺度因子下存在缺乏高频信息和纹理细节,视觉感知效果差的问题。针对这一问题,提出了一种基于生成对抗网络的单图像超分辨率重建方法。首先迁移支持向量机中的hinge损失作为目标函数,其次使用更加稳定、抗噪性更强的Charbonnier损失代替L2损失函数,最后去掉了残差块和判别器中对图像超分辨率不利的批规范化层,并在生成器和判别器中使用谱归一化来减小计算开销,稳定模型训练。实验结果表明,在4倍放大尺度因子下,相较其他对比方法,该方法重建图像的PSNR值最高提升4.6 dB,SSIM值最高提升0.1,测试时间较短。实验数据和效果图均表明该方法重建的超分辨率图像视觉效果较好,且有更高的PSNR和SSIM值。

基于特征保真网络的图像超分辨研究

目前,基于深度神经网络的方法是图像超分辨(Super Resolution, SR)研究的主流,该方法利用大样本端到端地训练一个低分辨图像至高分辨图像的映射.SR研究主要采用像素损失来约束以上训练过程,但会使得图像趋向平滑.引入生成对抗网络能够恢复出逼真的纹理细节,但重建的超分辨图像却存在一定程度的结构畸变.这都可以归结为底层特征失真问题.对此,提出一种特征保真的超分辨网络,该网络包含超分辨重建分支和特征保真分支.一方面,通过特征保真分支恢复高分辨率图像的底层特征,为SR过程提供额外的约束;另一方面,为消除不同分支间的域差异,设计通道调制系数实现特征信息的有效传递.特征保真分支能够一定程度上缓解重构图像的特征失真问题.实验结果表明,与目前主流的SR方法相比,本文方法以较少的参数量,能够获得较好的重构效果.

基于生成对抗网络的多幅离焦图像超分辨率重建算法

为提高超分辨率算法重建出的图像质量,提出融合多幅离焦图像的超分辨率重建算法。以离焦图像作为切入点,利用自编码器提取离焦图像中的重要特征,根据空间特征变换层结构,将离焦特征与原始特征相结合,完成图像的超分辨率重建。在CelebA人脸数据集上进行实验,结果表明,与传统插值算法及SRGAN算法相比,所提算法在大多数情况下能获得更高峰值信噪比及结构相似性数值,能生成质量更高的重建图像。

生成对抗网络加速超分辨率超声定位显微成像方法研究

超快超声定位显微成像(uULM),突破了传统超声衍射极限,可实现分辨率远小于发射波长的在体深层微血管精准成像.通过对微血管中数以万计的运动微泡进行中心点定位和轨迹追踪, uULM技术可重建微血管图像.通常一张uULM图像需要数十秒甚至数百秒的连续长程图像采集,这在一定程度上限制了其更广泛的临床应用.针对这一挑战,本研究在阐明了超声衍射极限、超分辨率定位理论方法的基础上,给出了基于傅里叶环相关的分辨率测定原理和实现方法,并结合传统uULM重建技术,发展了一种基于生成对抗网络的深度学习超分辨超声成像方法,以缩减uULM对图像采集时长的依赖,提高成像速度和成像分辨率.针对大鼠脑的在体数据分析结果表明,基于生成对抗网络的超声定位显微技术微血管分辨达到10μm,在保持较高超声成像空间分辨率和图像饱和度的同时,数据采集时间缩减一半,从而显著降低了uULM对图像数据采集时长的依赖.相关深度学习模型连接轨迹的计算复杂度较小,且避免了人工调参以及轨迹筛选,为加速超分辨率uULM微血流成像和提升uULM成像分辨率提供了一种有效的工具.相关思路与方法对促进超分辨率uULM成像技术发展具有一定的借鉴意义.

改进生成对抗网络的图像超分辨率重建算法

超分辨率生成对抗网络(SRGAN)的高分辨率图像质量较传统方法有明显提升,然而其存在训练过程不稳定、图像浅层特征未充分使用等问题,很大程度上影响生成图像的质量.为此,提出一种特征增强改进的SRGAN模型,使用信息蒸馏块.通过对长短途特征在图像通道上的拼接增强特征纹理信息,利用压缩单元消除图像特征中的冗余信息.此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证生成对抗网络训练的稳定性.本研究基于4倍放大因子进行超分辨重建任务,并在BSD100和SET14数据集上进行实验结果的质化和量化评价.实验表明,该方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果.

生成式对抗网络在超分辨率图像重建中的应用

针对现有卷积神经网络图像超分辨率算法容易出现过拟合、损失函数的收敛性不足等问题,结合超分辨率算法和生成式对抗网络(GAN)理论,设计一种基于生成式对抗网络的超分辨率算法PESRGAN用于恢复四倍下采样的图像。首先使用残差密集块(RDB)作为基本结构单元,有效避免了过拟合问题;其次使用双层特征损失并使用渗透指数(PI)作为损失的权值,更好地去学习低分辨率到高分辨率图像之间的映射关系;同时使用VGG19作为判别网络高分辨率图像进行分类;最后使用经典数据集,将PESRGAN算法与双三次插值(Bicubic)、SRGAN、ESRGAN算法在客观参数和主观视觉效果进行对比。实验结果表明:在经典数据集上,PESRGAN的平均峰值信噪比(PSNR)达到25.4 dB、平均结构相似性(SSIM)达到0.73,平均渗透指数(PI)达到1.15,在客观参数和主观评价上均优于其他算法,证明了PESRGAN有良好的超分辨率重建的效果。

基于密集连接的生成对抗网络实现单图像超分辨率方法研究

针对超分辨率生成对抗网络(SRGAN)存在生成图像的细节存在伪影甚至虚假像素的问题,文中设计了一个生成网络基于密集残差结构、对抗网络基于DCGAN鉴别器结构的超分辨率生成对抗网络。为了增强模型的鲁棒性,使训练更加稳定以及提升图像生成的主观质量,文中对模型的生成损失、感知损失和对抗损失进行了改进。最后,将新模型在数据集VOC2012上进行测试。实验结果表明,新模型的主观性能普遍比SRGAN高出1%~2%,新模型的客观指标也明显高于SRGAN。

基于CNN与GAN深度学习模型近壁面湍流场超分辨率重构的精细化研究

由城市抗风减灾的目标出发,城市边界层的高保真再现是工程界亟待解决的关键问题.基于高精度的近地风场,有望实现真实环境下城市建筑风致效应的准确预测.传统的基于气象模型的城市风场模拟方法存在预测耗时长、成本昂贵、求解尺度过高等缺陷.为更准确、高效地预测边界层的空间变化,研究利用超精度卷积神经网络(SRCNN)与生成对抗神经网络(SRGAN),在空间上将低精度的近壁面湍流场超精度重构成高精度的风场.利用近壁面湍流直接数值模拟的公共数据库训练模型并评价模型的重构性能.为寻求合适的超精度模型生成方式,研究围绕训练样本量及网络深度,开展详细的敏感性分析,确定合适的训练网络及其较优的训练参数设置.同时,基于经不同下采样因子处理的低精度流场输入,分析模型在近壁面湍流重构中的适用范围.研究发现,对比于SRCNN模型,SRGAN模型对近壁面湍流内小尺度结构的重现效果更佳.当基于4层卷积残差块、300样本量开展训练时,所生成的SRGAN模型可在较低的训练代价下实现较优的重构效果.当进行10倍超精度重构时,SRGAN模型可保证较理想的预测精度.研究成果为边界层风场的准确重构提供技术支撑,为城区建筑物风致效应的高效预测提供精确的入流条件.

复杂退化模型下图像超分辨率算法综述

图像的超分辨率(super-resolution,SR)一直以来是计算机视觉(computer vision,CV)领域的一项热门的研究方向,它旨在从单张或多张低分辨率图像中通过一系列的图像处理和深度学习技术,重建带有丰富边缘纹理等细节特征的高分辨率图像。自从深度卷积神经网络应用于图像超分辨率算法后,其性能相较于传统的基于重构和基于样例的SR算法有了非常大的提升。然而,目前的SR算法在实际场景应用、算法性能、模型质量评估标准等方面仍然需要改良和优化。因此,为推进图像超分辨率技术的发展,总结并分析了基于深度学习的SR算法。首先,将目前主流的SR算法分为基于卷积神经网络、基于生成对抗网络、基于Transformer这三类;其次,详细评述了每一类算法的网络结构、算法优缺点、算法特色及适用场景等;然后,对常见的超分辨率数据集及各种评价指标进行阐述,重点比较了不同SR算法在各类数据集上的性能;最后,总结了图像超分辨率目前研究所面临的问题并探讨了图像超分辨率的未来研究方向。

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题。为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像。该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节。在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现。

基于多尺度特征映射网络的图像超分辨率重建

针对基于卷积神经网络的图像超分辨率重建(SRCNN)方法存在的重建网络浅、特征利用率低以及重建图像模糊等问题,提出基于多尺度特征映射网络的图像超分辨率重建方法.多尺度特征映射网络通过学习低分辨率(LR)特征与高分辨率(HR)特征之间的映射关系,将多个尺度的LR特征映射到HR特征空间,通过特征融合来提高重建过程中对特征的利用率;该方法定义了结合逐像素损失、感知损失和对抗损失的联合损失函数,从低频内容、图像边缘和局部纹理等方面均衡提升重建图像质量.对数据集Set5、Set14和BSD100的图片4倍下采样后进行测试,与当前主流方法进行比较和分析.实验证明,基于生成对抗的多尺度特征映射网络在提高图像感知质量方面表现优秀,重建的图像具有更加清晰的边缘和纹理,在客观评价上具有较好的评分.

混合阶通道注意力网络的单图像超分辨率重建

目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题,因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先,该网络框架利用局部跨通道相互作用策略将之前一、二阶通道注意力模型采用的升降维改为核为k的一维卷积。这样不仅使得通道注意力预测更直接准确,而且得到的模型相比之前的通道注意力模型更简单;同时,采用改进一、二阶通道注意力模型以综合利用不同阶通道注意力的优势,提高网络判别能力。在基准数据集上的实验结果表明,和现有的超分辨率算法相比,所提算法重建图像的纹理细节和高频信息能得到更好的恢复,且在Set5和BSD100数据集上感知指数(PI)分别平均提高0.3和0.1。这表明此网络能更准确地预测通道注意力并综合利用了不同阶通道注意力,一定程度上提升了性能。

人脸超分辨率网络(FSRNet)的改进

人脸超分辨网络(FSRNet)使用人脸几何先验信息优化人脸超分辨率,可以从低分辨率人脸图像生成逼真的高分辨率人脸图像,但FSRNet生成的超分辨率图像存在伪影。对其关键模块进行了改进,并引入了新的损失函数。直接输入16×16像素的低分辨率图像,最后使用转置卷积函数放大图像,降低了计算复杂度,提升了粗略超分辨网络的性能。通过两步训练法,解决网络训练时调参困难的问题。引入热图损失、面部注意力损失和对抗性损失训练,提高超分辨率人脸图像的质量。实验结果证明,采用改进后的方法,可以生成面部细节更加清晰的高质量人脸图像。

基于超分辨率重建的小目标检测算法研究

近年来,随着深度神经网络的不断发展,使得目标检测算法对大型目标以及中型目标的检测已经具有较高的准确率,然而由于小目标在图像中面积占比较少,像素较低以及检测网络可利用特征较少等原因,导致小目标的检测存在严重的分类不准确和定位不精确的情况。为解决上述问题,本文将基于生成对抗网络的超分辨率重建技术和SPD-Conv模块融合到YOLOv5目标检测网络中。实验表明,VisDrone2019数据集上对比原始YOLOv5网络mAP@0.5提升了3.73个百分点。最后经过消融实验证明本文提出的两个模块对小目标检测效果均有一定提升。

基于深度学习的单幅图片超分辨率重构研究进展

图像超分辨率重构技术是一种以一幅或同一场景中的多幅低分辨率图像为输入,结合图像的先验知识重构出一幅高分辨率图像的技术.这一技术能够在不改变现有硬件设备的前提下,有效提高图像分辨率.深度学习近年来在图像领域发展迅猛,它的引入为单幅图片超分辨率重构带来了新的发展前景.本文主要对当前基于深度学习的单幅图片超分辨率重构方法的研究现状和发展趋势进行总结梳理:首先根据不同的网络基础对十几种基于深度学习的单幅图片超分辨率重构的网络模型进行分类介绍,分析这些模型在网络结构、输入信息、损失函数、放大因子以及评价指标等方面的差异;然后给出它们的实验结果,并对实验结果及存在的问题进行总结与分析;最后给出基于深度学习的单幅图片超分辨率重构方法的未来发展方向和存在的挑战.

结合注意力机制的人脸超分辨率重建

因受成像设备限制,得到的人脸图像分辨率通常较低,针对此问题提出了一种将生成对抗网络和注意力机制相结合的方法,来对人脸图像进行多尺度超分辨率重建。将深度残差网络和深度神经网络分别作为生成器和判别器,并将注意力模块与深度残差网络中的残差块相结合,重建出与高分辨率图像高度相似且难以被判别器区分的超分辨率人脸图像。实验结果证明,所提出的方法能够有效地提升人脸图像的分辨率,同时也证明了注意力机制在图像细节信息重建中的重要作用。

用于图像超分辨率重构的深度学习方法综述

随着深度学习算法首次被应用于图像超分辨率重构,基于深度学习的重构方法取得了比传统图像超分辨率重构方法更好的重构效果.随后,一系列改进的深度学习算法相继提出,重构效果也不断提升.本文系统地总结了基于深度学习的图像超分辨率重构方法,主要可以分为:基于直连的浅层网络重构方法,基于深层特征的深层网络重构方法和基于生成式对抗网络重构方法.并且对比分析了不同网络模型的特点和不足.在主流数据集上对各种深度学习网络模型进行了比较,并根据当前基于深度学习模型的图像超分辨率重构方法的发展趋势,对基于深度学习模型的图像超分辨率重构方法未来的研究方向做了展望.