基于多条件对抗和梯度优化的生成对抗网络

该文针对模式崩溃的问题,从多生成器博弈强迫每个生成器生成不同模式数据的思路出发,提出了一种基于多生成器的生成对抗网络(IMGAN)。IMGAN在多个生成器之间采用参数共享的方式来加速训练,同时采用最后一层独立训练的方式来弱化参数同一性所带来的影响;引入一个正则惩罚项使得损失函数可以更好地满足Lipschitz连续,一定程度上避免了梯度消失带来的影响;引入一个超参数来解决多重损失函数带来的差异性问题,避免过度偏向其中某一种梯度方向。最后,通过在多个数据集上的对比实验验证了该文模型的表现和性能。

基于全局和局部判别对抗自编码器的异常检测方法

生成式对抗神经网络(Generative Adversarial Nets, GAN)和对抗自编码器(Adversarial Autoencoder, AAE)被成功地应用于图像生成中。此外,对抗网络能够无监督地对样本中所包含的数据特征进行学习。然而,将传统的对抗网络应用于异常检测时取得的分类效果较差,有两个方面的原因:一是GAN属于生成式模型,但异常检测模型往往被归入判别式模型的范畴;二是现有的AAE以自编码器的中间向量作为判别输入,对数据的重构效果不够理想。基于此,提出了一种基于双判别器的AAE,并将其应用于解决异常检测问题。所提方法中的双判别器具有不同的判别能力,即局部判别能力和全局判别能力。在MNIST,Fashion-MNIST和CIFAR-10数据集上的实验结果表明,所提方法能够有效避免训练过程中出现模式崩溃的问题。此外,与相关方法进行对比,所提方法取得了更优的检测性能。

基于改进生成对抗网络的抽油机故障诊断方法

针对抽油机故障数据不足、样本分布不均衡的问题,提出一种基于自注意力机制的条件深度卷积生成对抗网络(CDCGAN:Conditional Deep Convolutional Generative Adversarial Networks)模型。该模型在CDCGAN的基础上引入自注意力机制,并在损失函数中加入约束生成图像分布的正则项,提高了生成图像的质量和多样性,有效地防止了模式崩溃的发生。采用Alexnet、VGG16等网络对生成的抽油机故障样本进行分类测试,实验结果表明,改进网络的生成数据质量更高,能够有效平衡抽油机故障数据,进一步提升了抽油机故障诊断的准确率。

基于分段损失的生成对抗网络

生成对抗网络(GAN)在训练过程中未能有效进行生成器与鉴别器间的同步更新,导致模型训练不稳定并出现模式崩溃的现象。为此,提出一种基于分段损失的生成对抗网络PL-GAN。生成器在不同的训练时期采用不同形式的损失函数,同时引入真实样本与生成样本之间的特征级损失,从而使鉴别器提取的特征更具有鲁棒性。MNIST和CIFAR-10数据集上的实验结果表明,与regular GAN、feature-wise GAN相比,PL-GAN具有更高的分类精度与运行效率。

基于生成对抗网络的偏转人脸转正

为了提高偏转人脸转正的效果,借鉴双通道生成对抗网络(TP-GAN)双通道生成的思想,将原始网络中的深度卷积生成对抗网络(DCGAN)替换成边界均衡生成对抗网络(BEGAN).在传统两者对抗的网络结构中加入判别人脸身份的分类器,形成三者对抗的网络结构.经实验对比可知,与在生成器损失函数中添加约束相比,结构上加入分类器对人脸身份一致性的保持更加有效.TP-GAN存在训练复杂、模式崩溃等难题,使用BEGAN的网络结构,可以避免这些问题,提高训练效率.在Multi-PIE数据集及LFW上的实验结果表明,利用提出的方法能够高效地生成高质量的正面人脸图片,且保留人脸的身份特征.

生成对抗网络研究综述

自生成对抗网络GAN提出以后,现这一方向已成为人工智能方向的研究热点. GAN的思想采用二人零和博弈方法,由生成器和判别器构成,生成器负责生成样本分布,判别器则判别输入是真实样本还是生成样本,生成器和判别器不断交互优化,最终达到最优效果. GAN模型的提出无疑是很新颖的,但也存在很多缺点,比如梯度消失问题、模式崩溃等.随着研究的深入, GAN不断优化扩展, GAN的衍生模型也层出不穷. GAN可应用于不同领域,主要为计算机图像和视觉领域,在图像领域有着突出的效果,能生成高分辨率逼真的图像,能对图像进行修复、风格迁移等,也能生成视频并进行预测等. GAN也能生成文本,可以进行对话生成、机器翻译、语音生成等.同时,GAN在其他领域也有涉及,比如生成音乐、密码破译等.但是GAN在其他领域的应用效果并不显著,那么,如何提高GAN在其他领域的应用效果将值得深入研究,使生成对抗网络在人工智能方面大放异彩.

多生成器生成对抗网络

生成对抗网络(Generative adversarial networks,GAN)广泛应用于各种领域,尤其在图像生成方面.该模型由生成网络与判别网络2部分组成,在无监督的训练方式下,2个网络相互竞争相互提高.然而,GAN在训练时经常出现模式崩溃问题,进而导致模型收敛较慢,生成样本多样性较差.为解决这一问题,在深度卷积神经网络的基础上提出了一种多生成器生成对抗网络模型.该模型包含多个生成网络,每个生成网络均使用残差网络进行搭建,同时在生成网络间引入协作机制,以加快模型获取信息并减少参数量,最后将各生成网络的特征图进行融合得到最终图像输入到判别网络中.GAN在训练过程中还会出现梯度消失、训练不稳定问题.为避免出现这些问题,将Wasserstein距离和梯度惩罚引入模型的损失函数.通过在多个数据集上与多种相关方法进行实验比较,结果表明提出的模型在缓解模式崩溃问题、加快模型收敛速度以及减少参数量上均明显优于其他几种方法.

生成对抗网络研究综述

首先介绍了生成对抗网络基本理论、应用场景和研究现状,并列举了其亟待改进的问题。围绕针对提升模型训练效率、提升生成样本质量和降低模式崩溃现象发生可能性3类问题的解决,从模型结构和训练过程两大改进方向和7个细分维度,对近年来生成对抗网络的主要研究工作、改进机理和特点进行了归纳和总结,并结合3方面对其未来的研究方向进行了探讨。

生成对抗网络GAN综述

生成对抗网络(GAN)作为一种新的无监督学习算法框架得到越来越多研究者的青睐,已然成为当下的一个研究热点。GAN受启发于博弈论中的二人零和博弈理论,其独特的对抗训练思想能生成高质量的样本,具有比传统机器学习算法更加强大的特征学习和特征表达能力。目前GAN在计算机视觉领域尤其是在样本生成领域取得显著成功,每年有大量GAN相关研究的论文产出。针对GAN这一热点模型,首先介绍了GAN的研究现状;接着介绍了GAN的理论、框架,详细分析了GAN在训练过程中存在梯度消失和模式崩溃的原因;然后讨论了一些典型的GAN的改进模型,总结了它们理论的改进之处、优点、局限性、应用场景以及实现成本,同时还将GAN与VAE、RBM模型进行比较,总结出GAN的优势和劣势;最后展示了GAN在数据生成、图像超分辨率、图像风格转换等方面的应用成果,并探讨了GAN目前面临的挑战以及未来的研究方向。

基于多尺寸卷积与残差单元的快速收敛GAN胸部X射线图像数据增强

针对深度学习中数据增强的方法,改进生成式对抗网络(GAN,Generative adversarial networks)模型,形成一种快速收敛生成式对抗网络,能够克服GAN训练过程不稳定、收敛速度缓慢容易发生模式崩溃等问题。采用在判别器中使用多尺寸卷积,加强判别器的特征提取能力;在生成器中添加残差单元的方法,使得生成器可以快速拟合真实数据的分布;同时对判别器进行预训练的策略,有利于提高生成器前期训练稳定性和加快训练过程。运用CIFAR-10标准数据集进行实验,与几种基于GAN的模型对比,证实本文的改进算法效果较好,图像质量和多样性更优。利用本文提出的改进算法用于美国NIH临床数据库的胸部X射线数据集,生成扩充样本,经图灵测试证实了算法的有效性。

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络(GAN)的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比(PSNR)为31.28 dB,结构相似性(SSIM)为0.872,而与双三次差值、超分辨率残差网络(SRResNet)、加速的卷积神经网络超分辨率(FSRCNN)、基于GAN的单图像超分辨率(SRGAN)和增强型超分辨率生成对抗网络(ESRGAN)算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。

多尺度特征融合的双判别器残差生成对抗网络

生成对抗网络(generative adversarial networks, GANs)作为一类基于深度学习的无监督生成模型,无需对数据分布进行建模便可以生成真实且质量较高的图像。标准的GANs往往训练困难,常出现梯度消失、梯度爆炸或者模式崩溃等问题,限制模型的性能。为解决模式崩溃问题,本文提出一种双判别器结构来提高模型生成图像的多样性。另外,本文改进了生成器模型和判别器模型,提出一种基于残差网络和多尺度特征融合的生成器和基于多尺度特征融合的判别器,在提高生成图像质量的前提下解决深层网络出现的梯度消失、梯度爆炸的问题。将其应用于MNIST、LSUN、CelebA数据集上,训练结果稳定且生成图像质量较高,取得了令人满意的FID和IS值。

语义图像合成的研究进展

语义图像合成是利用语义标签合成真实图像的一种技术,是合成多样化、富有创意图像的有效方法,在图像合成领域得到了广泛应用。随着深度生成模型的不断发展,更多先进的模型被用于语义图像合成。本文介绍了几种主流的语义图像合成模型,分析了不同模型的特点,提出了生成模型存在的模式崩溃问题以及两种可视化方案,最后对现有深度生成模型的应用难点与发展趋势进行了总结与展望。

一种基于有限数据集的图像快速生成改进方法

生成对抗网络是一种强大的图像生成方法,主要的训练策略是生成器与判别器之间的零和博弈,通过生成器和判别器的循环对抗训练,最终达到纳什均衡。为了在有限数据集上快速生成图像,通过使用变分自编码器(Variational Auto Encoder,VAE)提取真实图像信息,并将重建图像视为虚假图像来改进BEGAN,以增加判别器辨别真假图像的难度,特别是在训练初期进一步缓解模式崩溃和稳定性问题。生成器通过正则化项获取VAE 提取的信息来加快学习速度。实验数据验证,该改进的BEGAN 网络训练稳定,具备在有限数据集上快速生成高质量和高多样性图像的能力。

DuC-GAN:增强GAN训练稳定性的新模型

针对生成对抗网络(GAN)训练不稳定的问题,提出了一种新的双循环GAN(DuC-GAN)增强稳定性的模型。该模型通过在生成器和判别器之间添加额外的循环来解决GAN训练中的不稳定性问题。新循环由一个冻结的主判别器和一个辅助判别器组成,他们与生成器一起进行训练,并以生成器的性能作为切换循环的指标。在多个数据集上的测试表明,相比现有模型,所提模型显著提高了GAN的性能和训练稳定性。实验结果表明,双循环GAN实现了更快的收敛速度和更好的生成效果。