基于梯度惩罚Wasserstein生成对抗网络的数字岩心重建

文章针对三维Wasserstein生成对抗网络(Wasserstein generative adversarial networks,WGAN)重建数字岩心的梯度不稳定问题,提出一种基于带梯度惩罚的Wasserstein生成对抗网络(Wasserstein generative adversarial networks with gradient penalty,WGAN-GP)三维数字岩心重建算法。首先利用卷积神经网络构建生成网络学习真实样本的分布,然后再构建判别网络以区分重建样本和真实样本。由于WGAN的权值裁剪导致权重分散不均匀,WGAN-GP增加了梯度惩罚项,使得梯度分布更加均匀并加快网络收敛速度,让训练更加稳定。实验通过孔隙度、比表面积和欧拉特性的对比表明,相比于WGAN算法,WGAN-GP三维数字岩心重建算法能更加有效地重现岩石的三维孔隙结构特征。

基于变分深度嵌入-带有梯度惩罚的生成对抗网络的锂离子电池老化特性建模

锂离子电池老化实验是研究电池老化性能的基本手段,但针对大量电池的老化实验一般很耗时。为了节约时间和测试成本,获得更多电池数据,该文将变分深度嵌入(VaDE)模型与带有梯度惩罚的生成对抗网络(WGANGP)相结合,组成VaDE-WGANGP架构,进而基于该生成模型设计了一种电池老化特性建模与数据生成的方法。该文以一套开放的电池全寿命周期测试数据集为依据展开研究,首先,将电池放电过程中的电压、电流和放电容量这三个外特性作为模型的输入,通过VaDE的编码器将原始数据映射到隐空间,再通过优化获得符合特定规则的分布;然后,通过一定方式对该分布空间进行采样,并将采样所得的隐变量输入解码器中进行数据生成;后续数据测试表明,VaDE-WGANGP在电池外特性数据生成上具有较好的性能,可以实现对电池老化过程中基础外特性的模拟,在数据量不足时也可以为某些数据驱动算法提供有效的扩展数据资源。

融合多维梯度反馈的生成对抗网络推荐系统

互联网时代,推荐系统在日常生活中变得十分重要,生成对抗网络(GAN)与推荐算法的结合为该领域的发展提供了新契机。以往基于生成对抗网络的推荐系统中,鉴别器提供的梯度反馈是二元的,此类反馈为生成器提供的帮助不够全面,造成诸如生成器性能不稳定、迭代速度慢等问题,进而影响模型的整体推荐效果。针对此问题,提出了多维梯度反馈生成对抗网络(MGFGAN),根据生成器生成的多维用户评分向量,该模型将自编码器(AutoEncoder)融入鉴别器中,达到为生成器提供多元反馈的目的,旨在让生成器生成的数据更加贴近用户偏好;此外,融合多维梯度反馈机制给模型整体带来了运算量激增的问题;因此,MGFGAN在生成器中引入了负采样模块,使得生成器同时兼顾用户感兴趣和不感兴趣的物品,从而加速生成器快速生成与真实用户分布一致的数据,提升模型的效率。提出的模型在公开数据集FilmTrust和Ciaos上展开实验仿真。实验结果表明MGFGAN的推荐性能优于其他基于生成对抗网络的推荐模型,并且在效率和稳定性方面取得改善。

基于梯度惩罚-生成对抗神经网络的页岩三维数字岩心重构

数字岩心技术在油气的勘探开发中发挥着越来越重要的作用。由于传统的数字岩心重构方法存在成本高、耗时长等问题,提出使用带有梯度惩罚的生成对抗神经网络(WGAN-GP)实现页岩的三维数字岩心重构。以三组分的页岩图像为训练样本进行模型的训练,得到了可以生成三维页岩图像的生成器模型,进而重构了多个三维岩心图像。将重构岩心与原始岩心进行了各种参数的对比分析,结果表明重构岩心与原始岩心具有很好的一致性,证明了本文方法的可靠性。使用WGAN-GP进行岩心重构具有岩心生成速度快、重构图像尺寸不受限制等优点,具有广泛的应用前景。

基于梯度惩罚生成对抗网络的过采样算法

在不平衡数据分类问题中,为了更注重学习原始样本的概率密度分布,提出基于梯度惩罚生成对抗网络的过采样算法(OGPG)。该算法首先引入生成对抗网络(GAN),有效地学习原始数据的概率分布;其次,采用梯度惩罚对判别器输入项的梯度二范数进行约束,降低了GAN易出现的过拟合和梯度消失,合理地生成新样本。实验部分,在14个公开数据集上运用k近邻和决策树分类器对比其他过采样算法,在评价指标上均有显著提升,并利用Wilcoxon符号秩检验验证了该算法与对比算法在统计学上的差异。结果表明该算法具有良好的有效性和通用性。

GP-WIRGAN:梯度惩罚优化的Wasserstein图像循环生成对抗网络模型

通常情形下,现有的图像生成模型都采用单次前向传播的方式生成图像,但实际中,画家通常是反复修改后才完成一幅画作的;生成对抗模型(Generative Adversarial Networks,GAN)能生成图像,但却很难训练.在保证生成图像质量的前提下,效仿作画时的不断更新迭代,以提升生成样本多样性并增强样本语义,同时引入Wasserstein距离,提出了Wasserstein图像循环生成对抗网络模型,简称WIRGAN(Wasserstein Image Recurrent Generative Adversarial Networks Model).WIRGAN定义了生成模型和判别模型,其中,生成模型是由一系列结构相同的神经网络模型组成的循环结构,用时间步骤T控制生成模型的循环次数,用于迭代式生成图像,并以最后一个循环结构的生成图像作为整个生成模型的输出;判别模型也由神经网络构建,结合权重剪枝技术,用来判别输入图像是生成的还是真实的.WIRGAN利用Wasserstein距离作为目标函数,将生成模型和判别模型进行博弈对抗训练.另外,由于模型存在难以优化的问题,本文引入了梯度惩罚来解决此类问题,进一步提出了梯度惩罚优化的Wasserstein图像循环生成对抗网络模型(Gradient Penalty Optimized Wasserstein Image Recurrent Generative Adversarial Networks Model,GP-WIRGAN).最后,WIRGAN和GP-WIRGAN在MNIST、CIFAR10、CeUN四个数据集上进行了基础学习能力、模型间GAM自比较、模型内GAM自比较、初始得分比较、图像生成可视化、时间效率比较等6组实验,采用生成对抗矩阵(Generative Adversarial Metric,GAM)和起始分数(Inception Scores)进行评估,结果表明,本文提出的WIRGAN、GP-WIRGAN具有良好的稳定性,可以生成高质量的图像.

基于统计信息系数和Wasserstein生成对抗网络的风火系统暂态特征选择与两阶段稳定评估

为实现含新能源电力系统暂态稳定的在线更新,降低新能源机组出力、电压等特征对评估准确率的影响,提出基于统计信息系数和Wasserstein生成对抗网络的暂态特征选择和两阶段稳定评估模型。首先,改进最大信息系数中的网格划分方法,建立基于Pearson相关系数和统一信息系数的混合Markov决策模型,对风火系统暂态特征进行数据分析与特征选择。其次,以Wasserstein距离代替传统生成对抗网络中的JS散度,提出基于Wasserstein生成对抗网络的暂态稳定模型在线更新方法。同时依据一阶段暂态稳定评估置信度将样本划分为安全域样本与非安全域样本,提出一种两阶段暂态稳定评估方法。最后在改进的IEEE 39节点、IEEE 118节点系统中将所提方法与传统方法进行了对比,结果表明所提方法的暂态稳定评估准确度有所提高,且计算速度有所加快。

基于多尺度梯度的轻量级生成对抗网络

随着生成对抗网络研究的推进,网络模型的计算量急剧增加,其自身的训练不稳定问题依然存在,生成图像的质量也有待提升。为解决以上问题,文中提出一种轻量级生成对抗网络模型,引入多尺度梯度结构解决训练不稳定的问题。通过融合自注意力机制和动态卷积的思想,利用循环模块和图像增强模块,在保持较少参数的前提下提高模型的学习能力。对文中所提算法进行验证,实验结果表明该算法在CelebA数据集上的IS(Inception Score)值为2.75,FID(Fréchet Inception Distance)值为70.1,在LSUN数据集上的IS值为2.61,FID值为73.2,相比SAGAN、DCGAN等经典模型性有所提高,验证了该算法可行性和性能。

基于生成对抗网络的联邦学习深度影子防御方案

联邦学习(FL)可以使用户在不直接上传原始数据的条件下完成多方数据共享和交互,有效降低隐私泄露风险。然而,现有的研究表明敌手仍可以通过共享的梯度信息重构出原始数据。为进一步保护联邦学习隐私,基于生成对抗网络(GAN)提出一种联邦学习深度影子防御方案。首先,通过生成对抗网络学习原始真实数据分布特征,并生成可替代的影子数据;然后,通过影子数据训练影子模型替代原始模型,敌手无法直接获取真实数据训练过的原始模型;最后,利用影子数据在影子模型中产生的影子梯度替代真实梯度,使敌手无法获取真实梯度。在CIFAR10和CIFAR100数据集上进行了实验:与添加噪声、梯度裁剪、梯度压缩、表征扰动和局部正则化稀疏化五种防御方案相比,在CIFAR10数据集上所提方案的均方误差(MSE)是对比方案的1.18~5.34倍,特征均方误差(FMSE)是对比方案的4.46~1.03×10^(7)倍,峰值信噪比(PSNR)是对比方案的49.9%~90.8%;在CIFAR100数据集上的MSE是对比方案的1.04~1.06倍,FMSE是对比方案的5.93~4.24×10^(3)倍,PSNR是对比方案的96.0%~97.6%。相较于深度影子防御方法,所提方案考虑了敌手的实际攻击能力和影子模型训练存在的问题,设计了威胁模型和影子模型生成算法,在理论分析和实验方面表现更好,而且能够在保证准确率的前提下有效降低联邦学习隐私泄露风险。

基于生成对抗网络的差分隐私生成数据方法

针对生成神经网络中添加差分隐私方式复杂,以及加入差分隐私后生成数据质量下降的问题,提出一种基于生成对抗网络的差分隐私生成数据方法,通过在生成对抗网络梯度中加入噪声实现隐私保护。设计自适应剪裁、学习率下降、参数分组聚类优化策略,自适应选取梯度剪裁边界,不断调整学习率以及将权重梯度和偏置梯度分组聚类之后再进行剪裁,保障模型能够收敛,减小差分隐私对生成数据的影响。实验结果表明,该方法可以在不丢失原有隐私保护水平条件下,有效提升生成数据质量。

基于生成对抗网络的色盲测试图生成

为了解决传统色盲测试图数量不足,样式单调,复用性不高等问题,提出了改进的带梯度惩罚的Wasserstein生成对抗网络(WGAN)色盲测试图生成方法。将梯度惩罚函数引入生成对抗网络(GAN),避免训练过程中的梯度消失,将重构损失、L1损失、结构相似性损失与梯度惩罚函数相结合,有效提高了色盲测试图的质量。并且加入了自注意力机制,可以更好地学习全局特征,保证了色盲测试图图案内容的多样性。生成样本的质量根据峰值信噪比(PSNR),FID(Frechet Inception Distance)及结构相似性(SSIM)进行评估,结果表明,上述模型生成的色盲测试图细节更为清晰,质量更高,优于CGAN,DCGAN,WGAN,WGAN-GP模型,具有实用意义。

融合生成对抗网络和难例挖掘的产品质量预测模型

针对连续性工业生产特点,重点关注类别不平衡造成的不合格样本召回率低问题。为了从高维数据提取有效特征,结合one class F-score和最小冗余最大相关性在特征提取方面的优势,有效降低特征维度并提取有价值特征;利用Wasserstein生成对抗网络(WGAN)方法扩增不合格样本数量;通过类别权重优化Focal Loss函数以提高困难样本识别率;通过轻量级梯度提升机算法结合阈值移动策略,构建基于WGAN数据增强和难例挖掘技术的质量预测模型(WGAN_Focal Loss_LGB(TM))。将所提模型应用于开源SECOM数据集,验证了所提方法的有效性。

基于用户属性和生成对抗网络的推荐系统

为提升推荐精度,解决传统推荐算法在用户评分向量中存在的未评分项语义模糊造成的推荐精度下降问题,提出一种基于用户属性的条件生成对抗网络的推荐方法。将用户的属性特征进行提取和编码,并作为生成对抗网络的条件,通过这种明确信号指导用户偏好的生成并进行推荐。在两个公开的电影评分数据集上进行实验,实验结果表明,所提方法可以有效改善推荐精度,在各评价指标上均优于现有方法,具有一定实用价值。

基于改进条件生成对抗网络的需求响应潜力预测

为了解决现行各类基线负荷预测方法对时序性的依赖及多影响因素分类分析评估不准确等问题,提出了一种基于改进条件生成对抗网络(CGAN)和图卷积神经网络(GCN)的需求响应潜力预测方法。首先,引入融合CGAN和Wasserstein生成对抗网络(WGAN)的Wasserstein条件生成对抗网络(WCGAN),并利用历史数据训练生成器和判别器,估计基线负荷;然后,充分考虑基线与响应负荷的不确定性,提出了一种基于WCGAN和GCN的需求响应负荷预测方法;最后,采用实际负荷数据对所提方法的有效性进行了分析。

动态梯度阈值裁剪的差分隐私生成对抗网络算法

现有的生成对抗网络(GAN)和差分隐私相结合的方法大多采用梯度扰动的方法实现隐私保护,即在优化过程中利用梯度裁剪技术来约束优化器对单个数据的敏感性,并对裁剪后的梯度添加随机噪声以达到保护模型的目的。然而大多数方法在训练时裁剪阈值固定,而阈值过大或过小均会影响模型的性能。针对该问题,提出动态梯度阈值裁剪的DGC_DPGAN(Dynamic Gradient Clipping Differential Privacy Generative Adversarial Network)算法以兼顾隐私保护和模型的性能。该算法结合预训练技术,在优化过程中先求取每批次隐私数据的梯度F-范数均值作为动态梯度裁剪阈值,再对梯度进行扰动。考虑不同的裁剪顺序,提出先裁剪再加噪的CLIP_DGC_DPGAN(Clip Dynamic Gradient Clipping Differential Privacy Generative Adversarial Network)算法和先加噪再裁剪的DGC_DPGAN算法,并采用Rényi Accountant求取隐私损失。实验结果表明,在相同的隐私预算下,所提出的两种动态梯度裁剪算法与固定梯度阈值裁剪方法相比更优:在Mnist数据集上,所提两种算法在IS(Inception Score)、结构相似性(SSIM)、卷积神经网络(CNN)分类准确率上分别提升了0.32~3.92,0.03~0.27,7%~44%;在Fashion-Mnist数据集上,所提两种算法在IS、SSIM、CNN分类准确率上分别提升了0.40~4.32,0.01~0.44,20%~51%。同时,GAN模型生成图像的可用性更好。

PSWGAN-GP:改进梯度惩罚的生成对抗网络

生成对抗网络的出现对解决深度学习领域样本数据不足的研究起到了极大的促进作用。为解决生成对抗网络生成的图像出现轮廓模糊、前景背景分离等细节质量问题,提出一种改进梯度惩罚的Wasserstein生成对抗网络算法(PSWGAN-GP)。该算法在WGAN-GP的Wasserstein距离损失和梯度惩罚的基础上,在判别器中使用从VGG-16网络的3个池化层中提取的特征,并通过这些特征计算得出风格损失(Style-loss)和感知损失(Perceptual-loss)作为原损失的惩罚项,提升判别器对深层特征的获取和判别能力,对生成图像的细节进行修正和提升。实验结果表明,在生成器和判别器网络结构相同,并保证超参数相同的情况下,PSWGAN-GP的IS评分和FID评分相对于参与对比的其他图像生成算法有所提升,且可有效改善生成图片的细节质量。

变工况下动态卷积域对抗图神经网络故障诊断

针对基于无监督域自适应故障诊断方法忽略了域间数据结构信息、传统域对齐平均最大差异法全局泛化能力差等问题,本文提出一种基于无监督域自适应理论的动态卷积域对抗图神经网络故障诊断模型,分别通过对数据的类别标签、域标签和数据结构信息进行建模。通过分类器和域鉴别器分别建模类别标签和域标签,通过图神经网络将数据结构信息嵌入到实例图节点中,利用高斯Wasserstein距离来度量不同领域的实例图之间的差异。本文对比了不同工况下共14种迁移任务在各模型下故障识别的准确率。实验结果表明:基于动态卷积的域对抗图神经网络模型在变工况下的故障诊断效果均优于其他对比模型,且模型性能稳定。

基于条件梯度Wasserstein生成对抗网络的图像识别

生成式对抗网络GAN功能强大,但是具有收敛速度慢、训练不稳定、生成样本多样性不足等缺点;该文结合条件深度卷积对抗网络CDCGAN和带有梯度惩罚的Wasserstein生成对抗网络WGAN-GP的优点,提出了一个混合模型-条件梯度Wasserstein生成对抗网络CDCWGAN-GP,用带有梯度惩罚的Wasserstein距离训练对抗网络保证了训练稳定性且收敛速度更快,同时加入条件c来指导数据生成;另外为了增强判别器提取特征的能力,该文设计了全局判别器和局部判别器一起打分,最后提取判别器进行图像识别;实验结果证明,该方法有效的提高了图像识别的准确率。

基于带梯度惩罚深度卷积生成对抗网络的页岩三维数字岩心重构方法

针对传统数字岩心重构技术存在的成本高昂、复用性差和重构质量低等问题,提出了一种基于带梯度惩罚深度卷积生成对抗网络(DCGAN-GP)的三维页岩数字岩心重构方法。首先,利用神经网络参数来描述页岩训练图像的分布概率,并完成训练图像的特征提取;其次,保存训练后的网络参数;最后,利用生成器重构出页岩三维数字岩心。实验结果表明,相较于经典的数字岩心重构技术得到的图像,DCGAN-GP得到的图像在孔隙度、变差函数和孔隙大小及分布特征上都更接近训练图像,而且DCGAN-GP的CPU使用率不到经典算法的一半,内存峰值仅有7.1 GB,重构时间达到了每次42 s,体现出模型重构质量高、效率高的特点。

面向医学图像生成的鲁棒条件生成对抗网络

医学图像生成是计算机辅助诊断技术的关键组成,具有广泛的应用场景.当前基于生成对抗网络的端对端学习模型,依靠生成器和判别器两者对抗训练,获取真实数据的概率分布,从而指导图像生成.但标注有限的医学图像及其高分辨率特点,加大了模型训练难度,影响图像生成质量;同时,模型未纳入数据扰动因素,鲁棒性有限,容易被恶意攻击.为此,本文提出一个基于鲁棒条件生成对抗网络的医学图像生成模型——MiSrc-GAN.该模型包括精度渐进生成器、多尺度判别器以及对抗样本配对构造模块,有效融合GAN框架和对抗样本,改善判别器鲁棒性,有利于学习原始图像与待生成图像的联合概率分布.在真实数据集CSC和REFUGE上的实验表明,MiSrc-GAN生成的图像质量优于现有模型.