基于梯度惩罚Wasserstein生成对抗网络的数字岩心重建

文章针对三维Wasserstein生成对抗网络(Wasserstein generative adversarial networks,WGAN)重建数字岩心的梯度不稳定问题,提出一种基于带梯度惩罚的Wasserstein生成对抗网络(Wasserstein generative adversarial networks with gradient penalty,WGAN-GP)三维数字岩心重建算法。首先利用卷积神经网络构建生成网络学习真实样本的分布,然后再构建判别网络以区分重建样本和真实样本。由于WGAN的权值裁剪导致权重分散不均匀,WGAN-GP增加了梯度惩罚项,使得梯度分布更加均匀并加快网络收敛速度,让训练更加稳定。实验通过孔隙度、比表面积和欧拉特性的对比表明,相比于WGAN算法,WGAN-GP三维数字岩心重建算法能更加有效地重现岩石的三维孔隙结构特征。

基于变分深度嵌入-带有梯度惩罚的生成对抗网络的锂离子电池老化特性建模

锂离子电池老化实验是研究电池老化性能的基本手段,但针对大量电池的老化实验一般很耗时。为了节约时间和测试成本,获得更多电池数据,该文将变分深度嵌入(VaDE)模型与带有梯度惩罚的生成对抗网络(WGANGP)相结合,组成VaDE-WGANGP架构,进而基于该生成模型设计了一种电池老化特性建模与数据生成的方法。该文以一套开放的电池全寿命周期测试数据集为依据展开研究,首先,将电池放电过程中的电压、电流和放电容量这三个外特性作为模型的输入,通过VaDE的编码器将原始数据映射到隐空间,再通过优化获得符合特定规则的分布;然后,通过一定方式对该分布空间进行采样,并将采样所得的隐变量输入解码器中进行数据生成;后续数据测试表明,VaDE-WGANGP在电池外特性数据生成上具有较好的性能,可以实现对电池老化过程中基础外特性的模拟,在数据量不足时也可以为某些数据驱动算法提供有效的扩展数据资源。

GP-WIRGAN:梯度惩罚优化的Wasserstein图像循环生成对抗网络模型

通常情形下,现有的图像生成模型都采用单次前向传播的方式生成图像,但实际中,画家通常是反复修改后才完成一幅画作的;生成对抗模型(Generative Adversarial Networks,GAN)能生成图像,但却很难训练.在保证生成图像质量的前提下,效仿作画时的不断更新迭代,以提升生成样本多样性并增强样本语义,同时引入Wasserstein距离,提出了Wasserstein图像循环生成对抗网络模型,简称WIRGAN(Wasserstein Image Recurrent Generative Adversarial Networks Model).WIRGAN定义了生成模型和判别模型,其中,生成模型是由一系列结构相同的神经网络模型组成的循环结构,用时间步骤T控制生成模型的循环次数,用于迭代式生成图像,并以最后一个循环结构的生成图像作为整个生成模型的输出;判别模型也由神经网络构建,结合权重剪枝技术,用来判别输入图像是生成的还是真实的.WIRGAN利用Wasserstein距离作为目标函数,将生成模型和判别模型进行博弈对抗训练.另外,由于模型存在难以优化的问题,本文引入了梯度惩罚来解决此类问题,进一步提出了梯度惩罚优化的Wasserstein图像循环生成对抗网络模型(Gradient Penalty Optimized Wasserstein Image Recurrent Generative Adversarial Networks Model,GP-WIRGAN).最后,WIRGAN和GP-WIRGAN在MNIST、CIFAR10、CeUN四个数据集上进行了基础学习能力、模型间GAM自比较、模型内GAM自比较、初始得分比较、图像生成可视化、时间效率比较等6组实验,采用生成对抗矩阵(Generative Adversarial Metric,GAM)和起始分数(Inception Scores)进行评估,结果表明,本文提出的WIRGAN、GP-WIRGAN具有良好的稳定性,可以生成高质量的图像.

融合多维梯度反馈的生成对抗网络推荐系统

互联网时代,推荐系统在日常生活中变得十分重要,生成对抗网络(GAN)与推荐算法的结合为该领域的发展提供了新契机。以往基于生成对抗网络的推荐系统中,鉴别器提供的梯度反馈是二元的,此类反馈为生成器提供的帮助不够全面,造成诸如生成器性能不稳定、迭代速度慢等问题,进而影响模型的整体推荐效果。针对此问题,提出了多维梯度反馈生成对抗网络(MGFGAN),根据生成器生成的多维用户评分向量,该模型将自编码器(AutoEncoder)融入鉴别器中,达到为生成器提供多元反馈的目的,旨在让生成器生成的数据更加贴近用户偏好;此外,融合多维梯度反馈机制给模型整体带来了运算量激增的问题;因此,MGFGAN在生成器中引入了负采样模块,使得生成器同时兼顾用户感兴趣和不感兴趣的物品,从而加速生成器快速生成与真实用户分布一致的数据,提升模型的效率。提出的模型在公开数据集FilmTrust和Ciaos上展开实验仿真。实验结果表明MGFGAN的推荐性能优于其他基于生成对抗网络的推荐模型,并且在效率和稳定性方面取得改善。

基于改进Wasserstein生成对抗网络的出血性脑卒中CT图像去噪研究

目的 为提高无配对参考图像的出血性脑卒中CT的图像质量,提出一种基于改进Wasserstein生成对抗网络(Wasserstein generative adversarial network,W-GAN)的CT图像去噪算法。方法 以W-GAN网络为框架,在生成器部分引入视觉几何组(visual geometry group,VGG)网络计算感知损失模块,并在鉴别器部分加入自注意力机制和谱归一化卷积对模型进行改进,对输入的低剂量CT数据进行去噪,得到接近标准剂量的图像。随后对无配对参考图像的出血性脑卒中数据用训练完成的模型进行迁移学习,并对最终得到的图像分别使用全变分(total variation,TV)、无参考图像空间域质量评估(blind/referenceless image spatial quality evaluator,BRISQUE)和对比语言-图像预训练模型图像质量评估(contrastive language-image pre-training image quality assessment,CLIP-IQA)3种无参考图像质量评估方式进行评估。结果 在TV、BRISQUE和CLIP-IQA 3种无参考图像质量评估指标上相对于输入提升分别为0.016 5、0.127 2、0.007。结论 本文提出的改进W-GAN网络模型可以用于出血性脑卒中低剂量CT图像去噪的迁移学习任务,并取得良好的性能提升,为辅助医师诊断出血性脑卒中提供了一种可能的工具。

基于梯度惩罚-生成对抗神经网络的页岩三维数字岩心重构

数字岩心技术在油气的勘探开发中发挥着越来越重要的作用。由于传统的数字岩心重构方法存在成本高、耗时长等问题,提出使用带有梯度惩罚的生成对抗神经网络(WGAN-GP)实现页岩的三维数字岩心重构。以三组分的页岩图像为训练样本进行模型的训练,得到了可以生成三维页岩图像的生成器模型,进而重构了多个三维岩心图像。将重构岩心与原始岩心进行了各种参数的对比分析,结果表明重构岩心与原始岩心具有很好的一致性,证明了本文方法的可靠性。使用WGAN-GP进行岩心重构具有岩心生成速度快、重构图像尺寸不受限制等优点,具有广泛的应用前景。

基于条件梯度Wasserstein生成对抗网络的图像识别

生成式对抗网络GAN功能强大,但是具有收敛速度慢、训练不稳定、生成样本多样性不足等缺点;该文结合条件深度卷积对抗网络CDCGAN和带有梯度惩罚的Wasserstein生成对抗网络WGAN-GP的优点,提出了一个混合模型-条件梯度Wasserstein生成对抗网络CDCWGAN-GP,用带有梯度惩罚的Wasserstein距离训练对抗网络保证了训练稳定性且收敛速度更快,同时加入条件c来指导数据生成;另外为了增强判别器提取特征的能力,该文设计了全局判别器和局部判别器一起打分,最后提取判别器进行图像识别;实验结果证明,该方法有效的提高了图像识别的准确率。

基于梯度惩罚生成对抗网络的过采样算法

在不平衡数据分类问题中,为了更注重学习原始样本的概率密度分布,提出基于梯度惩罚生成对抗网络的过采样算法(OGPG)。该算法首先引入生成对抗网络(GAN),有效地学习原始数据的概率分布;其次,采用梯度惩罚对判别器输入项的梯度二范数进行约束,降低了GAN易出现的过拟合和梯度消失,合理地生成新样本。实验部分,在14个公开数据集上运用k近邻和决策树分类器对比其他过采样算法,在评价指标上均有显著提升,并利用Wilcoxon符号秩检验验证了该算法与对比算法在统计学上的差异。结果表明该算法具有良好的有效性和通用性。

基于带梯度惩罚深度卷积生成对抗网络的页岩三维数字岩心重构方法

针对传统数字岩心重构技术存在的成本高昂、复用性差和重构质量低等问题,提出了一种基于带梯度惩罚深度卷积生成对抗网络(DCGAN-GP)的三维页岩数字岩心重构方法。首先,利用神经网络参数来描述页岩训练图像的分布概率,并完成训练图像的特征提取;其次,保存训练后的网络参数;最后,利用生成器重构出页岩三维数字岩心。实验结果表明,相较于经典的数字岩心重构技术得到的图像,DCGAN-GP得到的图像在孔隙度、变差函数和孔隙大小及分布特征上都更接近训练图像,而且DCGAN-GP的CPU使用率不到经典算法的一半,内存峰值仅有7.1 GB,重构时间达到了每次42 s,体现出模型重构质量高、效率高的特点。

PSWGAN-GP:改进梯度惩罚的生成对抗网络

生成对抗网络的出现对解决深度学习领域样本数据不足的研究起到了极大的促进作用。为解决生成对抗网络生成的图像出现轮廓模糊、前景背景分离等细节质量问题,提出一种改进梯度惩罚的Wasserstein生成对抗网络算法(PSWGAN-GP)。该算法在WGAN-GP的Wasserstein距离损失和梯度惩罚的基础上,在判别器中使用从VGG-16网络的3个池化层中提取的特征,并通过这些特征计算得出风格损失(Style-loss)和感知损失(Perceptual-loss)作为原损失的惩罚项,提升判别器对深层特征的获取和判别能力,对生成图像的细节进行修正和提升。实验结果表明,在生成器和判别器网络结构相同,并保证超参数相同的情况下,PSWGAN-GP的IS评分和FID评分相对于参与对比的其他图像生成算法有所提升,且可有效改善生成图片的细节质量。

基于条件式Wasserstein生成对抗网络的电力变压器故障样本增强技术

数据非均衡问题是制约机器学习技术在电力变压器故障诊断领域中应用效果的关键因素。为克服传统过采样方法未考虑数据整体分布信息的缺陷,提出了一种基于深度学习的故障数据增强方法,以实现样本库的类别均衡化目标。首先,建立梯度惩罚优化的条件式Wasserstein生成对抗网络模型以指导多类别故障样本的生成过程,并克服了原始生成对抗网络模型的训练不稳定问题;然后,构建以油中溶解气体无编码比值为特征参量的栈式自编码器诊断模型,并进一步提出了基于数据增强方法的设备故障诊断技术框架;最后,选用由准确率、F1度量以及G-mean组成的评价指标体系对类别均衡化前后的模型诊断效果进行评估对比。算例研究结果表明,相较于传统过采样方法,提出的故障样本增强方法能够更为有效地改善诊断模型对于多数类的分类偏好问题,提升其整体分类性能,可作为电力变压器故障诊断的重要数据预处理环节。

基于改进Wasserstein生成式对抗网络的电力系统不良数据辨识

随着新能源并网以及大量电力电子器件的投入,电力系统的数据类型向多元复杂化的趋势发展。针对大规模电力系统中出现的不良数据辨识性能差、辨识效率低的问题,提出了一种基于改进Wasserstein生成式对抗网络(WGAN-GP)的不良数据辨识方法。基于历史数据库中的状态量得到多断面正常量测数据并训练WGAN-GP模型;将含不良数据的量测信息输入训练好的WGAN-GP模型,得到对应的量测重构数据,并得到最终的量测重构误差;为了避免人为确定阈值的主观性,提出了一种基于C4.5决策树模型的不良数据阈值确定方法,将量测重构误差输入训练好的决策树模型,即可定位1组量测信息中的不良数据位置。以IEEE标准系统和某实际省网为算例进行仿真测试,结果表明相较于已有方法,所提方法具有更好的辨识性能和更高的辨识效率。

基于梯度指导的生成对抗网络内镜图像去模糊重建

胃肠镜检查是目前临床上检查和诊断消化道疾病最重要的途径,内窥镜图像的运动模糊会对医生诊断和机器辅助诊断造成干扰。现有的去模糊网络由于缺乏对结构信息的关注,在处理内窥镜图像时普遍存在着伪影和结构变形的问题。为解决这一问题,提高胃镜图像质量,该文提出一种基于梯度指导的生成对抗网络,网络以多尺度残差网络(Res2net)结构作为基础模块,包含图像信息支路和梯度支路两个相互交互的支路,通过梯度支路指导图像去模糊重建,从而更好地保留图像结构信息,消除伪影、缓解结构变形;设计了类轻量化预处理网络来纠正过度模糊,提高训练效率。在传统胃镜和胶囊胃镜数据集上分别进行了实验,实验结果表明,该算法的峰值信噪比(PSNR)和结构相似度(SSIM)指标均优于对比算法,且复原后的视觉效果更佳,无明显伪影和结构变形。

基于轻量级梯度提升机和生成对抗网络的含风电电力系统频率稳定评估

针对目前电力系统频率稳定评估研究未考虑新能源和系统拓扑变化的问题,提出一种考虑风速特征的基于轻量级梯度提升机(light gradient boosting machine,lightGBM)和生成对抗网络(generative adversarial network,GAN)的含风电电力系统频率稳定评估方法。首先分析风电对频率稳定的影响,其次采用lightGBM对频率变化率,暂态频率极值和准稳态频率3个指标建立预测模型,引入注意力机制对输入特征排序降维,通过预测指标综合判断系统频率稳定性。系统拓扑发生改变时,采用GAN产生大量相似样本对模型进行更新。在含风电新英格兰10机39节点系统和含风电IEEE118节点系统上的仿真结果表明,所提方法比传统机器学习方法精度更高,速度更快,泛化性能更好。且考虑风速特征后不同算法的模型精度均大大提高。

基于统计信息系数和Wasserstein生成对抗网络的风火系统暂态特征选择与两阶段稳定评估

为实现含新能源电力系统暂态稳定的在线更新,降低新能源机组出力、电压等特征对评估准确率的影响,提出基于统计信息系数和Wasserstein生成对抗网络的暂态特征选择和两阶段稳定评估模型。首先,改进最大信息系数中的网格划分方法,建立基于Pearson相关系数和统一信息系数的混合Markov决策模型,对风火系统暂态特征进行数据分析与特征选择。其次,以Wasserstein距离代替传统生成对抗网络中的JS散度,提出基于Wasserstein生成对抗网络的暂态稳定模型在线更新方法。同时依据一阶段暂态稳定评估置信度将样本划分为安全域样本与非安全域样本,提出一种两阶段暂态稳定评估方法。最后在改进的IEEE 39节点、IEEE 118节点系统中将所提方法与传统方法进行了对比,结果表明所提方法的暂态稳定评估准确度有所提高,且计算速度有所加快。

基于多尺度梯度的轻量级生成对抗网络

随着生成对抗网络研究的推进,网络模型的计算量急剧增加,其自身的训练不稳定问题依然存在,生成图像的质量也有待提升。为解决以上问题,文中提出一种轻量级生成对抗网络模型,引入多尺度梯度结构解决训练不稳定的问题。通过融合自注意力机制和动态卷积的思想,利用循环模块和图像增强模块,在保持较少参数的前提下提高模型的学习能力。对文中所提算法进行验证,实验结果表明该算法在CelebA数据集上的IS(Inception Score)值为2.75,FID(Fréchet Inception Distance)值为70.1,在LSUN数据集上的IS值为2.61,FID值为73.2,相比SAGAN、DCGAN等经典模型性有所提高,验证了该算法可行性和性能。

基于生成对抗网络的联邦学习深度影子防御方案

联邦学习(FL)可以使用户在不直接上传原始数据的条件下完成多方数据共享和交互,有效降低隐私泄露风险。然而,现有的研究表明敌手仍可以通过共享的梯度信息重构出原始数据。为进一步保护联邦学习隐私,基于生成对抗网络(GAN)提出一种联邦学习深度影子防御方案。首先,通过生成对抗网络学习原始真实数据分布特征,并生成可替代的影子数据;然后,通过影子数据训练影子模型替代原始模型,敌手无法直接获取真实数据训练过的原始模型;最后,利用影子数据在影子模型中产生的影子梯度替代真实梯度,使敌手无法获取真实梯度。在CIFAR10和CIFAR100数据集上进行了实验:与添加噪声、梯度裁剪、梯度压缩、表征扰动和局部正则化稀疏化五种防御方案相比,在CIFAR10数据集上所提方案的均方误差(MSE)是对比方案的1.18~5.34倍,特征均方误差(FMSE)是对比方案的4.46~1.03×10^(7)倍,峰值信噪比(PSNR)是对比方案的49.9%~90.8%;在CIFAR100数据集上的MSE是对比方案的1.04~1.06倍,FMSE是对比方案的5.93~4.24×10^(3)倍,PSNR是对比方案的96.0%~97.6%。相较于深度影子防御方法,所提方案考虑了敌手的实际攻击能力和影子模型训练存在的问题,设计了威胁模型和影子模型生成算法,在理论分析和实验方面表现更好,而且能够在保证准确率的前提下有效降低联邦学习隐私泄露风险。

基于生成对抗网络的差分隐私生成数据方法

针对生成神经网络中添加差分隐私方式复杂,以及加入差分隐私后生成数据质量下降的问题,提出一种基于生成对抗网络的差分隐私生成数据方法,通过在生成对抗网络梯度中加入噪声实现隐私保护。设计自适应剪裁、学习率下降、参数分组聚类优化策略,自适应选取梯度剪裁边界,不断调整学习率以及将权重梯度和偏置梯度分组聚类之后再进行剪裁,保障模型能够收敛,减小差分隐私对生成数据的影响。实验结果表明,该方法可以在不丢失原有隐私保护水平条件下,有效提升生成数据质量。

基于生成对抗网络的色盲测试图生成

为了解决传统色盲测试图数量不足,样式单调,复用性不高等问题,提出了改进的带梯度惩罚的Wasserstein生成对抗网络(WGAN)色盲测试图生成方法。将梯度惩罚函数引入生成对抗网络(GAN),避免训练过程中的梯度消失,将重构损失、L1损失、结构相似性损失与梯度惩罚函数相结合,有效提高了色盲测试图的质量。并且加入了自注意力机制,可以更好地学习全局特征,保证了色盲测试图图案内容的多样性。生成样本的质量根据峰值信噪比(PSNR),FID(Frechet Inception Distance)及结构相似性(SSIM)进行评估,结果表明,上述模型生成的色盲测试图细节更为清晰,质量更高,优于CGAN,DCGAN,WGAN,WGAN-GP模型,具有实用意义。

基于策略梯度和生成式对抗网络的变压器油色谱案例扩充方法

油色谱数据的缺乏和不均衡会导致训练过拟合、模型缺乏代表性、测试集效果不理想等问题,从而难以对变压器的状态进行准确评价。针对该问题,将强化学习中的策略梯度算法引入生成式对抗网络GAN(Generative Adversarial Networks),提出了一种基于策略梯度和GAN的变压器油色谱案例生成方法。仿真结果表明,与传统的样本扩充算法相比,利用所提方法合成的样本质量较高。对包含9种故障状态共700组样本的变压器油色谱数据利用所提方法进行油色谱故障样本扩充,利用基于BP神经网络模型的变压器故障分类模型对将扩充后样本作为训练集训练得到的神经网络模型和仅用真实数据作为训练集训练得到的神经网络模型进行了对比,结果表明利用扩充的样本后,变压器故障分类准确率得到了提高。变压器故障诊断实例表明利用所提方法得到的结果与实际情况相符。