An improved bidirectional generative adversarial network model for multivariate estimation of correlated and imbalanced tunnel construction parameters

Estimation of construction parameters is crucial for optimizing tunnel construction schedule.Due to the influence of routine activities and occasional risk events,these parameters are usually correlated and imbalanced.To solve this issue,an improved bidirectional generative adversarial network(BiGAN)model with a joint discriminator structure and zero-centered gradient penalty(0-GP)is proposed.In this model,in order to improve the capability of original BiGAN in learning imbalanced parameters,the joint discriminator separately discriminates the routine activities and risk event durations to balance their influence weights.Then,the self-attention mechanism is embedded so that the discriminator can pay more attention to the imbalanced parameters.Finally,the 0-GP is adapted for the loss of the discrimi-nator to improve its convergence and stability.A case study of a tunnel in China shows that the improved BiGAN can obtain parameter estimates consistent with the classical Gauss mixture model,without the need of tedious and complex correlation analysis.The proposed joint discriminator can increase the ability of BiGAN in estimating imbalanced construction parameters,and the 0-GP can ensure the stability and convergence of the model.

基于梯度惩罚Wasserstein生成对抗网络的数字岩心重建

文章针对三维Wasserstein生成对抗网络(Wasserstein generative adversarial networks,WGAN)重建数字岩心的梯度不稳定问题,提出一种基于带梯度惩罚的Wasserstein生成对抗网络(Wasserstein generative adversarial networks with gradient penalty,WGAN-GP)三维数字岩心重建算法。首先利用卷积神经网络构建生成网络学习真实样本的分布,然后再构建判别网络以区分重建样本和真实样本。由于WGAN的权值裁剪导致权重分散不均匀,WGAN-GP增加了梯度惩罚项,使得梯度分布更加均匀并加快网络收敛速度,让训练更加稳定。实验通过孔隙度、比表面积和欧拉特性的对比表明,相比于WGAN算法,WGAN-GP三维数字岩心重建算法能更加有效地重现岩石的三维孔隙结构特征。

基于反向掩码和WGAN-GP的破损老照片修复算法

针对当前老照片修复算法修复的老照片存在模糊、伪影等问题,提出结合反向掩码机制和生成对抗网络的破损老照片修复算法。该方法使用反向掩码技术聚焦于待修复目标区域,采用联合感知驱动的损失函数和WGAN-GP鉴别器网络训练,增强修复图像整体和局部一致性。此外,通过变换RGB图像色彩空间和添加高斯滤波,扩充老照片图像数据集。经过实验,结果表明该算法相较于对比算法能够精准修复老照片中缺失部分。已修复照片的结构和纹理与原照片保持一致,在感官视觉上更自然。

GP-WIRGAN:梯度惩罚优化的Wasserstein图像循环生成对抗网络模型

通常情形下,现有的图像生成模型都采用单次前向传播的方式生成图像,但实际中,画家通常是反复修改后才完成一幅画作的;生成对抗模型(Generative Adversarial Networks,GAN)能生成图像,但却很难训练.在保证生成图像质量的前提下,效仿作画时的不断更新迭代,以提升生成样本多样性并增强样本语义,同时引入Wasserstein距离,提出了Wasserstein图像循环生成对抗网络模型,简称WIRGAN(Wasserstein Image Recurrent Generative Adversarial Networks Model).WIRGAN定义了生成模型和判别模型,其中,生成模型是由一系列结构相同的神经网络模型组成的循环结构,用时间步骤T控制生成模型的循环次数,用于迭代式生成图像,并以最后一个循环结构的生成图像作为整个生成模型的输出;判别模型也由神经网络构建,结合权重剪枝技术,用来判别输入图像是生成的还是真实的.WIRGAN利用Wasserstein距离作为目标函数,将生成模型和判别模型进行博弈对抗训练.另外,由于模型存在难以优化的问题,本文引入了梯度惩罚来解决此类问题,进一步提出了梯度惩罚优化的Wasserstein图像循环生成对抗网络模型(Gradient Penalty Optimized Wasserstein Image Recurrent Generative Adversarial Networks Model,GP-WIRGAN).最后,WIRGAN和GP-WIRGAN在MNIST、CIFAR10、CeUN四个数据集上进行了基础学习能力、模型间GAM自比较、模型内GAM自比较、初始得分比较、图像生成可视化、时间效率比较等6组实验,采用生成对抗矩阵(Generative Adversarial Metric,GAM)和起始分数(Inception Scores)进行评估,结果表明,本文提出的WIRGAN、GP-WIRGAN具有良好的稳定性,可以生成高质量的图像.

基于条件式Wasserstein生成对抗网络的电力变压器故障样本增强技术

数据非均衡问题是制约机器学习技术在电力变压器故障诊断领域中应用效果的关键因素。为克服传统过采样方法未考虑数据整体分布信息的缺陷,提出了一种基于深度学习的故障数据增强方法,以实现样本库的类别均衡化目标。首先,建立梯度惩罚优化的条件式Wasserstein生成对抗网络模型以指导多类别故障样本的生成过程,并克服了原始生成对抗网络模型的训练不稳定问题;然后,构建以油中溶解气体无编码比值为特征参量的栈式自编码器诊断模型,并进一步提出了基于数据增强方法的设备故障诊断技术框架;最后,选用由准确率、F1度量以及G-mean组成的评价指标体系对类别均衡化前后的模型诊断效果进行评估对比。算例研究结果表明,相较于传统过采样方法,提出的故障样本增强方法能够更为有效地改善诊断模型对于多数类的分类偏好问题,提升其整体分类性能,可作为电力变压器故障诊断的重要数据预处理环节。

CI-WGAN:融合临床指标和WGAN的孤独症个体化脑功能连接网络生成

脑功能连接(Functional connectivity,FC)网络作为潜在的脑影像标志物对孤独症谱系障碍(Autism spectrum disorder,ASD)的辅助诊疗研究具有重要作用。然而现有的FC生成方法大多仅基于脑影像数据,未充分考虑个体的临床指标从而易丢失疾病的特异性信息。而且,ASD作为一种谱系障碍,其临床指标存在显著的个体化差异。因此,仅基于脑影像数据的传统生成模型在生成准确的且能反映个体化临床指标的ASD个体FC的任务上存在挑战。针对上述挑战,提出了个体化临床指标引导的沃瑟斯坦生成对抗网络模型(Clinical-indicator-aware Wasserstein generative adversarial network,CI-WGAN),用于生成孤独症个体化FC网络。该模型引入个体化临床指标引导机制,实现了高精度ASD患者FC网络的生成。基于全世界最大孤独症脑影像公开数据集之一的ABIDE I数据集进行实验,CI-WGAN生成FC与真实FC的峰值信噪比(Peak signal-to-noise ratio,PSNR)、结构相似度(Structural similarity,SSIM)与平均绝对误差(Mean absolute error,MAE)分别达到19.037、0.236与0.178,相较于其他FC生成模型分别提升了3%、12%与2%。此外基于生成FC和独立临床验证指标的表征相似度分析(Representational similarity analysis,RSA),CI-WGAN生成的FC相较其他模型生成FC最少提高了0.1倍和3.7倍,证明了CI-WGAN生成的FC包含更多的ASD个体特异性信息。本文提出的CI-WGAN模型实现了高质量个体化FC的生成,为ASD的早期诊断和个性化治疗提供了有力的技术支持。

基于WGAN-GP的风电机组传动链故障诊断

传动链负责将风电机组叶轮的能量传递至发电机,若传动链中的任一部件,如齿轮、轴承发生异常,风电机组将面临巨大的安全隐患。现有基于深度学习的风电机组故障诊断大多需要人为选择目标变量,所识别故障与所选变量关联性大、通用性不足。梯度惩罚Wasserstein生成对抗网络(WGAN-GP)采用Wasserstein距离作为量度生成数据与真实数据的代价函数,具有训练结果稳定的优势。文中基于数据采集与监控(SCADA)系统提出两步数据预处理方法进行数据筛选,并基于WGAN-GP设计风电机组传动链异常状态分数,进而识别传动链故障。所提方法运用通用SCADA参数,无须人为挑选目标变量,可稳定识别风电机组传动链中的非特定故障,具有识别结果准确、泛化能力强等优点。9台双馈风电机组的状态识别结果验证了所提方法的有效性,可以辅助指导风电场的运行维护。

基于WGAN-gp的电阻抗成像后处理算法研究

电阻抗成像是一种非侵入式的医学成像技术,但是常用的重建方法具有一定的伪影。为解决该问题,提出了一种基于Wasserstein距离和梯度惩罚的生成对抗网络的电阻抗成像后处理算法。采用仿真方法设置不同个数、大小、位置和阻抗值的目标物体,通过基于有限元法的正问题得到边界电压,建立数据集。然后选取多层神经网络进行初步成像,得到具有误差和伪影的电阻抗分布作为生成对抗网络的输入数据,为了还原优化后阻抗分布的细节,在对抗网路的损失函数中增加了绝对均方误差项,对网络的生成器与判别器进行对抗训练,训练后的生成器用于后处理。仿真数据和实测数据成像结果表明,提出的算法对于目标物体的阻抗值、面积大小和位置的重建更为准确,显著减少了目标物体的伪影。

PSWGAN-GP:改进梯度惩罚的生成对抗网络

生成对抗网络的出现对解决深度学习领域样本数据不足的研究起到了极大的促进作用。为解决生成对抗网络生成的图像出现轮廓模糊、前景背景分离等细节质量问题,提出一种改进梯度惩罚的Wasserstein生成对抗网络算法(PSWGAN-GP)。该算法在WGAN-GP的Wasserstein距离损失和梯度惩罚的基础上,在判别器中使用从VGG-16网络的3个池化层中提取的特征,并通过这些特征计算得出风格损失(Style-loss)和感知损失(Perceptual-loss)作为原损失的惩罚项,提升判别器对深层特征的获取和判别能力,对生成图像的细节进行修正和提升。实验结果表明,在生成器和判别器网络结构相同,并保证超参数相同的情况下,PSWGAN-GP的IS评分和FID评分相对于参与对比的其他图像生成算法有所提升,且可有效改善生成图片的细节质量。

基于改进ACGAN的永磁同步电机数据扩张方法

永磁同步电机(permanent magnet synchronous motor,PMSM)的监测数据呈现出非平稳、非线性、多源异构性和价值低密度性等特点,而仿真数据难以准确地模拟电机故障类型和故障程度,使得正常数据与故障数据的样本呈现严重不均衡现象,导致故障诊断的模型训练容易出现过拟合、精度低等问题。本文提出了一种改进辅助分类生成对抗网络(auxiliary classification generation adversarial network,ACGAN),通过对原始样本的分布特性进行学习,实现对PMSM实测故障数据的扩张,为电机的故障诊断和健康评估提供数据基础。首先,针对ACGAN网络收敛性差和梯度易消失或爆炸的问题,使用Wasserstein距离约束生成数据的重建损失,利用梯度惩罚代替权值剪裁对模型进行优化,解决模型训练不稳定问题;其次,剖析数据之间的变化关系和历史变化规律,在生成器中引入循环神经网络提高生成数据质量;最后,利用PMSM匝间短路的故障数据,对比分析ROS、SMOTE、ADASYN及改进ACGAN 4种数据扩张方法对提升故障诊断模型性能的有效性。分析结果表明,与其他数据扩张方法相比,改进ACGAN方法的模型训练较稳定、收敛速度较快,扩张数据质量较高。

基于梯度惩罚-生成对抗神经网络的页岩三维数字岩心重构

数字岩心技术在油气的勘探开发中发挥着越来越重要的作用。由于传统的数字岩心重构方法存在成本高、耗时长等问题,提出使用带有梯度惩罚的生成对抗神经网络(WGAN-GP)实现页岩的三维数字岩心重构。以三组分的页岩图像为训练样本进行模型的训练,得到了可以生成三维页岩图像的生成器模型,进而重构了多个三维岩心图像。将重构岩心与原始岩心进行了各种参数的对比分析,结果表明重构岩心与原始岩心具有很好的一致性,证明了本文方法的可靠性。使用WGAN-GP进行岩心重构具有岩心生成速度快、重构图像尺寸不受限制等优点,具有广泛的应用前景。

结合连续小波变换与生成对抗网络的癫痫发作预测

目前半监督深度学习模型已成功用于脑电信号(EEG)的癫痫发作预测,但该模型在EEG预处理方式与半监督模型稳定性等方面还有提升空间。本研究提出一种结合连续小波变换(CWT)与基于梯度惩罚的Wasserstein生成对抗网络(WGAN-GP)的改进方法(CWT-WGAN-GP)。首先对未标记的EEG信号进行CWT获得时频图,并结合特定患者的EEG数据集训练WGAN-GP模型,生成高性能的特征提取器;其次,以经过训练的WGAN-GP的判别器为特征提取器、两个全连接网络层为分类器(预测器),用少量有标记的EEG信号CWT时频图完成分类模型训练;最后,WGAN-GP的判别器与稳定的全连接网络组成半监督深度学习预测模型,用于癫痫发作预测。用CHBMIT头皮脑电数据集中所筛选的13例患者数据,评估改进的半监督癫痫发作预测模型,并与现有半监督方法相比。该方法在灵敏度、特异性、准确率和AUC指标上分别达到82.69%,67.48%,82.08%和84.03%,将原有的性能指标分别提升14.48%,34.45%,7.87%和11.4%;CWT-WGAN-GP的预测性能与现有方法的差异具有统计学意义(P<0.05)。CWT与WGAN-GP模型相结合能有效地改善半监督深度学习模型预测性能,在癫痫发作预测中发挥无监督特征提取的优化作用。

改进条件对抗网络在小样本故障诊断中的研究

在实际智能设备的故障诊断中,往往很难获得大量的故障样本,这对基于机器学习的故障诊断的分类精度造成不可估量的影响。为了提高小样本情况下的故障诊断精度,提出一种基于条件对抗网络的生成模型(Conditional generative adversarial networks-gradient penalty,CGAN-GP),用于数据增强来获得充足的故障样本。CGAN-GP利用二维卷积,学习预处理后获得的二维故障样本的分布特性,生成与真实样本相似的样本,并使用Wasserstein距离和梯度惩罚(Gradient penalty,GP)策略解决模型训练中的问题,同时将故障样本的标签信息输入模型引导模型生成特定的故障样本,实现一个模型可生成多种故障样本,并且在CWRU轴承数据集上得以验证。研究表明提出的模型可以生成与真实样本特征相似的高质量样本,能够有效提高小样本情况下故障诊断的识别率。

基于改进生成对抗网络与ConvLSTM的航空发动机剩余寿命预测方法

针对航空发动机运行周期内故障数据难以采集而造成的数据失衡等问题,提出一种基于Wasserstein距离与梯度惩罚措施的条件生成对抗网络与卷积长短时记忆网络相结合的预测模型。首先,使用WCGAN-GP模型学习预处理后的时序数据的深层分布特征;然后,利用生成器生成故障样本并与真实样本混合,作为训练集输入到基于ConvLSTM网络的预测模型中进行训练。基于C-MAPSS数据集开展验证比较,结果表明:与单一真实样本训练预测模型相比,使用混合数据时性能指标RMSE和Score平均下降了12.65%和48.95%。

基于双判别器生成对抗网络的遮挡人脸图像修复算法

对于当前遮挡人脸图像修复中,大多存在修复后人脸图像不连续、纹理模糊及网络训练过中存在模型崩溃等问题,针对这些问题提出了一种基于双判别器生成对抗网络的图像修复方法。该方法在全局判别器的基础上引入局部判别网络,以保证局部修复结果与周围区域的一致性;将encoder-decoder结构的卷积神经网络作为生成器,并在层间加入跳跃连接,从而提高模型对结构信息的预测能力;在判别器中引入Wasserstein距离,并添加梯度惩罚来训练两个判别模型,最终利用泊松图像编辑得到更加真实自然的修复结果。在CelebA人脸数据集上进行验证,实验结果表明该方法相较于所对比的文献模型具有更好的修复效果。

结合Pix2Pix生成对抗网络的灰度图像着色方法

针对神经网络在进行图像着色时容易出现物体边界不明确、图像着色质量不高的问题,提出结合Pix2Pix生成对抗网络的灰度图像着色方法.首先改进U-Net结构,采用8个下采样层和8个上采样层对图像进行特征提取和颜色预测,提高网络模型对图像深层次特征的提取能力;然后使用L_(1)损失和smoothL_(1)损失度量生成图像与真实图像之间的差距,对比不同损失函数下的图像着色质量;最后加入梯度惩罚,在生成图像和真实图像分布之间构造新的数据分布,对每个输入数据进行梯度惩罚,改变判别器网络梯度限制方法,提高网络在训练过程中的稳定性.在相同实验环境下,使用Pix2Pix模型和summer2winter数据进行对比分析.实验结果表明,改进后的U-Net和使用smooth L_(1)损失作为生成器损失可以生成更好的着色图像;而L_(1)损失能更好地保持图像结构信息,使用梯度惩罚可以加速模型的收敛速度,提高模型稳定性和图像质量;该方法能更好地学习图像的深层次特征,减少图像着色模糊现象,在有效地保持图像结构相似性的同时提高图像着色质量.

基于改进辅助分类生成对抗网络的风机主轴承故障诊断

基于振动信号的风电机组故障诊断方法是风电安全运维领域研究的重点之一。风电机组主轴承较少发生故障,给运用数据挖掘方法判断故障类型带来很大困难。针对该问题,文中提出了一种用于风电机组主轴承故障诊断的数据增强方法。通过对辅助分类生成对抗网络(ACGAN)的适应性进行改进,引入梯度惩罚,构建了改进ACGAN框架,以提高其学习稳定性;在判别器网络中引入池化层,以提升其在多分类场景下提取数据特征的能力。仿真结果表明,所提出的改进ACGAN框架能够实现对原始数据分布特征的有效学习,抗噪声干扰性强,相对于原框架训练过程更稳定,生成数据的质量更高;能够有效平衡风电机组主轴承故障振动数据,进一步提升了风电机组主轴承故障诊断的正确率。

基于生成对抗网络和LSTM-CSO的少样本光伏功率短期预测

针对新建光伏发电站原始数据匮乏导致光伏功率预测精度低的问题,提出了一种基于梯度惩罚Wasserstein生成对抗网络(Wasserstein generative adversarial network with gradient penalty,WGAN-GP)和改进长短期记忆网络的光伏功率短期预测模型。首先使用WGAN-GP学习原始真实光伏数据的样本分布规律,然后生成与原始数据相似的高质量新样本,从而实现训练集数据增强;其次,采用纵横交叉算法(crisscross optimization algorithm,CSO)对长短时记忆网络(longshort-termmemory,LSTM)的全连接层参数进行优化,构建LSTM-CSO组合模型对光伏功率进行预测。以澳洲某光伏发电站数据进行仿真建模,实验结果表明:使用数据增强后的样本训练预测模型能够有效提高模型的预测精度,且对原始训练集数据扩充数据量的比例越大,预测模型对于光伏功率预测的精度越高。同时LSTM-CSO相对于LSTM在各个季节类型的不同气象日中均具有更高的预测准确率,以春季测试集为例,LSTM-CSO模型在春季的晴天、多云、雨天下的均方根误差相比于LSTM模型分别降低5.62%、3.44%、10.44%。

结合注意力机制的相对GAN螺栓图像生成

螺栓缺陷非常容易引起输电线路异常甚至故障,但大量的缺陷数据难以获得。将生成式对抗网络应用于缺陷螺栓图像的生成,针对生成过程中存在的图像质量差、生成样本单一,模型收敛缓慢等问题,提出一种基于改进DCGAN的螺栓图像生成方法。在损失函数中加入相对均值鉴别器和梯度惩罚,平衡了生成器和判别器的能力,提高了样本质量和模型的收敛速度;在模型的生成器和鉴别器中引入注意力机制,捕获图像中长距离的像素特征,提高了缺陷样本的多样性;实验结果验证了改进方法的有效性,IS值提高了0.1,实现了缺陷样本的扩增。

基于生成对抗网络与深度学习的少数据云资源预测

精确的云资源预测对计算平台实现安全运行具有十分重要的意义,针对新公司的云计算资源缺乏足够数据样本而造成预测模型精度降低的问题,提出一种基于WasserStein生成对抗网络(WasserStein generative adversarial network with gradient penalty,WGAN-GP)和双向门控循环单元网络(bidirectional gate recurrent unit,BiGRU)的少样本云计算资源预测模型。通过生成对抗网络去学习原始少样本数据的分布规律,以高斯噪声作为输入生成与原始数据具有相同分布的新样本数据,实现数据增强的行为;由于传统门控单元网络无法完全利用数据的时间信息,采用双向门控循环单元网络对数据的前向、反向时间信息进行双向提取并预测。以Google公开数据集进行仿真,对无增强数据和增强数据后的不同机器算法模型的预测结果进行对比。实验结果表明:使用WasserStein生成对抗网络数据增强后的双向门控循环单元网络模型精度的达到98.3%,所提方法适用于少样本数据的云计算资源预测。