结合混合注意力的双判别生成对抗网络

图像生成任务中,如何提升生成图片的质量是一个关键问题。当前,生成对抗网络采用的多层卷积结构存在局部性归纳偏置的问题,无法准确聚焦关键信息,导致图像特征丢失严重,生成图像效果较差。为此,提出了结合混合注意力的双判别生成对抗网络(DDMA-GAN)。设计了一种混合注意力机制,利用通道注意力和空间注意力模块,从两个维度充分捕获图像特征信息;为解决单判别器存在判别误差的问题,提出一种双判别器结构,使用融合系数将判定结果融合,使回传参数更具客观性,并嵌入数据增强模块,进一步提升模型鲁棒性;采用铰链损失作为模型损失函数,最大化真假样本间的距离,明确决策边界。模型在公开数据集LSUN和CelebA上进行验证,实验结果表明,DDMA-GAN生成的图像更加真实,纹理细节更加丰富,其FID和MMD值均显著降低且优于其他常见模型,证明了模型的有效性。

基于空洞卷积和ECANet的双判别生成对抗网络图像修复模型

针对传统的生成对抗网络模型在修复过程中所产生的训练不稳定、结构不一致和内容纹理不够真实等一系列问题,提出一种基于空洞卷积和ECANet双判别生成对抗网络的图像修复模型,分别从生成网络、判别网络和损失函数三个方面进行改进。生成网络采用从粗糙到精细的两阶段网络模型,并在网络模型中加入高效通道注意力(ECA),结合L1重建损失以提高修复区域的细节精度;判别网络中采用全局判别和局部判别的双重判别式网络模型,以提高判别性能的准确性;最后损失函数选取WGAN-GP对抗损失和L1重建损失使得训练更加稳定。在Celeba数据集上进行实验对比,本文所提模型能够取得更好的效果。

潜在低秩表示下的双判别器生成对抗网络的图像融合

为了改善红外与可见光图像融合的视觉效果,通过潜在低秩表示将两种不同源的图像分别分解为各自的低秩分量和去除噪声的稀疏分量,采用KL变换确定权重对稀疏分量进行加权融合得到融合稀疏图。再对双判别器的生成对抗网络重设计,借助VGG16网络提取两种源的低秩分量特征作为该网络的输入,通过生成器和判别器的博弈来生成融合低秩图。最后,将融合稀疏图与融合低秩图进行叠加获得最终的融合结果。实验结果表明,在TNO数据集上,与所列的5种先进方法相比,本文所提出的方法在熵、标准差、互信息、差异相关性总和及多尺度结构相似度5种指标上均获得最优结果,相比于次优值,5种指标分别提高了2.43%,4.68%,2.29%,2.24%,1.74%。在RoadScene数据集上只在差异相关性总和及多尺度结构相似度两种指标上取得最优,另外3种指标仅次于GTF(gradient transfer and total variation minimization)方法,但图像视觉效果明显优于GTF方法。综合主观评价和客观评价分析,本文所提方法确实能获得高质量的融合图像,与多种方法相比具有明显的优势。

基于双维度注意力集成对抗网络的太阳能电池缺陷图像生成

针对太阳能电池缺陷图像稀缺问题,为了对太阳能电池缺陷检测模型进行训练,提出一种双维度注意力集成对抗网络的缺陷图像生成方法.首先构造双生成器与双判别器的集成对抗网络模型;然后将通道注意力与改进的空间注意力结合为双维度注意力,并将其融入生成器与判别器中;最后设计双生成器分时训练的方式解决模型训练不稳定的问题.在太阳能电池电致发光(EL)缺陷数据集上的实验结果表明,5种生成缺陷图像中的图像多样性指标和结构相似性指标比现有最优生成方法最高分别提升53.87和0.46;利用生成的缺陷图像进行yolov5检测模型的训练,5种缺陷的平均精度均值达到96.56%.

基于门控卷积和SENet的双判别生成对抗网络图像修复模型

针对现有模型修复带有随机不规则掩码且语义内容复杂的图片时细节不够真实这一问题,提出了一种基于门控卷积和SENet的双判别生成对抗网络图像修复模型。首先,将破损图片掩码输入由若干门控卷积堆叠成的粗网络中,在上采样时添加通道注意力(SE),结合L1重建损失,得到初步修复图;然后,将初步修复图输入精细网络,精细网络由若干门控卷积块和通道注意力块构成,结合重构损失、感知损失和对抗损失完善重要特征和细节,将破损图像的完好区域覆盖到精细网络的修复图上,得到完成修复的图片;最后,使用双判别网络结构进行训练,使精细网络的输出与完成修复的图片更加真实。在celebA数据集上进行实验,所提模型对带有大面积不规则掩码图片的修复结果在峰值信噪比(PSNR)上达到了27.39 dB,相较于部分卷积提升了6.74%,在结构相似性(SSIM)上达到了0.9216,较部分卷积提升了2.95%。实验结果表明,引入通道注意力和双判别结构有助于提升图像修复的细节。

基于双判别器加权生成对抗网络的图像去模糊方法

原始生成对抗网络(generative adversarial network,GAN)在训练过程中容易产生梯度消失及模式崩溃的问题,去模糊效果不佳。由此本文提出双判别器加权生成对抗网络(dual discriminator weighted generative adversarial network,D2WGAN)的图像去模糊方法,在GAN的基础上增加了一个判别器网络,将正向和反向KL(Kullback-Leibler)散度组合成一个目标函数,引入加权的思想调整正向和反向KL散度的比例,利用两个散度的互补特性,在学习清晰图片过程中避免不良模式的形成。实验结果表明,与现有方法相比,本文方法能更真实地恢复图像细节部分,且在评价指标峰值信噪比和图像结构相似度上有更好的表现。

级联式生成对抗网络的全景图像修复

为了解决全景图像视场宽、畸变显著等问题,提出了一种级联式生成对抗网络的全景图像修复算法。第一阶段提出了一种双判别器生成对抗网络,通过对等矩形格式的全景图像进行立方体投影转换,对立方体六面图像进行修复,引入PatchGAN作为全局判别器捕获细节信息,局部判别器网络可以保证局部修复结果与周围区域的一致性。第二阶段提出了一种失真感知生成对抗网络,通过矩形混合卷积缓解全景图像失真,判别器引入谱归一化,与第一阶段进行级联以缓解立方体图像边界不连续问题,设计联合损失函数以优化网络修复效果。实验结果表明,所提算法无论从主观视觉评价或是从客观评价指标上均取得了优秀的效果,实现全景图像的有效修复。

基于双判别器的GANomaly异常检测方法研究

在异常检测领域中,生成对抗网络(Generative Adversarial Nets, GAN)和自编码器(Autoencoder, AE)近年来取得了较好的应用效果。然而,现有的基于GAN的异常检测模型普遍存在重构能力差的问题。针对于此,该文提出一种双判别器的GANomaly网络模型,其中,全局判别器用于提高图像的重构能力,局部判别器用于提高在空间层次的编码能力。分别在MvTec数据集和自制轮胎X光图像数据集上对文中所提方法进行验证,实验结果表明,该方法能够有效提升模型的重构能力,降低异常分数阈值,提高异常检测的准确率。

基于双判别器的汉泰伪平行语料生成方法

神经机器翻译模型在高资源语言对之间取得了很大的进展,但它在低资源语言对下的模型训练效果不佳。针对汉泰语言对数据稀缺的问题,提出了一个基于双判别器的汉泰伪平行句对生成方法。该方法建立在以英语为枢轴语言的生成式对抗网络上,它在原始网络拥有一个英汉判别器的基础上进一步构建了泰汉判别器。在中间句子构建过程中,还提出了基于词性的中间句子构造方法。实验结果表明,所提方法相较于基线方法在泰汉翻译方向上BLEU值提高了2.09,在汉泰翻译方向上BLEU值提高了2.04。

基于改进生成对抗网络的诗歌生成

针对生成具有明确主题和优美诗意的诗歌问题,将诗歌生成任务转换为两个相关的对抗训练子任务,以门控循环单元实现生成器,改进生成对抗网络单判别器结构为双判别器结构,使用主题和诗意两类判别器通过策略梯度算法为生成器提供反馈,不断改善诗歌生成质量,保证生成诗歌具有明确的主题和优美的诗意.测试结果表明,基于改进生成对抗网络生成的诗歌在主题相关性及诗意上均优于现有方法.

基于跳跃连接的生成对抗网络人脸修复算法

针对生成对抗网络(GAN)在人脸修复任务中存在的修复效果不佳、细节体现不足、修复边缘生硬等问题,提出一种跳跃连接式生成对抗网络。首先,在双判别器模型基础上,通过在生成器中引入跳跃连接来获取更多层间特征来提升图像修复效果;其次,采用步长卷积进行采样来减少采样造成的信息损失;最后,在CelebA数据集上进行实验,并用峰值信噪比和结构相似性对结果进行验证。实验结果表明:系统峰值信噪比和结构相似性值分别为32.1587和0.9662,相较原模型分别提高了14.67%和4.35%;该算法明显提高了图像修复质量和训练稳定性。

改进GAN网络在生成短视频的应用研究

在研究生成对抗网络(GAN)生成动态图像时,经常出现前后帧图像内容中的部分物体颜色不一致和生成的细节不自然等问题。针对当前生成视频的不理想问题,采用的主要方案是分别对GAN网络中的生成器和判别器进行改进,具体表现在两个方面:一方面是在生成器中对视频的前景和背景分别建模,并且使用多重空间自适应归一化(Multi Spatially-Adaptive Normalization,M-SPADE)算法;另一方面是在判别器的选取上使用双视频判别器(DVD-GAN),然后在Kinetics-600数据集进行训练,实验后的结果分别比对F-Vid2Vid,WC-Vid2Vid等生成方法。实验结果证明了对GAN网络改进的方法在处理生成短视频的前后帧颜色不一致的问题和细节上有着不错的效果,生成的图像相对的更加清晰。

基于双路级联对抗机制的红外与可见光图像融合方法

针对现有的基于生成对抗网络的图像融合方法存在忽略红外图像的热目标信息,可见光图像的部分细节信息丢失的情况,提出一种基于双路级联对抗机制的红外与可见光图像融合方法。首先,在生成器模型中采用双路级联的方式分别对红外与可见光图像进行特征提取,为提高融合质量在内容损失函数中引入结构相似度。然后,在判别器模型中采用双判别方式判别生成图像的真假。最后,在公开的数据集上进行实验并与8种经典先进的图像融合方法进行比较。实验结果表明:融合图像在保留红外图像的目标信息同时也保留了可见光图像更多的细节信息,在主观评价和客观评估上均获得较好的性能。

基于新生成器结构的图像修复方法

针对目前图像修复算法存在的修复效果不连续、缺失大小受限、训练过程不稳定等缺点,提出了一种基于生成对抗网络的图像修复方法.利用卷积神经网络,我们可以真实地修复任意分辨率的图像.为了实现高分辨率的真实修复效果和对图像特征的充分学习,我们提出基于DenseNet传播源图像的细节和结构得到高分辨率的图像,实现图像缺失生成;由于Iizuka等人提出的基于双判别器方法中膨胀卷积部分所产生的巨大运算量,我们提出使用JPU (Joint Pyramid Upsampling,联合金字塔上采样)来加速计算.在CelebA和ImageNet上的实验表明,所提方法能真实地修复大多数的破损图像.

融合多感受野与注意力的太阳能电池缺陷生成算法

针对太阳能电池某些缺陷图像样本较少的问题,提出融合多感受野与注意力的太阳能电池缺陷生成算法,并将生成图像用于缺陷检测模型的训练.首先,构造双判别器的生成对抗网络,全局判别器与局部判别器分别关注图像中的全局信息与局部细节.然后,设计多感受野特征提取,与改进的注意力模块融合为多感受野注意力模块,用于设计生成器和判别器的网络结构.最后,在损失函数中加入结构相似性损失与峰值信噪比损失,用于训练生成器,并对生成图像进行均值滤波处理.在太阳能电池电致发光数据集上对3种不同尺度的缺陷图像进行生成实验,结果表明,3种缺陷生成图像的结构相似性指标与峰值信噪比指标都较高.此外,在利用生成的缺陷图像进行YOLOv7检测模型的训练后,3种缺陷的平均精度均值较高.

基于自适应VMD和DD-cCycleGAN的滚动轴承剩余寿命预测

为准确预测强噪声干扰小样本情况下的滚动轴承剩余寿命(remaining useful life, RUL),提出一种基于自适应变分模态分解(variational mode decomposition, VMD)和双判别器条件循环一致对抗网络(double-discriminator conditional CycleGAN, DD-cCycleGAN)的滚动轴承RUL预测方法。将黑猩猩优化算法(chimp optimization algorithm, ChOA)与VMD相结合,给出一种基于ChOA的自适应VMD算法,选取有效模态分量进行重构,降低强背景噪声的干扰;开发一种DD-cCycleGAN生成新样本,这些生成的新样本不但保留了源域的样本信息,还与目标域的样本相似;将训练样本的重构样本和生成的新样本作为输入,训练长短时记忆(long short-term memory, LSTM)网络,用训练后的LSTM网络预测测试样本中滚动轴承的RUL。通过采用XJTU-SY滚动轴承加速寿命试验数据集验证该方法的有效性,试验结果表明该方法具有较强的抗噪能力和较高的轴承RUL预测精度。

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络(GAN)的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比(PSNR)为31.28 dB,结构相似性(SSIM)为0.872,而与双三次差值、超分辨率残差网络(SRResNet)、加速的卷积神经网络超分辨率(FSRCNN)、基于GAN的单图像超分辨率(SRGAN)和增强型超分辨率生成对抗网络(ESRGAN)算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。

基于D2GAN和颜色迁移的侯马盟书虚拟修复

以侯马盟书为研究对象,针对盟书字符残缺的情况进行研究,对比现有文字修复算法在修补断裂,模糊的文字图像时会出现文字骨架提取困难,修补结果不符合原有字符结构规范等问题,构建基于双判别生成对抗网络(D2GAN)的侯马盟书修复网络。首先,将U-Net网络架构引入生成网络,加入跳跃连接与膨胀卷积实现多尺度骨架内容提取,在生成网络中将带有掩码的盟书图像进行补全,判别网络对生成网络的输出图像和真实的盟书图像进行判断,在对抗中逐渐完成网络的建模。修复内容后再通过颜色迁移使字符恢复其原有的色彩和风格。结果与多组修复算法进行对比,实验表明在掩膜覆盖大于10%时,算法的峰值信噪比和结构相似性均值更高,修复的盟书字符结构更加完整,图像内容质量更优。

基于DD-CycleGAN的道路检测模型研究

道路检测对于辅助驾驶而言仍具有挑战性。为了获得更准确的道路检测结果,提出一种结合深度学习与自适应检测的道路检测模型,该模型可以有效地提取道路特征并完成道路检测任务。首先,采用双判别器周期一致的生成对抗网络(DD-CycleGAN)作为全文的基础框架网络。其次,在生成器中添加空间卷积神经网络(CNN)以及残差密集块,进一步提升生成器的性能。最后,提出一种自适应的优化模型来提高道路检测的准确度。实验结果表明:提出的模型在KITTI道路基准数据集上精度达到了92.15%,明显优于传统的道路检测算法。

基于VAE-D2GAN的涡扇发动机剩余使用寿命预测

为了提高涡扇发动机剩余使用寿命的预测精度,提出一种将变分自编码器(VAE)和双判别器对抗式生成网络(D2GAN)相结合的预训练特征提取模型。在该模型中,VAE作为D2GAN的生成器参与模型训练,形成双重嵌套生成结构,以提高中间特征的提取质量;利用长短时记忆网络进一步挖掘所提取特征的时序退化信息,预测发动机剩余使用寿命。为了验证所提模型的高效性,将模型在通用数据集上进行测试,并与当前最先进的研究比较,结果显示所提模型具有更优秀的预测表现,极大提高了发动机系统的安全性。