基于条件生成对抗插补网络的双重判别器缺失值插补算法

应用中的各种因素可能造成数据缺失,影响后续任务的分析。因此,数据集缺失值的插补尤为重要。相比原本没有插补的处理,错误的插补值也会对分析造成更严重的偏差。针对这种情况,提出新的采用双重判别器的基于条件生成对抗插补网络(C-GAIN)的缺失值插补算法DDC-GAIN(Dual Discriminator based on C-GAIN)。该算法通过一个辅助判别器辅助主判别器判断预测值的真假,即根据一个样本的全局信息判断这个样本生成的真假,更注重特征之间的关系,以此估算预测值。在4个数据集上与5种经典插补算法进行对比实验,结果表明:同样条件下,DDC-GAIN算法在样本量较大时的均方根误差(RMSE)最低;在Default credit card数据集上缺失率为15%时,DDC-GAIN算法的RMSE比次优算法C-GAIN降低了28.99%。这说明利用辅助判别器帮助主判别器学习特征之间的关系是有效的。

基于注意力机制和随机像素擦除的双判别器单图生成对抗网络

针对单一自然图像生成模型的梯度消失和模式崩溃问题,提出了基于注意力机制和随机像素擦除的双判别器单图生成对抗网络模型。具体方法为:在生成器中引入CBAM模块以增强特征表示;采用多样性损失优化损失函数提高生成图像多样性;在图像上采样及过渡到下一阶段前增加随机像素擦除进一步丰富输出的多样性;在判别器中集成自注意力机制捕获更加全面的依赖关系;实施双判别器设计减轻模式崩溃问题。实验结果表明:与单一自然图像生成模型相比,本文方法在图像质量、多样性和训练稳定性方面均有显著提升。

基于多判别器辅助分类器生成对抗网络的故障诊断方法研究

在强冲击、强辐射、极高温等极端恶劣的工作环境下,机械设备的故障模式复杂多样,获得充足且有效的故障数据变得非常困难甚至难以实现,以致故障诊断的准确性受限,后续检修维护方案难以有效制定。针对这一问题,提出了一种多判别器辅助分类器生成对抗网络的数据增强算法。通过设置3个判别器、1个生成器并添加独立的分类器,构建了新的辅助分类器生成对抗网络模型。针对在该模型训练中存在的不稳定性问题,通过引入Wasserstein距离构造新的损失函数,并采用稳定性更具优势的单边软约束正则化项替换原有的L2梯度惩罚项来解决模型崩溃问题;在此基础上,采用高效通道注意力机制来进一步提高模型的特征提取能力。将所提出的模型应用于扩充机械设备故障数据集,辅助深度学习智能诊断模型的训练。多个故障数据集扩充实验表明,与现有模型相比,新模型所生成数据的质量更高,故障诊断的准确率也得到进一步提高,因此具有较高的应用价值。

结合混合注意力的双判别生成对抗网络

图像生成任务中,如何提升生成图片的质量是一个关键问题。当前,生成对抗网络采用的多层卷积结构存在局部性归纳偏置的问题,无法准确聚焦关键信息,导致图像特征丢失严重,生成图像效果较差。为此,提出了结合混合注意力的双判别生成对抗网络(DDMA-GAN)。设计了一种混合注意力机制,利用通道注意力和空间注意力模块,从两个维度充分捕获图像特征信息;为解决单判别器存在判别误差的问题,提出一种双判别器结构,使用融合系数将判定结果融合,使回传参数更具客观性,并嵌入数据增强模块,进一步提升模型鲁棒性;采用铰链损失作为模型损失函数,最大化真假样本间的距离,明确决策边界。模型在公开数据集LSUN和CelebA上进行验证,实验结果表明,DDMA-GAN生成的图像更加真实,纹理细节更加丰富,其FID和MMD值均显著降低且优于其他常见模型,证明了模型的有效性。

基于空洞卷积和ECANet的双判别生成对抗网络图像修复模型

针对传统的生成对抗网络模型在修复过程中所产生的训练不稳定、结构不一致和内容纹理不够真实等一系列问题,提出一种基于空洞卷积和ECANet双判别生成对抗网络的图像修复模型,分别从生成网络、判别网络和损失函数三个方面进行改进。生成网络采用从粗糙到精细的两阶段网络模型,并在网络模型中加入高效通道注意力(ECA),结合L1重建损失以提高修复区域的细节精度;判别网络中采用全局判别和局部判别的双重判别式网络模型,以提高判别性能的准确性;最后损失函数选取WGAN-GP对抗损失和L1重建损失使得训练更加稳定。在Celeba数据集上进行实验对比,本文所提模型能够取得更好的效果。

潜在低秩表示下的双判别器生成对抗网络的图像融合

为了改善红外与可见光图像融合的视觉效果,通过潜在低秩表示将两种不同源的图像分别分解为各自的低秩分量和去除噪声的稀疏分量,采用KL变换确定权重对稀疏分量进行加权融合得到融合稀疏图。再对双判别器的生成对抗网络重设计,借助VGG16网络提取两种源的低秩分量特征作为该网络的输入,通过生成器和判别器的博弈来生成融合低秩图。最后,将融合稀疏图与融合低秩图进行叠加获得最终的融合结果。实验结果表明,在TNO数据集上,与所列的5种先进方法相比,本文所提出的方法在熵、标准差、互信息、差异相关性总和及多尺度结构相似度5种指标上均获得最优结果,相比于次优值,5种指标分别提高了2.43%,4.68%,2.29%,2.24%,1.74%。在RoadScene数据集上只在差异相关性总和及多尺度结构相似度两种指标上取得最优,另外3种指标仅次于GTF(gradient transfer and total variation minimization)方法,但图像视觉效果明显优于GTF方法。综合主观评价和客观评价分析,本文所提方法确实能获得高质量的融合图像,与多种方法相比具有明显的优势。

基于双维度注意力集成对抗网络的太阳能电池缺陷图像生成

针对太阳能电池缺陷图像稀缺问题,为了对太阳能电池缺陷检测模型进行训练,提出一种双维度注意力集成对抗网络的缺陷图像生成方法.首先构造双生成器与双判别器的集成对抗网络模型;然后将通道注意力与改进的空间注意力结合为双维度注意力,并将其融入生成器与判别器中;最后设计双生成器分时训练的方式解决模型训练不稳定的问题.在太阳能电池电致发光(EL)缺陷数据集上的实验结果表明,5种生成缺陷图像中的图像多样性指标和结构相似性指标比现有最优生成方法最高分别提升53.87和0.46;利用生成的缺陷图像进行yolov5检测模型的训练,5种缺陷的平均精度均值达到96.56%.

结合坐标注意力与生成式对抗网络的图像超分辨率重建

针对现有生成式对抗网络GAN的图像超分辨率重建模型中存在着特征信息利用不充分、VGG式判别器对局部细节的判断能力较弱以及训练不稳定的问题,提出了一种结合坐标注意力与生成式对抗网络的图像超分辨率重建模型。首先,以嵌有坐标注意力的残差块构建生成器,沿通道和空间2个维度聚合特征,更充分地提取特征。然后,调整Dropout加入网络的方式使其作用于生成器中,提高模型的泛化能力。接着,以U-Net结构构造判别器,输出详细的逐像素反馈,以获取真假图像间的局部差异。最后,在判别器中引入谱归一化正则化,稳定GAN的训练。实验结果表明,当放大因子为4时,在基准测试集Set5和Set14上取得的峰值信噪比平均提高了1.75 dB,结构相似性平均提高了0.038,能够重建出更加清晰且真实的图像,重建图像具有良好的视觉效果。

基于门控卷积和SENet的双判别生成对抗网络图像修复模型

针对现有模型修复带有随机不规则掩码且语义内容复杂的图片时细节不够真实这一问题,提出了一种基于门控卷积和SENet的双判别生成对抗网络图像修复模型。首先,将破损图片掩码输入由若干门控卷积堆叠成的粗网络中,在上采样时添加通道注意力(SE),结合L1重建损失,得到初步修复图;然后,将初步修复图输入精细网络,精细网络由若干门控卷积块和通道注意力块构成,结合重构损失、感知损失和对抗损失完善重要特征和细节,将破损图像的完好区域覆盖到精细网络的修复图上,得到完成修复的图片;最后,使用双判别网络结构进行训练,使精细网络的输出与完成修复的图片更加真实。在celebA数据集上进行实验,所提模型对带有大面积不规则掩码图片的修复结果在峰值信噪比(PSNR)上达到了27.39 dB,相较于部分卷积提升了6.74%,在结构相似性(SSIM)上达到了0.9216,较部分卷积提升了2.95%。实验结果表明,引入通道注意力和双判别结构有助于提升图像修复的细节。

基于双判别器加权生成对抗网络的图像去模糊方法

原始生成对抗网络(generative adversarial network,GAN)在训练过程中容易产生梯度消失及模式崩溃的问题,去模糊效果不佳。由此本文提出双判别器加权生成对抗网络(dual discriminator weighted generative adversarial network,D2WGAN)的图像去模糊方法,在GAN的基础上增加了一个判别器网络,将正向和反向KL(Kullback-Leibler)散度组合成一个目标函数,引入加权的思想调整正向和反向KL散度的比例,利用两个散度的互补特性,在学习清晰图片过程中避免不良模式的形成。实验结果表明,与现有方法相比,本文方法能更真实地恢复图像细节部分,且在评价指标峰值信噪比和图像结构相似度上有更好的表现。

级联式生成对抗网络的全景图像修复

为了解决全景图像视场宽、畸变显著等问题,提出了一种级联式生成对抗网络的全景图像修复算法。第一阶段提出了一种双判别器生成对抗网络,通过对等矩形格式的全景图像进行立方体投影转换,对立方体六面图像进行修复,引入PatchGAN作为全局判别器捕获细节信息,局部判别器网络可以保证局部修复结果与周围区域的一致性。第二阶段提出了一种失真感知生成对抗网络,通过矩形混合卷积缓解全景图像失真,判别器引入谱归一化,与第一阶段进行级联以缓解立方体图像边界不连续问题,设计联合损失函数以优化网络修复效果。实验结果表明,所提算法无论从主观视觉评价或是从客观评价指标上均取得了优秀的效果,实现全景图像的有效修复。

基于双重判别解码器的三维点云形状补全网络

针对碗状文物模型由于碎片缺失导致的逆向几何重建保真度不高的问题,为此提出了一种基于双重判别解码器的三维点云形状补全网络。首先基于编码解码器构建基本点云生成网络,然后根据生成对抗网络框架优化解码器结构,通过将全局特征进行解码获取目标骨架点云,保证点云的全局特征,进而在对骨架点云的基础上进一步进行局部点云细化生成判别,保证目标点云的局部特征。最后面向特征缺失拼接模型搭建双分支形状补全网络。实验结果表明在公开数据集ShapeNet的点云补全实验中,本文方法的平均误差更小,相较对比网络,本文方法在碗状文物模型的三维形状补全任务更好,平均倒角距离提高了20.2%,为后续的模型逼真化提供了一个基础,具有更强的性能和良好的应用价值。

通道加权下的双判别GAN超分辨率网络

针对现有基于生成对抗网络的单图超分辨率重构方法特征利用率不足,生成图像包含少量无意义噪声的问题,提出一种基于通道注意力机制的双判别生成对抗网络。通过对生成网络中密集残差块进行通道加权,优化网络的特征利用率。同时在对抗网络中对生成图像进行像素域和特征域的双重判别,促使生成网络产生更丰富的结构特征和高频信息。实验结果表明,与现有的SRGAN、ESRGAN两种算法相比,该算法能够重构出感官质量更高的图像。

基于双判别器的GANomaly异常检测方法研究

在异常检测领域中,生成对抗网络(Generative Adversarial Nets, GAN)和自编码器(Autoencoder, AE)近年来取得了较好的应用效果。然而,现有的基于GAN的异常检测模型普遍存在重构能力差的问题。针对于此,该文提出一种双判别器的GANomaly网络模型,其中,全局判别器用于提高图像的重构能力,局部判别器用于提高在空间层次的编码能力。分别在MvTec数据集和自制轮胎X光图像数据集上对文中所提方法进行验证,实验结果表明,该方法能够有效提升模型的重构能力,降低异常分数阈值,提高异常检测的准确率。

基于增强型多尺度残差生成对抗网络的图像压缩

为解决低码率下更符合人类视觉感知的图像压缩,提出一种基于增强型多尺度残差生成对抗网络的有损压缩方法。在网络框架的自动编码器中,使用一种结构上改进的增强型多尺度残差块,其可以扩大感受野,更容易获得图像的全局信息。引入简易注意力模块,帮助网络更加关注图像复杂的部分,减少简单部分的比特。判别器部分采用全新的相对平均判别器,在网络框架中使用LPIPS(learned perceptual image patch similarity)感知损失减轻图像伪影问题。采用两阶段训练的方式解决引入生成对抗网络导致训练不稳定的问题。实验结果表明了在低码率下所提模型的有效性,与之前的工作相比,所提方法在感知失真指标上表现更优,性能提升了65%左右,重建图像更符合人类视觉感知。

基于生成对抗网络的数据增强技术在葡萄叶数据增强中的应用

研究生成对抗网络(Generative Adversarial Networks,GAN)在葡萄叶数据增强中的应用。增强的葡萄叶数据可以提升病害检测的准确性。传统的数据增强方法虽然能在一定程度上缓解数据不足的问题,但是生成的图像往往缺乏多样性和真实感。为此,结合GAN和多尺度注意力机制设计一种改进的对抗生成网络AMSGAN。通过训练该模型的生成器和判别器,最终可生成高质量、多样性的葡萄叶图像。实验结果验证了该模型在葡萄叶数据增强中的有效性和潜力。

基于双判别器的汉泰伪平行语料生成方法

神经机器翻译模型在高资源语言对之间取得了很大的进展,但它在低资源语言对下的模型训练效果不佳。针对汉泰语言对数据稀缺的问题,提出了一个基于双判别器的汉泰伪平行句对生成方法。该方法建立在以英语为枢轴语言的生成式对抗网络上,它在原始网络拥有一个英汉判别器的基础上进一步构建了泰汉判别器。在中间句子构建过程中,还提出了基于词性的中间句子构造方法。实验结果表明,所提方法相较于基线方法在泰汉翻译方向上BLEU值提高了2.09,在汉泰翻译方向上BLEU值提高了2.04。

多判别器循环生成对抗网络的素描人脸合成

素描人脸合成在娱乐和刑侦领域具有重要应用价值。为了解决传统素描人脸合成方法生成图像面部细节模糊,缺失真实感等问题,改进了CycleGAN网络结构,提出一种基于多判别器循环生成对抗网络的素描人脸合成方法。该方法选取残差网络作为生成网络模型,在生成器隐藏层中增加多个判别器,提高网络对生成图像细节特征的提取能力;并建立了重构误差约束映射关系,最小化生成图像与目标图像之间的距离。通过在CUHK和AR人脸数据库中的对比实验,证明了相比于原始CycleGAN框架该方法性能有明显提升;相比于目前领先的方法,所提方法生成的素描图像细节特征更清晰,真实感更强。

基于增强多尺度生成对抗网络的单幅图像去雾

雾容易导致采集的图像质量下降,并且包含的雾会影响后续的图像分析.单幅图像去雾是计算机视觉领域的经典问题之一.本文提出一种增强的多尺度生成对抗网络用于图像去雾.该方法不依赖物理散射模型,去雾网络由生成器、判别器和增强器3个部分组成.其中,增强器有助于采样多种特征使不同尺度的特征细节融入到结果,提升去雾图像在颜色和细节上的复原效果.增强器被分别嵌入到生成器和判别器,全局生成器和局部生成器融合生成一个由粗到细的高分辨率去雾图像,多尺度判别器用于监督生成图像.在真实世界和合成含雾图像数据集上的大量实验结果表明,提出的方法得到的去雾图像具有满意的主观视觉质量,并且利用最新的去雾定量评价指标,也具有好的客观图像质量.

基于改进循环生成对抗网络的图像去噪研究

图像去噪研究是图像处理中非常关键的一项技术。目前,常见的图像去噪方法大部分都需要成对的训练数据集,并且所生成的去噪图像大都会在颜色分布、边缘衔接等细节信息上和真实图像存在一定的差异,因此提出了一种基于改进的循环生成对抗网络的图像去噪方法。这种改进方法在原网络的基础上引入了多尺度判别器并提出了新的目标损失函数。其中,新的损失函数引入了像素损失和特征损失,还用Smooth L1范数损失代替了原网络中的L1范数损失。实验结果表明,提出的改进网络相较于原网络的性能有一定提升。和原网络相比,利用改进后的网络进行去噪的图片峰值信噪比从25.24dB提高到29.02dB,提高了15.0%;结构相似性指数从0.862提高到0.956,提高了10.9%。