改进CycleGAN的钢材表面缺陷图像生成方法

针对工业钢材表面缺陷检测过程中存在的样本采集困难、成本较高,以及缺陷种类较多难以覆盖全部导致的小样本问题,提出一种改进循环生成对抗网络(cycle-consistent generative adversarial networks,CycleGAN)的钢材表面缺陷图像生成方法。首先,将通道注意力(class activation map,CAM)和空间注意力(spatial attention map,SAM)机制嵌入到CycleGAN模型中,增强模型的特征提取能力;其次,引入权重解调(weight demodulation,WD)机制修复特征伪影和白斑,进一步提高生成图像的质量;再次,引入形状一致性损失对生成器训练过程进行监督,解决图像几何变换过程中内在模糊性问题;最后,将改进前后的模型在NEU-DET数据集上进行试验。结果表明,改进后的模型在缺陷图像生成的效果上更具多样性和准确性,PSNR,SSIM分别提高了13.0%和7.8%,FID值降低了33.1%。该方法能够稳定地生成高质量的各类钢材表面缺陷图像,可以达到增加训练数据的目的,对于其他缺陷数据集的扩增具有参考价值。

风格强度可变的人脸风格迁移网络

目的针对人脸风格迁移算法StarGAN(star generative adversarial network)、MSGAN(mode seeking genera⁃tive adversarial network)等存在细节风格学习不佳、迁移效果单一和生成图像失真等缺点,提出一种能够降低失真并生成不同风格强度图像的人脸风格迁移算法MStarGAN(multilayer StarGAN)。方法首先,通过特征金字塔网络(feature pyramid network,FPN)构建前置编码器,生成蕴含有图像细节特征的多层特征向量,增强生成图像在风格传输时能学习到的风格图像的细节风格;其次,使用前置编码器对原图像及风格图像各生成一个风格向量并进行组合,利用组合后的风格向量进行风格传输,使生成图像具有不同的风格迁移强度;最后,采用权重解调算法作为生成器中的风格传输模块,通过对卷积权重的操作代替在特征图上的归一化操作,消除特征图中的特征伪影,减少生成图像中的失真。结果在Celeba_HQ数据集上进行实验,与MSGAN、StarGAN v2等对比算法相比,在参考引导合成实验中,MStarGAN的FID(Frechét inception distance score)指标分别降低了18.9和3.1,LPIPS(learned perceptual image patch similarity)指标分别提升了0.094和0.018。在潜在引导合成实验中,MStarGAN的FID指标分别降低了20.2和0.8,LPIPS指标分别提升了0.155和0.92,并能够生成具有不同风格强度的结果图像。结论提出的算法能够传输图像的细节风格,生成具有不同强度的输出图像,并减少生成图像的失真。