一种基于生成对抗网络的轻量级图像翻译模型

图像到图像翻译是一类视觉和图形问题,其目标是使用一组图像来学习输入图像和输出图像之间的映射。近年来关于图像到图像翻译任务的研究工作有很多,例如pix2pix和CycleGAN都在这个任务上表现得非常优秀。但是很少有研究工作是关于如何对这类图像到图像翻译模型进行压缩,降低参数量的使用。目前轻量级网络结构的设计更多是用于基于卷积神经网络的目标检测模型和分类模型,而用于生成对抗网络模型的轻量级网络结构的研究还比较少。所以,文中提出了一种基于生成对抗网络的轻量级网络结构,用于对自然图像进行图像到图像翻译,例如将图像中的马转换为斑马,或者将图像从夏天的景色转换为秋天的景色。实验结果表明,通过使用轻量级的网络结构,该方法在速度和准确性等性能指标上获得了良好的表现。

结合小波变换高频信息的可控面部性别伪造

基于生成对抗网络(Generative Adversarial Network,GAN)的图像到图像的翻译(Image-to-Image Translation,I2I)技术在各种领域中取得了一系列突破,并广泛应用于图像合成、图像着色、图像超分辨率,特别是在面部属性操作方面获得了深入研究。为了解决目前I2I领域由于模型架构以及数据不均衡所导致的不同翻译方向的生成图像性能表现差异的问题,提出了一种HFIGAN(High Frequency Injection GAN)模型,实现了结合高频信息的可控面部性别伪造。首先在结合高频信息的小波模块中,将编码特征通过离散小波变换进行特征级的分解,将所得到的高频信息在解码阶段对等注入,使得在上采样过程中的源域与目标域之间的信息可以达成平衡状态。其次,针对I2I任务中多域转换在不同方向的翻译难度不一致的问题,通过对损失函数进行重新设计,将难易样本的损失进行放缩,提高难样本对模型的反馈,使模型更专注于难样本的训练从而提升模型性能。最后,提出基于风格特征的多样性正则项,将风格向量在不同空间中的距离度量添加至传统的多样性损失中进行监督,使得模型能在保持生成图像多样性的同时提升图像的生成质量。分别在CelebA-HQ数据集和FFHQ数据集上进行实验并验证了所提方法的有效性。在主流的I2I模型中结合所提损失进行了损失函数通用性验证。实验结果表明,与以往先进方法相比,HFIGAN在面部性别伪造方面性能更加优异,所提出的损失函数具备一定的通用性。

融合小波快捷连接生成对抗网络的面部性别伪造

面部属性编辑领域的主流方法由于数据以及模型架构的限制,存在如下两方面的问题:自编码器模型在编码以及解码阶段的瓶颈结构会丢失特征信息,以及在解码过程中逐阶段对源域特征进行连续的样式注入,使得生成图像中目标域信息占比过大,导致生成图像丢失了源域的身份信息以及部分细节;在人脸图像中,图像人物的性别、种族或年龄等属性的差异会使得不同图像的频域信息组成差别较大,在无监督的训练前提下,当前主流网络框架并不能在样式注入阶段调整源域信息以及目标域信息之间的占比,导致生成图像仍然存在伪影。针对上述问题,基于生成对抗网络和图像到图像的翻译提出一种面部性别伪造模型,即融合快捷小波连接生成对抗网络(WscGAN)。通过对自编码器结构添加快捷连接,将不同编码阶段的输出通过小波变换进行特征级别的分解,再引入通道注意力机制将其进行逐个处理,以此动态改变在解码过程中不同频率的源域特征信息的比例,最终实现面部图像在性别属性上的伪造。为了验证所提模型的有效性,WscGAN分别在CelebA-HQ数据集和FFHQ数据集上进行了实验。实验结果表明,WscGAN在CelebA-HQ以及FFHQ数据集上均领先现有先进模型,其中弗雷歇起始距离分别提升5.4%和19.8%,特征度量相似度分别提升1.8%和4.1%。此外,定性的视觉对比结果充分体现了WscGAN可有效改善面部图像性别属性伪造的效果。