基于自注意力模块的面部表情编码方法

随着人脸表情生成模型在影视娱乐、人机交互、医疗手术模拟等领域的应用越来越广泛,对生成连续的面部表情有着迫切需求。为解决当前ExprGAN生成模型存在低分辨率和图像不真实的问题,对该模型进行改进。使用深度卷积网络能够提升GAN生成高分辨率的图片,把注意力机制 Attention 引入了GAN,利用全局信息,产生更加合理和完整的图片。并与当前先进的AC-GAN模型进行了比较,Inception score提高了2.9,图片质量得到了提高。

融合特征编码的面部表情编辑技术

为解决当前连续面部表情生成模型易在表情密集区域产生伪影、表情控制能力较弱等问题,该文对GANimation模型进行了研究改进,提高对表情肌肉运动单元AU控制的准确度。在生成器的编码和解码特征层之间引入多尺度特征融合(MFF)模块,以长跳跃连接的方式将得到的融合特征用于图像解码。在生成器的解码部分中加入一层逆卷积,便于MFF模块添加,更加高效合理。在自制的数据集上与原网络进行对比实验,表情合成的准确度和生成的图像质量分别提高了1.28和2.52,验证了该算法在生成图像没有模糊和伪影存在的情况下,面部表情编辑能力得到加强。