结合生成对抗网络及多角度注意力的图像翻译模型

本文提出一个新的无监督图像翻译模型,该模型结合了生成对抗网络和多角度注意力,称为MAGAN.多角度注意力引导翻译模型将注意力集中在不同域间最具有判别性的区域.与现存的注意力方法不同的是,空间激活映射一方面捕获通道间的依赖,减少翻译图像的特征扭曲;另一方面决定网络对最具判别性区域的空间位置的关注程度,使翻译的图像更具有目标域风格.在空间激活映射的基础上,结合类激活映射,可以获得图像的全局语义信息.此外,根据空间激活程度对图像特征信息的影响,设计不同的注意力结构分别训练生成器和判别器.实验结果表明,本文模型在selfie2anime、cat2dog、horse2zebra和vangogh2photo这4个数据集上的KID分数分别达到9.48、6.32、6.42和4.28,性能优于大部分主流模型,并且与基线模型UGATIT相比,在selfie2anime、cat2dog和horse2zebra这3个数据集上的距离值分别减少了2.13、0.75和0.64,具有明显的性能优势.