基于GAN反演的无缝图像补全技术

图像补全技术广泛应用于对象消除、媒体编辑,旨在平滑地恢复受损图像。基于生成对抗网络(GAN)反演将预训练的GAN模型作为有效先验,以真实的合成材质填充缺失区域。然而,现有GAN反演方法忽视了图像补全是具有硬约束的生成任务,使拼接图像有颜色、语义的不连续问题。针对此问题设计新的双向感知生成器和预调制网络来无缝地补全图像,其中双向感知生成器充分利用扩展隐藏空间,帮助模型从数据表征层面感知输入图像的非缺失区域,预调制网络利用多尺度结构进一步为风格向量提供判别性更强的语义。在Places2和CelebA-HQ数据集上进行实验,结果表明该方法不仅搭建GAN反演和图像补全之间的桥梁,而且优于目前主流算法,在FID指标上降低49.2%。