基于GAN的场景文本艺术风格转换

图像风格转移是将风格样式迁移到源图像中的目标区域以创建艺术排版的任务,论文研究如何对场景文本图像中的文字区域进行风格转换,以实现自动对广告或海报中的文字进行风格转换,降低艺术创作的成本并提高艺术风格的多样性。由于场景文本图像中不同因素之间存在复杂的相互作用,先前很少有在保留原始文字内容和背景的同时进行文本风格转换的工作。该文提出了一个三阶段的框架,这是首个直接在原图进行程度可控的风格转换的网络,将原本对单个二值化字符进行风格转换的方法扩展到场景文本图像上的文字,并涉及到了图像修复的相关知识。首先使用风格转换网络只对场景文本图像中的文本风格进行转换,后利用字符擦除网络擦除原始字符重建背景图像,最后融合部分利用生成的前景图像和擦除字符后的背景图像生成最终风格转换后的结果图像。论文通过大量实验证明了该方法的有效性。