艺术美感增强的图像任意风格迁移

目前的研究表明,通用风格迁移取得了显著成功,即能将任意视觉风格迁移到内容图像。然而,在图像任意风格迁移的评价维度中,只考虑语义结构的保留度和风格图案的多样性是不全面的,还应将艺术美感纳入考量范围。现有方法普遍存在艺术美感不自然的问题——表现为风格化图像中会出现不和谐的图案和明显的伪影,很容易与真实的艺术作品区分开来。针对该问题,提出了一种艺术美感增强的图像任意风格迁移方法。首先,设计了一个多尺度艺术美感增强模块,通过提取不同尺度的风格图像特征,改善了风格化图案不和谐的问题;同时,设计了一个美感风格注意力模块,使用通道注意力机制,根据艺术美感特征的全局美感通道分布自适应地匹配并增强相应的风格特征;最后,提出了一个协方差变换融合模块,将增强后的风格特征的二阶统计数据迁移到对应的内容特征上,在很好地保留内容结构的同时实现了美感增强的风格迁移。通过与4种最新的风格迁移方法进行定性比较,同时进行消融实验,分别验证了所提模块与所加损失函数的有效性;在5项定量指标的对比中,有4项取得最优分数。实验结果表明,所提方法可以生成艺术美感更和谐的风格迁移图像。