注意力引导的交互式工笔花卉上色算法

中国传统的工笔花卉画中人工渲染上色过程繁复、技巧性较高,现有的线稿图自动上色算法难以生成自然合理的渐变色效果.文中基于条件生成对抗网络,提出注意力引导的交互式工笔花卉上色算法,自动完成花卉白描线稿到工笔花卉色图的仿真生成.首先设计刻画花朵颜色类别和布局的花色注意力图,可在训练阶段指导网络进行重要颜色特征的学习,在应用阶段作为用户与系统的交互手段,完成色彩设计.其次,在网络结构设计方面,构建并训练针对花色注意力图的局部颜色编码子网络,将注意力图的编码信息作为仿射参数,引入生成器各层的条件归一化过程中,实现生成网络全域对颜色的学习和控制.考虑到深度特征偏重刻画全局语义信息,可能损失反映线条特征的局部高频信息,在生成器网络中引入跨层连接的结构,加强线条特征的学习.实验表明,文中算法可以较好地将花卉白描线稿渲染成工笔花卉的色图,生成的图像符合真实工笔花卉画的颜色分布和特点,具有较好的艺术真实感和观赏性.

基于参考图语义匹配的花卉线稿工笔效果上色算法

研究基于参考图像的花卉线稿图的工笔效果上色问题.现有的基于参考图像的线稿图上色算法对工笔花卉画特有的色彩渐变的特点难以学习和模拟;此外通常还要求参考图像与线稿图具有相似的几何布局结构,这也限制了算法的适用性,故而直接采用现有算法难以实现线稿图的工笔效果上色.基于条件生成对抗网(conditional generative adversarial network,CGAN)框架,提出了一种将参考图像与线稿图进行语义匹配的花卉线稿图工笔效果上色算法RBSM-CGAN.该算法在网络结构设计方面,以U型网络(简称U-Net)为生成器基础,设计了2个附加子模块:1)语义定位子模块.该模块预训练了一个语义分割网络,以生成花卉线稿图的语义标签图,该标签图编码后作为自适应实例归一化的仿射参数引入到上色模型中,提升对不同语义区域的识别能力,进而提高颜色定位的准确性.2)颜色编码子模块.该模块提取参考图像的颜色特征,而后将该特征拼接到生成网络解码层的前3层,利用这种方式将颜色信息注入上色模型,与语义定位模块相配合加强算法对渐变色的学习和模拟.另外,算法在网络训练方面改变传统的“工笔花卉原作-花卉线稿图”数据对的训练方式,通过打乱原作的几何结构等摄动操作生成原作摄动图,采用“原作摄动图-花卉线稿图”数据对进行网络训练,降低了模型对原作空间几何结构的依赖性,提升了算法的适用性.实验结果表明:该算法对用户选择的参考图像的颜色语义具有正确的响应,所引入的“语义定位+颜色编码”的结构设计提升了对渐变色的模拟效果,实现了在不同参考图像指导下的花卉线稿图的工笔效果上色,可快速生成多样化的上色结果.