基于改进StyleGAN的高分辨率可控肖像视频风格迁移网络

肖像风格迁移是计算机视觉和图形学的一个重要领域。然而,当前很多肖像风格迁移算法在很大程度上未能捕捉到不同肖像风格的重要几何依赖。因为肖像风格迁移需要更注重特征的细化和风格的融合。与此同时,数据的稀缺性也是风格化的挑战之一,同时面向图像的方法在应用于视频时也会存在闪烁伪影等缺陷。针对肖像风格迁移,本文提出了基于改进StyleGAN的高分辨率可控肖像视频风格迁移算法HcpGAN(style transfer network for High-resolution Controllable Portrait video based on Style-GAN)。具体来说,HcpGAN由生成器和鉴别器组成,生成器采用内外双支路风格路径网络结构进行肖像风格迁移,分层式网络结构可以对风格程度进行可控与微调,通过扩张卷积对生成器第一层特征模块进行微调,解除了肖像输入固定裁剪限制。与此同时,在生成器的尾部集成处理视频帧的特征扭曲层,不使用额外的网络和光流预测,通过引入特征扭曲层直接对视频帧的时间一致性信息进行建模,从而输出时间序列平滑的风格化视频。在公开数据集上对比试验和消融实验显示,HcpGAN在当前肖像风格迁移算法中处于先进水平。

中国肖像画的风格转移算法

风格转移技术能快速生成目标艺术作品,但直接用在中国画上通常会存在特征分布不协调、人脸辨识不一致等问题.针对上述问题,文中提出基于卷积神经网络(CNN)的中国肖像画风格转移算法.首先,针对中国肖像画中写意和工笔两种绘画技法,提出笔触控制约束,指导图像的纹理分布.然后,提出国画特征移动距离,用于度量内容与风格特征,并将参考的中国画风格协调部署在肖像照上.最后,针对中国画的水墨色调和留白特点,提出水墨留白约束改进损失网络.实验表明,文中算法生成的结果不仅保证人脸辨识的一致性,而且在中国画艺术风格上表现更优.