基于改进StyleGAN的高分辨率可控肖像视频风格迁移网络

肖像风格迁移是计算机视觉和图形学的一个重要领域。然而,当前很多肖像风格迁移算法在很大程度上未能捕捉到不同肖像风格的重要几何依赖。因为肖像风格迁移需要更注重特征的细化和风格的融合。与此同时,数据的稀缺性也是风格化的挑战之一,同时面向图像的方法在应用于视频时也会存在闪烁伪影等缺陷。针对肖像风格迁移,本文提出了基于改进StyleGAN的高分辨率可控肖像视频风格迁移算法HcpGAN(style transfer network for High-resolution Controllable Portrait video based on Style-GAN)。具体来说,HcpGAN由生成器和鉴别器组成,生成器采用内外双支路风格路径网络结构进行肖像风格迁移,分层式网络结构可以对风格程度进行可控与微调,通过扩张卷积对生成器第一层特征模块进行微调,解除了肖像输入固定裁剪限制。与此同时,在生成器的尾部集成处理视频帧的特征扭曲层,不使用额外的网络和光流预测,通过引入特征扭曲层直接对视频帧的时间一致性信息进行建模,从而输出时间序列平滑的风格化视频。在公开数据集上对比试验和消融实验显示,HcpGAN在当前肖像风格迁移算法中处于先进水平。

一种单模型多风格快速风格迁移方法

多数图像风格迁移任务都是一个模型只能对应一种风格,这在实际应用场景中效率低下,提出一种单模型多风格的快速风格迁移方法,只使用一个模型就可以适应任意风格样式。使用一组线性变化分别对内容特征和风格特征进行转换,使用组合的风格损失函数来重建图像。分析比较了Avatar-net方法、AdaIN方法、Johnson的快速风格迁移方法和基于线性变换的风格迁移方法,并使用PSNR和SSIM作为评价指标,得出提出的风格迁移方法更优,其中PSNR达到了11.591 dB,SSIM达到了0.499,并且将该方法应用于视频风格迁移也有不错的表现。