基于改进StyleGAN的高分辨率可控肖像视频风格迁移网络

肖像风格迁移是计算机视觉和图形学的一个重要领域。然而,当前很多肖像风格迁移算法在很大程度上未能捕捉到不同肖像风格的重要几何依赖。因为肖像风格迁移需要更注重特征的细化和风格的融合。与此同时,数据的稀缺性也是风格化的挑战之一,同时面向图像的方法在应用于视频时也会存在闪烁伪影等缺陷。针对肖像风格迁移,本文提出了基于改进StyleGAN的高分辨率可控肖像视频风格迁移算法HcpGAN(style transfer network for High-resolution Controllable Portrait video based on Style-GAN)。具体来说,HcpGAN由生成器和鉴别器组成,生成器采用内外双支路风格路径网络结构进行肖像风格迁移,分层式网络结构可以对风格程度进行可控与微调,通过扩张卷积对生成器第一层特征模块进行微调,解除了肖像输入固定裁剪限制。与此同时,在生成器的尾部集成处理视频帧的特征扭曲层,不使用额外的网络和光流预测,通过引入特征扭曲层直接对视频帧的时间一致性信息进行建模,从而输出时间序列平滑的风格化视频。在公开数据集上对比试验和消融实验显示,HcpGAN在当前肖像风格迁移算法中处于先进水平。

一种单模型多风格快速风格迁移方法

多数图像风格迁移任务都是一个模型只能对应一种风格,这在实际应用场景中效率低下,提出一种单模型多风格的快速风格迁移方法,只使用一个模型就可以适应任意风格样式。使用一组线性变化分别对内容特征和风格特征进行转换,使用组合的风格损失函数来重建图像。分析比较了Avatar-net方法、AdaIN方法、Johnson的快速风格迁移方法和基于线性变换的风格迁移方法,并使用PSNR和SSIM作为评价指标,得出提出的风格迁移方法更优,其中PSNR达到了11.591 dB,SSIM达到了0.499,并且将该方法应用于视频风格迁移也有不错的表现。

深度对抗视觉生成综述

深度视觉生成是计算机视觉领域的热门方向,旨在使计算机能够根据输入数据自动生成预期的视觉内容。深度视觉生成使用人工智能技术赋能相关产业,推动产业自动化、智能化改革与转型。生成对抗网络(generative adversarial networks,GANs)是深度视觉生成的有效工具,近年来受到极大关注,成为快速发展的研究方向。GANs能够接收多种模态的输入数据,包括噪声、图像、文本和视频,以对抗博弈的模式进行图像生成和视频生成,已成功应用于多项视觉生成任务。利用GANs实现真实的、多样化和可控的视觉生成具有重要的研究意义。本文对近年来深度对抗视觉生成的相关工作进行综述。首先介绍深度视觉生成背景及典型生成模型,然后根据深度对抗视觉生成的主流任务概述相关算法,总结深度对抗视觉生成目前面临的痛点问题,在此基础上分析深度对抗视觉生成的未来发展趋势。