基于深度神经网络的图像风格化方法综述

图像风格化旨在通过风格化模型,将一幅图像在保持语义内容不变的同时从一种风格转换到另一种风格.鉴于深度神经网络强大的特征提取和表达能力,学者们先后提出各种基于深度神经网络的图像风格化方法.文中根据风格的定义方式,将基于深度神经网络的图像风格化方法划分为基于参考的图像风格化方法和基于域的图像风格化方法,并对相关文献进行归纳梳理.与已有相关综述不同,文中只研究基于深度神经网络的图像风格化方法,从风格定义的角度进行详尽全面的分类.最后总结目前代表性工作在图像风格化任务常用数据集上的实验结果,分析现有方法存在的问题,并基于这些问题展望未来工作.

CycleGAN-SN:结合谱归一化和CycleGAN的图像风格化算法

为解决CycleGAN算法图像风格化质量不高、网络稳定性不强的问题,提出了CycleGAN-SN算法。在CycleGAN算法判别网络的每一个卷积层后添加谱归一化层,通过幂迭代法估算卷积层参数矩阵的谱范数,采用随机梯度下降法更新卷积层参数。由于参数在每一次更新中的变化量很小,只需迭代一次即可快速估算出矩阵的最大奇异值。根据得到的最大奇异值,对卷积层参数进行归一化处理,使得整个判别网络满足1-Lipschitz连续。在4个常用风格图像数据集上进行实验,并与CycleGAN算法进行对比,结果表明:所提算法能够在保留原有图像细节的基础上,生成色彩鲜艳、纹理清晰、风格渲染充分的风格化图像;在训练过程中的损失函数振荡幅度小,能够使用更大的学习率进行训练,稳定性较强;能够有效减少网络收敛所需的步数,收敛速度较快;在测试阶段一次性风格化751幅图像时,时间最多仅增加0.63 s,几乎没有额外的时间消耗。

基于深度学习的图像风格化算法研究综述

随着“人工智能”时代的到来,“深度学习”一词也逐渐走进大众的视野,一些基于深度学习神经网络的图像处理方法也随之产生,图像风格化作为其中一个重要的分支也获得了广泛的关注。目前,研究学者提出了很多基于深度学习的图像风格化算法,而且都能较好地完成风格化任务。全面概述了深度学习在图像风格化领域的进展,对比了不同算法之间的优劣,最后探讨了当前基于深度学习的图像风格化研究的局限性及未来的研究方向。

一种空间控制的快速图像风格化方法

针对现有的图像风格化方法中内容与风格不匹配而导致风格化效果较差的问题,在分析快速图像风格化方法的基础上,提出一种空间控制的快速图像风格化方法(FSTSC)。将图像分为多个小块(patch),使用块匹配方法寻找风格图像和内容图像最匹配的patch。利用图像语义分割方法对图像进行预处理,根据不同内容类别的引导向量计算语义风格损失,控制内容图像的不同内容区域获得对应的风格化处理,从而提升图像风格化的效果。实验将该方法与现有的快速图像风格化方法在图像风格化效果和时间两方面进行对比,分别提升约12.5%和25.5%,表明该方法是一种合理和有效的方法。

基于EBGAN的图像风格化技术

为了解决传统图像风格化算法生成图像的多样性较差的问题,本文提出一种基于EBGAN(Energy-Based Generative Adversarial Net)的网络模型,即在鉴别器中引入能量函数思想,设计Autoencoder使其能分别针对真假输入产生不同重构结果,计算输入图像重构前后的误差值,以此误差值作为能量概念用来鉴别输入图像。在Autoencoder的编码阶段,对于编码后的向量引入正交控制,控制同一batch中的两两向量最大正交化,推动生成器生成朝着不同方向发展的图像。使用该模型在Facades和Cityscapes数据集上进行实验,实验结果表明本文的网络模型能有效完成图像风格化过程,较传统图像风格化网络模型能生成更加多样化的图像。

基于机器深度学习的图像风格化应用

随着生活水平的逐日提高,人们对图片的视觉需求不再仅仅局限于图片的原始风格,由此诞生了各式各样的滤镜,它们让图片更具有观赏性。而基于机器深度学习的图像风格化应用,可以在此方向更进一步,利用训练好的卷积神经网络模型进行图像特征提取,使图片呈现出不同的艺术风格。

图像艺术风格化的研究现状

图像艺术风格化作为一个正在蓬勃发展的领域被越来越多的人熟知,也引起了众多学者的研究兴趣.本文总结了图片风格化的发展现状,分析了不同风格化方法的特点,指出了目前风格化方法的缺点,总结了图片风格化的发展趋势,为进一步研究图片风格化提供了方向.

利用图像滤波的沙画风格化方法

沙画是一种风靡全球的新视觉艺术形式,其风格对艺术创作具有重要意义,计算机沙画艺术方兴未艾.以图像滤波为基础,并尽可能准确地保持图像的原有细节与主轮廓,设计了一套自动化的沙画风格化算法框架.分别引入双边滤波、桑原滤波、中值滤波、各向异性扩散等四种方法进行了大量的实验.可视化结果表明,所提出的框架可行有效,使用不同的图像滤波算子都基本能生成具有沙画风格的结果图像.定量分析也证实,与已有方法相比,双边滤波、各向异性扩散取得了更佳的客观评价指标分值,更适用于沙画风格化.此外,算法所需的时间耗费也可以满足实时工程应用.总体上,所提出的方法能获得有效的生成结果,可以为计算机沙画艺术自动创作提供参考和借鉴.

基于跨媒体解纠缠表示学习的风格化图像描述生成

风格化图像描述生成的文本不仅被要求在语义上与给定的图像一致,而且还要与给定的语言风格保持一致.随着神经网络在计算机视觉和自然语言生成领域的技术发展,有关这个主题的最新研究取得了显著进步.但是,神经网络模型作为一种黑盒系统,人类仍然很难理解其隐层空间中参数所代表的风格、事实及它们之间的关系.为了提高对隐层空间中包含的事实内容和语言风格属性的理解以及增强对两者的控制能力,提高神经网络的可控性和可解释性,本文提出了一种使用解纠缠技术的新型风格化图像描述生成模型Disentangled Stylized Image Caption(DSIC).该模型分别从图像和描述文本中非对齐地学习解纠缠表示,具体使用了两个解纠缠表示学习模块——D-Images和D-Captions来分别学习图像和图像描述中解纠缠的事实信息和风格信息.在推理阶段,DSIC模型利用图像描述生成解码器以及一种特别设计的基于胶囊网络的信息聚合方法来充分利用先前学习的跨媒体信息表示,并通过直接控制隐层向量来生成目标风格的图像描述.本文在SentiCap数据集和FlickrStyle10K数据集上进行了相关实验.解纠缠表示学习的实验结果证明了模型解纠缠的有效性,而风格化图像描述生成实验结果则证明了聚合的跨媒体解纠缠表示可以带来更好的风格化图像描述生成性能,相对于对比的风格化图像描述生成模型,本文方法在多个指标上的性能提升了17%至86%.

多通道CartoonGAN下的图像风格动漫化

为解决真实图像转换为动漫风格图像出现的参数量大、图像纹理和颜色损失的问题,提出了一种多通道卡通生成对抗网络(MC_CartoonGAN)。首先,使用HSCNN+(advanced CNNs for the hyperspectral reconstruction task)和遗传算法重新构建多通道图像数据集,丰富图像信息。其次,利用DenseNet网络进行特征复用减少参数的内存占用率及缓解梯度消失的问题。最后,引入多通道颜色重建损失函数,在保证了生成图像内容完整的情况下,降低了生成图像的颜色损失。实验结果表明,提出的多通道卡通生成对抗网络将真实图像转换成动漫风格图像的质量更优。

局部图像风格迁移绘制算法

提出了一种基于导向滤波的局部图像风格迁移算法.局部图像风格迁移提取图像中感兴趣的部分进行风格迁移,将其渲染成具有铅笔画、水彩画或水墨画等风格的艺术图像.介绍了一种基于导向滤波提取局部图像(也叫图像抠图)的方法,得到二值掩膜图像,利用VGG16网络提取图像的高级特征,通过分离与重组输入图像的内容特征与风格特征的方式,实现局部目标图像的内容与艺术图像的风格的深度融合,并通过掩膜图像去除边缘粗糙,得到精细的风格化图像,从而获得新的局部风格迁移图像.

基于生成对抗网络的照片动漫风格化

基于Tensorflow训练了人脸动漫化模型和风景动漫风格转换的模型,并将此模型转为可在PyTorch下使用,摆脱Tensorflow的环境限制,仅需配置PyTorch相关环境即可成功使用。通过这些模型,用户可以将现实世界的图片转换为动漫的风格,体验到简单创作的乐趣。2个模型的训练使用新型的轻量级生成对抗网络AnimeGAN,以实现快速的动画风格转换。

基于局部均方差的神经网络图像风格转换

Gatys等人首次采用基于深度学习的方法,将图像的内容与风格进行分离与重组,使图像可以进行任意的风格转换,至此开创一个新的领域,即基于神经网络的图像风格化转换。该文在Gatys等人的研究基础上,引入局部均方差去噪方法,将局部均方差作为神经网络损失函数的一部分,同时结合内容损失函数与风格函数,将此三种损失函数的加权代数和作为神经网络的总损失函数。结果表明,该文方法在进行图像风格转换时,有效提升了风格转换算法输出的图像质量,使得图像噪声点明显减少,图像更加平滑。

笔触风格化技术研究综述

笔触风格化技术是图像艺术风格化最为经典和重要的研究方向,产生了众多的研究成果,也引起了越来越多研究人员的兴趣。总结了基于笔触图像风格化技术的研究现状,分析了笔触风格化系统的基本构成和各种不同类型算法的特点,指出了目前笔触风格化方法的缺点,揭示了图像风格化技术的发展趋势,为进一步研究和探索图像风格化提供了方向。

基于生成对抗网络的图像艺术风格迁移

提出了一种新颖的图像艺术风格化算法,利用结构相似性指数和最小二乘生成对抗网络,搭建图像艺术风格化模型.通过对模型生成器和判别器的对抗训练以及重建约束,该模型可以生成一幅逼真的风格化作品.根据在人脸肖像素描sketch-photo数据集和中国水墨画风格beihong-photo数据集实验表明,与目前流行的DualGAN算法、CycleGAN算法、Pix2Pix算法和GAN算法相比,本文提出的方法具有更好的风格化效果.

物像空间依赖的乱针绣针法定义与风格生成

为了模拟乱针绣这一被列入非物质文化遗传的中国刺绣工艺,提出一种图像风格化生成方法.首先在相互依赖的物像2个空间定义并生成由绣线聚集所构成的乱针绣绘制基元—针法,其中,在物空间中从绣线集合的朝向、交叉夹角、长度以及粗细等方面定义了针法中绣线的不同聚集方式,在像空间中对其进行栅格化得到点阵针法,并构建了针法词典对生成的点阵针法进行统一表示;其次对于输入图像,在对其进行分割和特征提取的基础上,将每个区域划分子区域,实现对区域内容的细化描述;最后在绘制阶段,对于每个子区域,采用稀疏编码方法依据子区域内容从针法词典中选择最优字典基组合,以合成新的针法来表现其内容,并依据子区域特征设定针法排布参数,将其放置在画布上以得到绘制结果.实验结果表明,该方法能够有效地将输入图像转换为具乱针绣风格的艺术图像.

基于创意序列学习的艺术风格学习与绘制系统

在众多传统艺术绘画形式中,笔触是被现代计算机绘画工具(GIMP、Photoshop和Painter)普遍采用的形式之一.创新性地提出了服务于非真实感渲染AI辅助艺术创作系统(A4).系统能够实现自动生成特定艺术家风格的笔触效果.该系统在强化学习框架下,主要进行以下研究工作:(1)提出基于PGPE的正则化策略学习方法以提高风格学习过程的稳定性;(2)利用IRL(inverse reinforcement learning)算法实现了艺术风格行为的模型化及其数字化保护方法.实验结果表明,所提方法行之有效地实现了针对具体个性风格的照片水墨画艺术风格转化.

一种基于卷积神经网络的油画风格迁移算法

油画风格是把一张图像的油画风格信息加到任意某张图像上,并保持该图像的语义内容,产生一个新的具有观赏性的图像。本文主要介绍了一种基于卷积神经网络的图像风格算法,可以分离和重组自然图片的图像内容与风格,进而实现图片的油画化迁移。该算法可以将任意图像的内容与众多知名油画风格相结合,获得高感知质量的艺术作品。通过实验验证该算法能够实现图像内容与油画风格的深度融合,证明了该算法的有效性。

机器学习在平面设计中的运用

图像风格化是平面设计中的一个重要手段,它能将不同图像上的艺术风格形象表现在普通图像上,从而改变图像的视觉效果。近几年来人工智能备受关注,基于机器学习的计算机视觉领域得到了迅猛发展,将机器学习方法运用到平面设计中,不仅可以丰富平面设计图像风格化技术,还可以方便普通用户进行图像风格的设计。