基于神经网络的图像风格迁移研究进展

图像风格迁移是用风格图像对指定图像的内容进行重映射的过程,是人工智能计算机视觉领域中的一个研究热点。传统的图像风格迁移方法主要基于物理、纹理技术的合成,风格迁移效果较为粗糙并且鲁棒性较差,随着图像数据集的出现和各种深度学习模型网络的提出,涌现了许多图像风格迁移的模型和算法。通过对图像风格迁移研究现状的分析,梳理了图像风格迁移的发展脉络和最新的研究进展,并通过对比分析给出了图像风格迁移未来的研究方向。

基于改进生成对抗网络的图像风格迁移算法

图像风格迁移是图像处理领域的研究热点,但目前风格迁移模型存在生成图像细节模糊、风格纹理的色彩效果较差以及模型参数过多等问题。文中提出了一种基于改进循环一致性生成对抗网络的图像风格迁移方法,通过加入Ghost卷积模块和反残差改进模块来优化生成器网络结构,以此降低模型参数量和计算成本。同时能增强网络的特征提取能力,在损失函数中加入内容风格损失项、颜色重建损失项和映射一致性损失项来改善模型的生成能力,提升生成图像质量。实验结果表明,所提改进方法具有较强的风格迁移能力,有效增强了生成图像的内容细节和风格纹理的色彩效果,显著提升了图像质量,模型性能也得到了改善。

基于SAM分割的交互式局部图像风格迁移方法研究

针对目前局部图像风格迁移目标区域选择困难、迁移灵活性不足、容易出现内容泄露、前景与背景边缘过渡不自然等问题,提出一种基于任意分割模型(Segment Anything Model,SAM)的交互式局部图像风格迁移方法。首先利用SAM分割网络在用户输入提示的指导下对输入的内容图像进行交互式目标迁移区域提取,对得到的有效对象掩码进行二值化处理,以二值化掩码提取全局风格化图像的目标区域作为前景、内容图像作为背景图像进行泊松融合,实现局部图像风格迁移。为了避免迁移过程中的内容泄露,全局风格迁移网络采用生成对抗网络架构,通过多级自适应注意力归一化模块进行风格特征转换,利用联合损失函数对网络进行综合训练。实验结果表明,设计的交互式局部图像风格迁移网络能够根据用户提示生成灵活可控的局部迁移结果,可以对图像中的任意物体进行风格迁移,迁移结果很好地保留了内容源图像中的内容结构,避免了内容泄露,且前景与背景边缘过渡更加自然。

基于改进DeepLabv3+与CycleGAN的图像风格迁移研究

CycleGAN的优势就是在没有成对训练集的情况下将图像从原目标区域迁移到目标区域,但其泛化能力较弱,针对CycleGAN无法在图像风格迁移时仅对所需目标进行迁移和DeepLabv3+模型和参数量过大的问题,本文提出了一种结合改进DeepLabv3+网络和CycleGAN的局部图像迁移方法。先使用DeepLabv3+网络对图像进行语义分割,再将分割出来的目标与迁移图像进行匹配,将得到的迁移图像转回到原图像中,实现对局部图像的迁移。在DeepLabv3+模型中使用MobileNetV2代替主干网络,使用WASP网络代替ASPP网络降低了模型体积,减少了参数量,提高检测速度。采用相似性SSIM与峰值信噪比PSNR作为迁移图像评估指标,对迁移后的效果进行评估。实验表明,使用改进DeepLabv3+网络和CycleGAN的局部图像迁移方法能够提高风格迁移质量,拥有更好的视觉效果。

基于改进生成对抗网络的图像风格迁移方法研究

为了解决传统GAN(Generative Adversarial Network)进行图像风格迁移受到成对数据集的限制,以及CycleGAN学习高级特征时表现不佳和训练过慢的问题,本文采用ModileNetV2-CycleGAN模型进行图像风格迁移,并引入多尺度结构相似性指数(multi-scale structural similarity,MS-SSIM)作为惩罚项保留风格图片的特征,来提高特征学习的效果,从而提高风格化图片质量。采用客观结构相似性SSIM与峰值信噪比PSNR和主观投票作为评估指标,对迁移后的效果进行评估,实验结果表明了本文改进算法的有效性。

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。

基于高斯采样的区域多元化图像风格迁移方法

随着深度学习的迅速发展,图像风格迁移成为计算机视觉领域的研究热点之一.针对现有方法难以对内容图像中局部相似区域进行有效风格迁移的问题,提出基于高斯采样的区域多元化图像风格迁移方法.首先,通过编码器提取图像特征;然后,在特征空间中将内容特征、风格特征和从风格图像所处的高斯分布中采样得到的风格特征融合;最后,通过解码器重建风格化图像.在WikiArt和Microsoft COCO数据集上进行实验,并使用内容损失和多尺度风格损失评价指标进行量化度量.实验结果表明,与现有方法相比,所提方法能有效地降低生成图像的风格损失,使生成图像的整体风格更加统一,呈现出更好的视觉效果.

基于感知对抗网络的图像风格迁移方法研究

基于有关图像风格迁移研究成果,结合生成式对抗网络(generative adversarial network,GAN)和感知损失函数,文章提出了基于感知对抗网络(perceptual adversarial network,PAN)的图像风格迁移方法。该方法利用感知损失函数进行对抗训练,通过图像转换网络与判别网络之间的交替优化,生成图与原图在多个网络层次的特征差异能被持续发掘,使生成图的内容和风格更接近原图。实验结果表明,基于PAN的图像风格迁移方法能取得更佳效果。

一种基于VGG神经网络实现图像风格迁移的方法

针对使用传统非参数手工演算方法实现图像风格迁移过程较为复杂、时间漫长且迁移效果不理想等不足,提出了一种利用CNN原理并在AlexNet模型上改进的VGG神经网络模型,将该模型与Tensor⁃Flow2深度学习框架相结合可快速实现图像风格迁移。实验结果表明,采用VGG图像风格迁移技术的两组实验VGG-16和VGG-19都能较好地完成图像风格迁移任务,迁移后的图像既保证了内容图像的完整性还具有风格图像的色彩、纹理等特征,且以VGG-19神经网络模型表现效果最佳。

图像风格迁移技术研究

2015年之前,图像风格迁移技术多采用人工数学建模方式,模拟图像风格.由于深度学习具有快速提取高级抽象特征的优点,将深度学习应用于图像的风格化特征和内容特征的提取,已成为图像风格迁移领域的主流技术.图像风格迁移技术是通过运用一定的算法,将一幅图片的内容信息与另一幅图片的色调、纹理、轮廓等风格进行融合,从而创造出一张全新的图像.与原图相比,新生的图像保留原有内容信息不变,但风格却变得截然不同.

基于生成对抗网络的HDR图像风格迁移技术

针对高动态范围(high dynamic range,HDR)图像较为复杂耗时的合成流程,提出一种基于生成对抗网络的HDR图像风格迁移技术.首先,构建两个生成对抗网络的训练集:普通图片与低曝光HDR图片,普通图片与高曝光HDR图片;然后,通过生成对抗网络训练,得到普通图片到低曝光HDR图片和普通图片到高曝光HDR图片两个生成模型;最后,将模型输出的高低曝光图像和原图合成HDR文件,再通过色调映射形成最终HDR风格迁移后的图像.实验结果表明,这种方法不仅有效解决了HDR图像风格迁移问题,也充分表明了生成对抗网络在图像编辑中的优越性.

新的基于GAN的局部写实感漫画图像风格迁移

利用生成对抗网络对图像进行风格迁移,将真实世界的图像直接转换为高品质动漫风格,是当今计算机视觉的研究热点之一。针对目前流行的AnimeGAN和CartoonGAN漫画生成对抗网络在图像迁移中存在细节丢失严重、色彩失真等问题。通过引入SE-Residual Block(挤压激励残差块)、漫画脸部检测机制并优化损失函数提出全新的ExpressionGAN解决了AnimeGAN迁移图像细节丢失严重的问题。通过加入DSConv(分布偏移卷积)提出Scenery-GAN加快了训练速度并消除了CartoonGAN迁移图像中的歧义像素块。通过卷积优化了图像的融合边界。同时,提出了一种新的对原始图像人物和环境分别处理并融合的局部写实主义漫画模型。实验结果表明,与AnimeGAN和CartoonGAN相比,该方法在训练速度、漫画图像生成质量和图像局部写实感方面都有了明显的提升。

基于深度学习的图像风格迁移研究综述

为推进基于深度学习的图像风格迁移的技术研究,对目前基于深度学习的图像风格迁移的主要方法和代表性工作进行了归纳与探讨。回顾了非参数的图像风格迁移,详细介绍了目前主要的基于深度学习的图像风格迁移的基本原理和方法,分析了图像风格迁移在相关领域中的应用前景,最后总结了基于深度学习的图像风格迁移目前存在的问题与未来的研究方向。

基于残差网络的快速图像风格迁移研究

图像风格迁移技术是指将一幅图像通过学习(利用卷积神经网络)名画风格,转换为与名画风格相近的图像。Gatys提出的NAAS利用VGG网络设计了一个损失网络,通过反复迭代得到风格迁移图像。Li Feifei在NAAS的基础上引入残差网络,利用残差元的快捷连接特性加速计算。主要针对以下两个方面提出了改进:对经典残差元结构进行调整,将标准卷积转换为点卷积和深度卷积,在保证卷积效果的同时降低计算量;对损失网络进行简化,该模型中第四、第五层在结构上高度一致,并且这两层的风格还原与内容重建效果基本相同,因此删去第五层并相应调整结构参数,去掉冗余参数,在降低参数量的同时保证风格还原与内容重建的效果。

基于深度学习的图像风格迁移研究进展

图像风格迁移是计算机视觉领域的一个热点研究方向。随着深度学习的兴起,图像风格迁移领域得到了突破性的发展。为了推进图像风格迁移领域的发展,对基于深度学习的图像风格迁移的现有研究方法进行综述。对基于深度学习的图像风格迁移方法进行分类和梳理,并对比分析基于卷积神经网络和基于生成对抗网络的风格迁移方法,介绍了图像风格迁移的改进性和拓展性工作,讨论了图像风格迁移领域目前面临的挑战和未来的研究方向。

一种VGGNet的图像风格迁移算法设计与实现

针对卷积神经网络在实现图像风格迁移中出现的图像失真及精度较差问题,提出一种基于卷积神经网络的图像风格迁移算法.分析传统的纹理重构算法,采用拟牛顿法之一的L-BFGS优化方法对其进行改进.利用Gram矩阵计算图片中的纹理、颜色和视觉信息,提取一幅普通图片和一幅具有代表性的艺术性图像的两种高层抽象特征表示,从而生成具有原内容和艺术性风格的合成图像.在深度学习Keras框架的基础上,设计一种卷积神经网络的图像风格迁移算法.实验结果表明,适度地选择迭代次数可观察合成图像的匹配程度,该算法可提高准确度并降低计算复杂度.

深度卷积神经网络下的图像风格迁移算法

针对图像风格迁移中出现的图像扭曲、内容细节丢失的问题,提出一种基于深度卷积神经网络的带有语义分割的图像风格迁移算法。定义内容图像损失和风格图像损失函数;对内容图像与风格图像分别进行语义分割,并将Matting算法作用在内容图像上,使用最小二乘惩罚函数来增强图片边缘真实性;进行图像的内容重建和风格重建生成新的图像。分析比较Neural Style改进方法、CNNMRF方法和带有语义分割的图像风格迁移方法生成的图像。实验结果和质量评估表明,70%带有语义分割的图像风格迁移方法生成的图像没有明显的图像扭曲,且内容细节完好。所以,该方法可以解决图像扭曲和细节丢失的问题,使内容丰富的图像可以得到精确的风格迁移。

语义风格一致的任意图像风格迁移

图像风格迁移的目标是通过将目标图像风格迁移到给定的内容图像来合成输出图像。目前已有大量关于图像风格迁移的工作,但这些方法的风格化结果忽略了内容图像不同语义区域的流形分布,同时,大多数方法使用全局统计数据(如Gram矩阵或协方差矩阵)来实现风格特征到内容特征的匹配,不可避免地存在内容丢失、风格泄漏和伪影的问题,从而产生不一致的风格化结果。针对以上问题,提出了一个基于自注意力机制的渐进式流形特征映射模块(MFMM-AM),用于协调一致地匹配相关内容和风格流形之间的特征;然后通过在图像特征空间中应用精确直方图匹配(EHM)来实现风格和内容特征图的高阶分布匹配,减少了图像信息的丢失;最后,引入了两个对比性损失,利用大规模风格数据集的外部信息来学习人类感知的风格信息,使风格化图像的色彩分布和纹理图案更加合理。实验结果表明,与现有典型的任意图像风格迁移方法相比,所提网络极大地弥合了人类创作的艺术品和人工智能创作的艺术品之间的鸿沟,可以生成视觉上更加和谐和令人满意的艺术图像。

基于语义分割的图像风格迁移技术研究

随着民族服装文化的碰撞与融合,对图像风格迁移技术进行了研究,阐述了当前风格迁移的研究现状,将蒙古族服饰风格与汉族风格进行融合,继承和弘扬了民族文化。针对蒙古服饰元素多样、颜色差异大、花纹不规则性等特征而引起的风格提取难度大的问题,采用K均值与封闭式自然抠图算法相结合的方法进行图像分割,基于神经网络提取图像的风格和内容,利用图像重建技术合成结果图,实现蒙汉服饰图像风格迁移;针对输出图像伪影严重的问题,采取一种改进的图像风格迁移算法,将输入图像到输出图像的变换约束在色彩空间的局部仿射变换中,将这个约束表示成一个完全可微的参数项,有效抑制图像扭曲,针对真实照片风格迁移过程中存在的空间不一致问题,进行平滑处理确保风格处理后空间风格一致,该方法大大加快了运算速度。

基于计算机图像风格迁移的音乐可视化智能设计研究

目的基于Processing程序识别音乐特征和图像特征,控制图像风格迁移的实时生成效果,尝试将人对音乐和图像的联觉进行可视化表达。方法预处理阶段分别分析输入的音乐文件和图像文件,提取音乐文件中左右声道的实时强度等特征,识别图像文件中色彩空间及单位像素的亮度。数据交互阶段,建立随机生成效果,并以音乐特征和图像特征为因变量控制粒子生成的位置、时机等。画面生成阶段,通过蠕虫效果对每个有效粒子进行动态视觉展示,根据实时更新的有效特征值指导渲染效果,主要控制渲染过程中新粒子的位置和数量,以及粒子的形状、颜色和速度等。结果音乐文件与图像文件同时对图像风格迁移的可视化表达产生影响,不同搭配方式生成视觉画面和风格属性是独特的唯一的;同时,图像重建过程动态可视,屏幕从空白到完成人像效果呈现的完整过程与音乐播放进程实时同步输出。结论将传统的音乐可视化和图像风格迁移相结合,为音乐可视化增加了具体内容表达,为图像风格迁移增加了时序表达;这种实时信息可视化是人工智能模仿人类通感的一种艺术表达形式,同时是一种表演艺术。这种可视化效果可以帮助用户用音乐生成独一无二的个性肖像;也可被广泛应用于艺术家表达音乐和视觉的关联性。