基于特征对比的循环生成对抗网络图像风格转换研究

无监督图像到图像转换任务是在非配对训练数据的情况下学习源域图像到目标域图像的转换.但是,图像风格转换任务依然面临着图像内容丢失、模型坍塌等现象.为了解决上述问题,提出了一种局部特征对比来保持图像内容,通过特征提取器获得多层图像深层特征,使得图像编码器学习到高级语义信息,获得信息更加丰富的图像特征.同时,增加局部特征对比损失来引导特征提取器学习到有利于图像内容生成的特征.实验结果表明,在大多数情况下,所提方法在FID和KID分数方面优于之前的方法,图像生成质量有一定的提升.

基于神经网络的图像风格迁移研究进展

图像风格迁移是用风格图像对指定图像的内容进行重映射的过程,是人工智能计算机视觉领域中的一个研究热点。传统的图像风格迁移方法主要基于物理、纹理技术的合成,风格迁移效果较为粗糙并且鲁棒性较差,随着图像数据集的出现和各种深度学习模型网络的提出,涌现了许多图像风格迁移的模型和算法。通过对图像风格迁移研究现状的分析,梳理了图像风格迁移的发展脉络和最新的研究进展,并通过对比分析给出了图像风格迁移未来的研究方向。

基于改进生成对抗网络的图像风格迁移算法

图像风格迁移是图像处理领域的研究热点,但目前风格迁移模型存在生成图像细节模糊、风格纹理的色彩效果较差以及模型参数过多等问题。文中提出了一种基于改进循环一致性生成对抗网络的图像风格迁移方法,通过加入Ghost卷积模块和反残差改进模块来优化生成器网络结构,以此降低模型参数量和计算成本。同时能增强网络的特征提取能力,在损失函数中加入内容风格损失项、颜色重建损失项和映射一致性损失项来改善模型的生成能力,提升生成图像质量。实验结果表明,所提改进方法具有较强的风格迁移能力,有效增强了生成图像的内容细节和风格纹理的色彩效果,显著提升了图像质量,模型性能也得到了改善。

基于SAM分割的交互式局部图像风格迁移方法研究

针对目前局部图像风格迁移目标区域选择困难、迁移灵活性不足、容易出现内容泄露、前景与背景边缘过渡不自然等问题,提出一种基于任意分割模型(Segment Anything Model,SAM)的交互式局部图像风格迁移方法。首先利用SAM分割网络在用户输入提示的指导下对输入的内容图像进行交互式目标迁移区域提取,对得到的有效对象掩码进行二值化处理,以二值化掩码提取全局风格化图像的目标区域作为前景、内容图像作为背景图像进行泊松融合,实现局部图像风格迁移。为了避免迁移过程中的内容泄露,全局风格迁移网络采用生成对抗网络架构,通过多级自适应注意力归一化模块进行风格特征转换,利用联合损失函数对网络进行综合训练。实验结果表明,设计的交互式局部图像风格迁移网络能够根据用户提示生成灵活可控的局部迁移结果,可以对图像中的任意物体进行风格迁移,迁移结果很好地保留了内容源图像中的内容结构,避免了内容泄露,且前景与背景边缘过渡更加自然。

基于改进DeepLabv3+与CycleGAN的图像风格迁移研究

CycleGAN的优势就是在没有成对训练集的情况下将图像从原目标区域迁移到目标区域,但其泛化能力较弱,针对CycleGAN无法在图像风格迁移时仅对所需目标进行迁移和DeepLabv3+模型和参数量过大的问题,本文提出了一种结合改进DeepLabv3+网络和CycleGAN的局部图像迁移方法。先使用DeepLabv3+网络对图像进行语义分割,再将分割出来的目标与迁移图像进行匹配,将得到的迁移图像转回到原图像中,实现对局部图像的迁移。在DeepLabv3+模型中使用MobileNetV2代替主干网络,使用WASP网络代替ASPP网络降低了模型体积,减少了参数量,提高检测速度。采用相似性SSIM与峰值信噪比PSNR作为迁移图像评估指标,对迁移后的效果进行评估。实验表明,使用改进DeepLabv3+网络和CycleGAN的局部图像迁移方法能够提高风格迁移质量,拥有更好的视觉效果。

基于改进生成对抗网络的图像风格迁移方法研究

为了解决传统GAN(Generative Adversarial Network)进行图像风格迁移受到成对数据集的限制,以及CycleGAN学习高级特征时表现不佳和训练过慢的问题,本文采用ModileNetV2-CycleGAN模型进行图像风格迁移,并引入多尺度结构相似性指数(multi-scale structural similarity,MS-SSIM)作为惩罚项保留风格图片的特征,来提高特征学习的效果,从而提高风格化图片质量。采用客观结构相似性SSIM与峰值信噪比PSNR和主观投票作为评估指标,对迁移后的效果进行评估,实验结果表明了本文改进算法的有效性。

语义风格一致的任意图像风格迁移

图像风格迁移的目标是通过将目标图像风格迁移到给定的内容图像来合成输出图像。目前已有大量关于图像风格迁移的工作,但这些方法的风格化结果忽略了内容图像不同语义区域的流形分布,同时,大多数方法使用全局统计数据(如Gram矩阵或协方差矩阵)来实现风格特征到内容特征的匹配,不可避免地存在内容丢失、风格泄漏和伪影的问题,从而产生不一致的风格化结果。针对以上问题,提出了一个基于自注意力机制的渐进式流形特征映射模块(MFMM-AM),用于协调一致地匹配相关内容和风格流形之间的特征;然后通过在图像特征空间中应用精确直方图匹配(EHM)来实现风格和内容特征图的高阶分布匹配,减少了图像信息的丢失;最后,引入了两个对比性损失,利用大规模风格数据集的外部信息来学习人类感知的风格信息,使风格化图像的色彩分布和纹理图案更加合理。实验结果表明,与现有典型的任意图像风格迁移方法相比,所提网络极大地弥合了人类创作的艺术品和人工智能创作的艺术品之间的鸿沟,可以生成视觉上更加和谐和令人满意的艺术图像。

面向工业巡检的图像风格迁移方法

对于电力等工业场景中的巡检任务,需要将虚拟仿真生成的虚拟图像转换为真实的风格,辅助接下来的设备定位和设备缺陷检测工作。然而传统的图像风格迁移方法大多着眼于艺术图像与现实场景的转换,由于艺术图像本身的特性,在迁移前后图像的内容结构可能会出现一定程度的变化,这种变化会对下游任务的性能造成负面影响,因而无法直接应用。因此提出一种基于对比学习的图像风格迁移方法,通过在多个层次的特征上分别对比相同与不同位置图像块的特征,能够使生成图像在深层特征上向目标域靠近,同时约束迁移前后的图像内容上保持一致。实验表明,所提出的方法能够在保证图像主体内容不发生变形和缺失的同时,节省模型训练过程中的计算开销。

基于深度学习的图像风格迁移方法研究

为了快速实现图像风格迁移效果,提出基于深度学习的图像风格迁移方法。先将预处理目标内容图像和风格图像输入预训练VGG-19网络进行特征提取,再对特征损失系数进行设置,进而引入权重因子和平衡损失系数的最小二乘惩罚函数以加权求和方式获取总损失系数,最后依据梯度下降迭代方法进行图像重建,实现图像风格迁移效果。实验采用峰值信噪比(PSNR)和均方误差(MSE)来评价风格迁移图像的性能。结果显示,整体取得了很好的图像风格迁移效果。

基于笔触和轮廓约束的艺术绘画图像风格迁移

图像风格迁移在艺术绘画领域具有重要的应用价值,现有的艺术绘画风格迁移算法无法很好的迁移特定风格作品的独特笔触和图像中对象的轮廓特征。为实现更好的风格迁移效果,提出了一种基于笔触和轮廓约束的艺术绘画图像风格迁移方法。使用预训练的边缘检测器提取风格图像和内容图像的笔触特征,设计损失函数强调二者间的笔触一致性;采用腐蚀和模糊技术模拟油画中颜料的扩散效应,对内容图像中的对象轮廓进行约束。生成网络中引入多头注意力机制聚焦关键风格特征,损失函数采用Smooth L1代替L1来提升训练稳定性。算法在梵高绘画图像数据集上主要与CycleGAN进行对比实验,评估指标FID降低9%,SSIM提升11.8%,PSNR提高3.9%,且人类主观评估也有显著提升。实验结果表明算法较CycleGAN有更好的风格迁移效果。

基于深度学习的传统剪纸图像风格迁移算法研究

相比于水墨画、蜡染等其他艺术,剪纸具有严格的线性纹理结构和鲜明的纹样特异性,这给剪纸艺术的智能化创新带来了挑战。为此,提出了一种基于预训练卷积神经网络的剪纸风格迁移算法,在最大程度保留传统剪纸艺术特色的基础上,实现剪纸风格的快速准确迁移。首先,选择将内容图像作为初始迭代图像,以保留更多内容信息;其次,提出基于预训练卷积神经网络的小型网络以减少参数计算,实现风格特征及内容特征的快速提取;之后,引入全变分损失,提出一种基于绝对值误差的新损失函数,以提高图像的平滑性;最后,引入自适应的Adam优化算法,以减少梯度消失及梯度爆炸等现象。实验结果表明,该算法能够获得较为理想的风格迁移效果。

基于深度学习的轻量化图像风格迁移方法研究

由于传统图像风格迁移方法在风格化过程中会造成图像显著区域扭曲,导致艺术视觉效果不佳,为此文章研究基于深度学习的轻量化图像风格迁移方法。在图像风格迁移中,利用平滑处理、特征提取操作预处理风格化图像。通过显著区域检测,保留原始风格化图像中的显著区域。引入注意力机制结合轻量化卷积网络SqueezeNet,设计一个轻量化风格迁移模型。在INIT数据集上的定性与定量测试实验结果表明,文章设计迁移方法生成的风格化图像具有良好的视觉效果,验证了该方法的性能优越性。

内容结构保持的图像风格迁移方法

现有的风格迁移算法大多是实现艺术作品到真实场景,如照片等的转换任务。在这种任务设定下,图像内容的边界等结构信息可能会出现一定程度的变化,然而这种变化不利于下游任务的完成,因而不适用于大部分工业场景。为此提出一种新的结构保持的风格迁移方法,该方法分为频域约束的图像生成模块和基于memory bank机制的语义匹配模块。前者用以保证转换前后图像的整体语义结构一致性,而后者保证了图像的语义与风格匹配,从而物体内部结构一致。为了验证该方法在工业场景中的迁移效果,采用光伏板数据集,在虚拟到真实的迁移方向上,所提出的风格迁移算法能在完成风格转换的同时较好地解决图像结构形变问题,进而满足后续任务的需求。

基于深度学习的图像风格迁移算法研究

深度学习技术的发展促进了图像风格迁移算法的应用,介绍了基于深度学习的图像风格迁移算法原理及步骤,进行了迁移效果影响因素对比分析实验。结果表明,风格权重与内容权重之比对迁移效果影响较大,比率与迁移效果呈倒U规律,故可根据此规律调整比率参数。根据噪声图像或内容图像为原始目标图像在迁移效果上的特点,可按照迁移的具体要求,选择不同的原始目标图像。

基于深度神经网络的图像风格化方法综述

图像风格化旨在通过风格化模型,将一幅图像在保持语义内容不变的同时从一种风格转换到另一种风格.鉴于深度神经网络强大的特征提取和表达能力,学者们先后提出各种基于深度神经网络的图像风格化方法.文中根据风格的定义方式,将基于深度神经网络的图像风格化方法划分为基于参考的图像风格化方法和基于域的图像风格化方法,并对相关文献进行归纳梳理.与已有相关综述不同,文中只研究基于深度神经网络的图像风格化方法,从风格定义的角度进行详尽全面的分类.最后总结目前代表性工作在图像风格化任务常用数据集上的实验结果,分析现有方法存在的问题,并基于这些问题展望未来工作.

基于卷积神经网络的图像风格迁移研究

为解决图像风格迁移效果不理想的问题,在卷积神经网络的基础上对风格转换网络进行改进。首先,在下采样模块中加入注意力机制;然后,在下采样模块与上采样模块中间加入残差网络以加深网络深度;最后,将加入双通道注意力的迁移效果图与原VGG迁移效果进行比较,并引入SSIM和PSNR 2个评价指标以及网络迭代速度进行对比。实验结果表明,加入双通道注意力之后的迁移效果和网络迭代速度均有所提升。

基于深度生成模型的图像风格迁移算法改进与应用

在常规图像风格迁移算法中,因缺少对于图像特定风格的特征对齐,图像风格迁移的速度较慢。因此,研究基于深度生成模型的图像风格迁移算法。通过分析图像风格的迁移,运用Sigmoid函数和ReLU函数实施函数的激活,在不同的卷积层中对图像特征进行风格对齐,基于深度生成模型改进算法;基于图像风格扩展采样点,对范围内的采样图像进行合成,实现对图像风格迁移算法的改进。验证实验表明,文章提出的算法平均迁移速率为10.26 MB/s,高于对照组,从实验结果可以看出,改进后的算法具有一定的速率优势。

新世纪中国纪实动画的图像风格研究

近年纪实动画数量日益增多,且取得良好的传播效果。文章主要探索纪实动画在角色造型、图形设计、色彩运用等图像风格上的呈现,以期为纪实动画扩展创作、为主流媒体“破圈”拓宽创新思路。

基于深度神经网络的图像风格迁移系统开发

传统的图像风格迁移程序通过人工建模只能局限于单一风格迁移,且资源消耗过大。2015年Gatys等提出了一种基于卷积神经网络的图像风格迁移算法,通过这一种算法便能生成各种具有原内容和新风格的合成图像。文章利用深度学习算法,对卷积神经网络模型和风格迁移算法进行图像风格特征提取的研究,在MXNET深度计算引擎上开发图像风格迁移系统(Styler),将一副图像的风格迁移到另一副图像,其成果可应用到设计、娱乐和社交等领域。

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。