显著性指导下图像迁移

开拓了显著性指导下图像迁移新任务,在图像内容及保真度不变条件下,为使迁移后图像满足用户指定的显著图分布,提出一种全新的生成对抗网络(SalG-GAN)方法。对于给定的原始图像和目标显著图,所提方法可高效生成符合目标显著图的迁移图像。在所提方法中,引入解耦表示框架用于激励模型,针对相同的显著图输入,生成内容不同的迁移图像;在该框架基础上,设计基于显著图的注意模块作为一种特殊的注意力机制,辅助网络在图像迁移过程中聚焦于关键区域;同时,在所提方法中构造基于显著性的生成器、编码器、全局和局部鉴别器等深度网络结构。此外,建立用于显著性指导下图像迁移任务的大规模数据集,用于训练和评估所提方法,具体包括一个大规模的合成数据集和一个包括人眼视觉注意点的真实数据集。在2个数据集上的实验结果表明:所提方法在显著性指导下图像迁移任务中具有优异性能,远优于基准生成对抗网络方法。

基于改进CycleGAN的光学图像迁移生成水下小目标合成孔径声纳图像算法研究

针对循环生成对抗网络CycleGAN(Cycle Generative Adversarial Networks)在光学图像迁移生成水下小目标合成孔径声纳图像过程中存在质量差和速度慢的问题,本文提出一种新的特征提取单元SDK(Selective Dilated Kernel),并利用SDK设计了一个新的生成器网络SDKNet.与此同时,提出了一种新的循环一致损失函数MS-CCLF(Multiscale Cyclic Consistent Loss Function),MS-CCLF增加了图像多尺度结构相似性约束.在自建的图像迁移数据集OPT-SAS上,本文SM-CycleGAN(Selective and Multiscale Cycle Generative Adversarial Networks)比原始CycleGAN的图像迁移质量提升4.64%,生成器网络参数降低4.13MB,运算时间减少0.143s.实验结果表明,SM-CycleGAN更适合水下小目标光学图像到合成孔径声纳图像的迁移任务.

清职贡图像的迁移:从记录功绩到盛世意蕴

本文梳理了清代职贡图像的演绎脉络,探究以《皇清职贡图》和《万国来朝图》为代表的两类职贡图之间的发展演变,阐明《皇清职贡图》的创作动机为纪实需求,《万国来朝图》是为了表达吉祥寓意和宣扬教化,创作目的差异导致两图表现方式的变化。两图又相辅相成,共同展现清代中叶的盛世图景。

基于改进DeepLabv3+与CycleGAN的图像风格迁移研究

CycleGAN的优势就是在没有成对训练集的情况下将图像从原目标区域迁移到目标区域,但其泛化能力较弱,针对CycleGAN无法在图像风格迁移时仅对所需目标进行迁移和DeepLabv3+模型和参数量过大的问题,本文提出了一种结合改进DeepLabv3+网络和CycleGAN的局部图像迁移方法。先使用DeepLabv3+网络对图像进行语义分割,再将分割出来的目标与迁移图像进行匹配,将得到的迁移图像转回到原图像中,实现对局部图像的迁移。在DeepLabv3+模型中使用MobileNetV2代替主干网络,使用WASP网络代替ASPP网络降低了模型体积,减少了参数量,提高检测速度。采用相似性SSIM与峰值信噪比PSNR作为迁移图像评估指标,对迁移后的效果进行评估。实验表明,使用改进DeepLabv3+网络和CycleGAN的局部图像迁移方法能够提高风格迁移质量,拥有更好的视觉效果。

基于神经网络的图像风格迁移研究进展

图像风格迁移是用风格图像对指定图像的内容进行重映射的过程,是人工智能计算机视觉领域中的一个研究热点。传统的图像风格迁移方法主要基于物理、纹理技术的合成,风格迁移效果较为粗糙并且鲁棒性较差,随着图像数据集的出现和各种深度学习模型网络的提出,涌现了许多图像风格迁移的模型和算法。通过对图像风格迁移研究现状的分析,梳理了图像风格迁移的发展脉络和最新的研究进展,并通过对比分析给出了图像风格迁移未来的研究方向。

保留细节特征的图像任意风格迁移

一些主流的图像任意风格迁移模型在保持内容图像的显著性信息和细节特征方面依然有局限性,生成的图像往往具有内容模糊、细节失真等问题.针对以上问题,本文提出一种可以有效保留内容图像细节特征的图像任意风格迁移模型.模型包括灵活地融合从编码器提取到的浅层至深层的多层级图像特征;提出一种新的特征融合模块,该模块可以高质量地融合内容特征和风格特征.此外,还提出一个新的损失函数,该损失函数可以很好地保持内容和风格全局结构,消除伪影.实验结果表明,本文提出的图像任意风格迁移模型可以很好地平衡风格和内容,保留内容图像完整的语义信息和细节特征,生成视觉效果更好的风格化图像.

语义风格一致的任意图像风格迁移

图像风格迁移的目标是通过将目标图像风格迁移到给定的内容图像来合成输出图像。目前已有大量关于图像风格迁移的工作,但这些方法的风格化结果忽略了内容图像不同语义区域的流形分布,同时,大多数方法使用全局统计数据(如Gram矩阵或协方差矩阵)来实现风格特征到内容特征的匹配,不可避免地存在内容丢失、风格泄漏和伪影的问题,从而产生不一致的风格化结果。针对以上问题,提出了一个基于自注意力机制的渐进式流形特征映射模块(MFMM-AM),用于协调一致地匹配相关内容和风格流形之间的特征;然后通过在图像特征空间中应用精确直方图匹配(EHM)来实现风格和内容特征图的高阶分布匹配,减少了图像信息的丢失;最后,引入了两个对比性损失,利用大规模风格数据集的外部信息来学习人类感知的风格信息,使风格化图像的色彩分布和纹理图案更加合理。实验结果表明,与现有典型的任意图像风格迁移方法相比,所提网络极大地弥合了人类创作的艺术品和人工智能创作的艺术品之间的鸿沟,可以生成视觉上更加和谐和令人满意的艺术图像。

基于深度学习的图像风格迁移方法研究

为了快速实现图像风格迁移效果,提出基于深度学习的图像风格迁移方法。先将预处理目标内容图像和风格图像输入预训练VGG-19网络进行特征提取,再对特征损失系数进行设置,进而引入权重因子和平衡损失系数的最小二乘惩罚函数以加权求和方式获取总损失系数,最后依据梯度下降迭代方法进行图像重建,实现图像风格迁移效果。实验采用峰值信噪比(PSNR)和均方误差(MSE)来评价风格迁移图像的性能。结果显示,整体取得了很好的图像风格迁移效果。

基于笔触和轮廓约束的艺术绘画图像风格迁移

图像风格迁移在艺术绘画领域具有重要的应用价值,现有的艺术绘画风格迁移算法无法很好的迁移特定风格作品的独特笔触和图像中对象的轮廓特征。为实现更好的风格迁移效果,提出了一种基于笔触和轮廓约束的艺术绘画图像风格迁移方法。使用预训练的边缘检测器提取风格图像和内容图像的笔触特征,设计损失函数强调二者间的笔触一致性;采用腐蚀和模糊技术模拟油画中颜料的扩散效应,对内容图像中的对象轮廓进行约束。生成网络中引入多头注意力机制聚焦关键风格特征,损失函数采用Smooth L1代替L1来提升训练稳定性。算法在梵高绘画图像数据集上主要与CycleGAN进行对比实验,评估指标FID降低9%,SSIM提升11.8%,PSNR提高3.9%,且人类主观评估也有显著提升。实验结果表明算法较CycleGAN有更好的风格迁移效果。

基于深度学习的传统剪纸图像风格迁移算法研究

相比于水墨画、蜡染等其他艺术,剪纸具有严格的线性纹理结构和鲜明的纹样特异性,这给剪纸艺术的智能化创新带来了挑战。为此,提出了一种基于预训练卷积神经网络的剪纸风格迁移算法,在最大程度保留传统剪纸艺术特色的基础上,实现剪纸风格的快速准确迁移。首先,选择将内容图像作为初始迭代图像,以保留更多内容信息;其次,提出基于预训练卷积神经网络的小型网络以减少参数计算,实现风格特征及内容特征的快速提取;之后,引入全变分损失,提出一种基于绝对值误差的新损失函数,以提高图像的平滑性;最后,引入自适应的Adam优化算法,以减少梯度消失及梯度爆炸等现象。实验结果表明,该算法能够获得较为理想的风格迁移效果。

基于生成对抗网络的风景图像彩墨风格迁移

图像风格迁移指在图片内容语义固定的情况下,将一张图片的风格迁移至另一种风格。目前已经有许多关于图像风格化的研究,但针对某一特定的艺术风格进行迁移依然存在训练时间过长、训练样本不足、泛化能力不强等问题。根据领域现状,文中针对传统绘画彩墨风格进行了研究,并采用了生成对抗网络模型,结合彩墨画绘制的原理,在不采用大量训练数据的基础上,增强了训练图像特征。另外,参考水墨画的生成方法,实现了将风景照片向彩墨画迁移。并对比分析了其它风格迁移方法在风景图彩墨画风格实现上的结果,实验证明文中的方法具有更好的彩墨画风格迁移效果。

面向工业巡检的图像风格迁移方法

对于电力等工业场景中的巡检任务,需要将虚拟仿真生成的虚拟图像转换为真实的风格,辅助接下来的设备定位和设备缺陷检测工作。然而传统的图像风格迁移方法大多着眼于艺术图像与现实场景的转换,由于艺术图像本身的特性,在迁移前后图像的内容结构可能会出现一定程度的变化,这种变化会对下游任务的性能造成负面影响,因而无法直接应用。因此提出一种基于对比学习的图像风格迁移方法,通过在多个层次的特征上分别对比相同与不同位置图像块的特征,能够使生成图像在深层特征上向目标域靠近,同时约束迁移前后的图像内容上保持一致。实验表明,所提出的方法能够在保证图像主体内容不发生变形和缺失的同时,节省模型训练过程中的计算开销。

内容结构保持的图像风格迁移方法

现有的风格迁移算法大多是实现艺术作品到真实场景,如照片等的转换任务。在这种任务设定下,图像内容的边界等结构信息可能会出现一定程度的变化,然而这种变化不利于下游任务的完成,因而不适用于大部分工业场景。为此提出一种新的结构保持的风格迁移方法,该方法分为频域约束的图像生成模块和基于memory bank机制的语义匹配模块。前者用以保证转换前后图像的整体语义结构一致性,而后者保证了图像的语义与风格匹配,从而物体内部结构一致。为了验证该方法在工业场景中的迁移效果,采用光伏板数据集,在虚拟到真实的迁移方向上,所提出的风格迁移算法能在完成风格转换的同时较好地解决图像结构形变问题,进而满足后续任务的需求。

基于深度学习的图像风格迁移算法研究

深度学习技术的发展促进了图像风格迁移算法的应用,介绍了基于深度学习的图像风格迁移算法原理及步骤,进行了迁移效果影响因素对比分析实验。结果表明,风格权重与内容权重之比对迁移效果影响较大,比率与迁移效果呈倒U规律,故可根据此规律调整比率参数。根据噪声图像或内容图像为原始目标图像在迁移效果上的特点,可按照迁移的具体要求,选择不同的原始目标图像。

基于卷积神经网络的图像风格迁移研究

为解决图像风格迁移效果不理想的问题,在卷积神经网络的基础上对风格转换网络进行改进。首先,在下采样模块中加入注意力机制;然后,在下采样模块与上采样模块中间加入残差网络以加深网络深度;最后,将加入双通道注意力的迁移效果图与原VGG迁移效果进行比较,并引入SSIM和PSNR 2个评价指标以及网络迭代速度进行对比。实验结果表明,加入双通道注意力之后的迁移效果和网络迭代速度均有所提升。

基于深度学习的轻量化图像风格迁移方法研究

由于传统图像风格迁移方法在风格化过程中会造成图像显著区域扭曲,导致艺术视觉效果不佳,为此文章研究基于深度学习的轻量化图像风格迁移方法。在图像风格迁移中,利用平滑处理、特征提取操作预处理风格化图像。通过显著区域检测,保留原始风格化图像中的显著区域。引入注意力机制结合轻量化卷积网络SqueezeNet,设计一个轻量化风格迁移模型。在INIT数据集上的定性与定量测试实验结果表明,文章设计迁移方法生成的风格化图像具有良好的视觉效果,验证了该方法的性能优越性。

基于深度神经网络的图像风格迁移系统开发

传统的图像风格迁移程序通过人工建模只能局限于单一风格迁移,且资源消耗过大。2015年Gatys等提出了一种基于卷积神经网络的图像风格迁移算法,通过这一种算法便能生成各种具有原内容和新风格的合成图像。文章利用深度学习算法,对卷积神经网络模型和风格迁移算法进行图像风格特征提取的研究,在MXNET深度计算引擎上开发图像风格迁移系统(Styler),将一副图像的风格迁移到另一副图像,其成果可应用到设计、娱乐和社交等领域。

基于反向映射的图像间颜色迁移算法仿真

现有的图像间颜色迁移算法普遍存在颜色误迁率高的问题,为此在传统颜色迁移算法的基础上,引入反向映射对颜色迁移算法进行优化。首先通过对图像的特征提取,获得目标图像的主色,对提取结果做平滑处理。通过色彩空间转换和色调反向映射两个步骤,实现图像的形态学变换,得到过渡图像。在过渡图像上做K均值聚类匹配操作,并通过分层迁移和全局迁移两种方式,得到颜色迁移的最优化能量方程。将反向映射颜色迁移算法与传统算法放入仿真环境当中,进行仿真对比实验,通过实验发现传统方法的平均误迁率为12.3%,而反向映射颜色迁移算法的误迁率仅为0.27%。

云南地区地震活动的有序迁移图像

重点追踪了云南地区中强震的动态图像 ,发现在云南地区强震活跃期前 1～ 4a出现中强震的有序迁移 ,有序迁移的中强震预示了活跃期强震时空分布的总体格局 ,80 %的强震发生在这些中强震 15 0km范围内。有序迁移结束后 2d至 11个月发生活跃期的首次强震 ,其中 75 %在 3个月内。文中介绍了强震的等间距迁移、强震活跃期后期中强震的有序迁移 ,巨震前后大震的有序迁移和中等地震的定向迁移与部分震例 ,但地震活动有序迁移图像的机理尚待研究。

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。