显著性指导下图像迁移

开拓了显著性指导下图像迁移新任务,在图像内容及保真度不变条件下,为使迁移后图像满足用户指定的显著图分布,提出一种全新的生成对抗网络(SalG-GAN)方法。对于给定的原始图像和目标显著图,所提方法可高效生成符合目标显著图的迁移图像。在所提方法中,引入解耦表示框架用于激励模型,针对相同的显著图输入,生成内容不同的迁移图像;在该框架基础上,设计基于显著图的注意模块作为一种特殊的注意力机制,辅助网络在图像迁移过程中聚焦于关键区域;同时,在所提方法中构造基于显著性的生成器、编码器、全局和局部鉴别器等深度网络结构。此外,建立用于显著性指导下图像迁移任务的大规模数据集,用于训练和评估所提方法,具体包括一个大规模的合成数据集和一个包括人眼视觉注意点的真实数据集。在2个数据集上的实验结果表明:所提方法在显著性指导下图像迁移任务中具有优异性能,远优于基准生成对抗网络方法。

基于改进CycleGAN的光学图像迁移生成水下小目标合成孔径声纳图像算法研究

针对循环生成对抗网络CycleGAN(Cycle Generative Adversarial Networks)在光学图像迁移生成水下小目标合成孔径声纳图像过程中存在质量差和速度慢的问题,本文提出一种新的特征提取单元SDK(Selective Dilated Kernel),并利用SDK设计了一个新的生成器网络SDKNet.与此同时,提出了一种新的循环一致损失函数MS-CCLF(Multiscale Cyclic Consistent Loss Function),MS-CCLF增加了图像多尺度结构相似性约束.在自建的图像迁移数据集OPT-SAS上,本文SM-CycleGAN(Selective and Multiscale Cycle Generative Adversarial Networks)比原始CycleGAN的图像迁移质量提升4.64%,生成器网络参数降低4.13MB,运算时间减少0.143s.实验结果表明,SM-CycleGAN更适合水下小目标光学图像到合成孔径声纳图像的迁移任务.

清职贡图像的迁移:从记录功绩到盛世意蕴

本文梳理了清代职贡图像的演绎脉络,探究以《皇清职贡图》和《万国来朝图》为代表的两类职贡图之间的发展演变,阐明《皇清职贡图》的创作动机为纪实需求,《万国来朝图》是为了表达吉祥寓意和宣扬教化,创作目的差异导致两图表现方式的变化。两图又相辅相成,共同展现清代中叶的盛世图景。

艺术美感增强的图像任意风格迁移

目前的研究表明,通用风格迁移取得了显著成功,即能将任意视觉风格迁移到内容图像。然而,在图像任意风格迁移的评价维度中,只考虑语义结构的保留度和风格图案的多样性是不全面的,还应将艺术美感纳入考量范围。现有方法普遍存在艺术美感不自然的问题——表现为风格化图像中会出现不和谐的图案和明显的伪影,很容易与真实的艺术作品区分开来。针对该问题,提出了一种艺术美感增强的图像任意风格迁移方法。首先,设计了一个多尺度艺术美感增强模块,通过提取不同尺度的风格图像特征,改善了风格化图案不和谐的问题;同时,设计了一个美感风格注意力模块,使用通道注意力机制,根据艺术美感特征的全局美感通道分布自适应地匹配并增强相应的风格特征;最后,提出了一个协方差变换融合模块,将增强后的风格特征的二阶统计数据迁移到对应的内容特征上,在很好地保留内容结构的同时实现了美感增强的风格迁移。通过与4种最新的风格迁移方法进行定性比较,同时进行消融实验,分别验证了所提模块与所加损失函数的有效性;在5项定量指标的对比中,有4项取得最优分数。实验结果表明,所提方法可以生成艺术美感更和谐的风格迁移图像。

基于神经网络的图像风格迁移研究进展

图像风格迁移是用风格图像对指定图像的内容进行重映射的过程,是人工智能计算机视觉领域中的一个研究热点。传统的图像风格迁移方法主要基于物理、纹理技术的合成,风格迁移效果较为粗糙并且鲁棒性较差,随着图像数据集的出现和各种深度学习模型网络的提出,涌现了许多图像风格迁移的模型和算法。通过对图像风格迁移研究现状的分析,梳理了图像风格迁移的发展脉络和最新的研究进展,并通过对比分析给出了图像风格迁移未来的研究方向。

基于改进生成对抗网络的图像风格迁移算法

图像风格迁移是图像处理领域的研究热点,但目前风格迁移模型存在生成图像细节模糊、风格纹理的色彩效果较差以及模型参数过多等问题。文中提出了一种基于改进循环一致性生成对抗网络的图像风格迁移方法,通过加入Ghost卷积模块和反残差改进模块来优化生成器网络结构,以此降低模型参数量和计算成本。同时能增强网络的特征提取能力,在损失函数中加入内容风格损失项、颜色重建损失项和映射一致性损失项来改善模型的生成能力,提升生成图像质量。实验结果表明,所提改进方法具有较强的风格迁移能力,有效增强了生成图像的内容细节和风格纹理的色彩效果,显著提升了图像质量,模型性能也得到了改善。

基于SAM分割的交互式局部图像风格迁移方法研究

针对目前局部图像风格迁移目标区域选择困难、迁移灵活性不足、容易出现内容泄露、前景与背景边缘过渡不自然等问题,提出一种基于任意分割模型(Segment Anything Model,SAM)的交互式局部图像风格迁移方法。首先利用SAM分割网络在用户输入提示的指导下对输入的内容图像进行交互式目标迁移区域提取,对得到的有效对象掩码进行二值化处理,以二值化掩码提取全局风格化图像的目标区域作为前景、内容图像作为背景图像进行泊松融合,实现局部图像风格迁移。为了避免迁移过程中的内容泄露,全局风格迁移网络采用生成对抗网络架构,通过多级自适应注意力归一化模块进行风格特征转换,利用联合损失函数对网络进行综合训练。实验结果表明,设计的交互式局部图像风格迁移网络能够根据用户提示生成灵活可控的局部迁移结果,可以对图像中的任意物体进行风格迁移,迁移结果很好地保留了内容源图像中的内容结构,避免了内容泄露,且前景与背景边缘过渡更加自然。

保留细节特征的图像任意风格迁移

一些主流的图像任意风格迁移模型在保持内容图像的显著性信息和细节特征方面依然有局限性,生成的图像往往具有内容模糊、细节失真等问题.针对以上问题,本文提出一种可以有效保留内容图像细节特征的图像任意风格迁移模型.模型包括灵活地融合从编码器提取到的浅层至深层的多层级图像特征;提出一种新的特征融合模块,该模块可以高质量地融合内容特征和风格特征.此外,还提出一个新的损失函数,该损失函数可以很好地保持内容和风格全局结构,消除伪影.实验结果表明,本文提出的图像任意风格迁移模型可以很好地平衡风格和内容,保留内容图像完整的语义信息和细节特征,生成视觉效果更好的风格化图像.

基于改进DeepLabv3+与CycleGAN的图像风格迁移研究

CycleGAN的优势就是在没有成对训练集的情况下将图像从原目标区域迁移到目标区域,但其泛化能力较弱,针对CycleGAN无法在图像风格迁移时仅对所需目标进行迁移和DeepLabv3+模型和参数量过大的问题,本文提出了一种结合改进DeepLabv3+网络和CycleGAN的局部图像迁移方法。先使用DeepLabv3+网络对图像进行语义分割,再将分割出来的目标与迁移图像进行匹配,将得到的迁移图像转回到原图像中,实现对局部图像的迁移。在DeepLabv3+模型中使用MobileNetV2代替主干网络,使用WASP网络代替ASPP网络降低了模型体积,减少了参数量,提高检测速度。采用相似性SSIM与峰值信噪比PSNR作为迁移图像评估指标,对迁移后的效果进行评估。实验表明,使用改进DeepLabv3+网络和CycleGAN的局部图像迁移方法能够提高风格迁移质量,拥有更好的视觉效果。

基于改进生成对抗网络的图像风格迁移方法研究

为了解决传统GAN(Generative Adversarial Network)进行图像风格迁移受到成对数据集的限制,以及CycleGAN学习高级特征时表现不佳和训练过慢的问题,本文采用ModileNetV2-CycleGAN模型进行图像风格迁移,并引入多尺度结构相似性指数(multi-scale structural similarity,MS-SSIM)作为惩罚项保留风格图片的特征,来提高特征学习的效果,从而提高风格化图片质量。采用客观结构相似性SSIM与峰值信噪比PSNR和主观投票作为评估指标,对迁移后的效果进行评估,实验结果表明了本文改进算法的有效性。

语义风格一致的任意图像风格迁移

图像风格迁移的目标是通过将目标图像风格迁移到给定的内容图像来合成输出图像。目前已有大量关于图像风格迁移的工作,但这些方法的风格化结果忽略了内容图像不同语义区域的流形分布,同时,大多数方法使用全局统计数据(如Gram矩阵或协方差矩阵)来实现风格特征到内容特征的匹配,不可避免地存在内容丢失、风格泄漏和伪影的问题,从而产生不一致的风格化结果。针对以上问题,提出了一个基于自注意力机制的渐进式流形特征映射模块(MFMM-AM),用于协调一致地匹配相关内容和风格流形之间的特征;然后通过在图像特征空间中应用精确直方图匹配(EHM)来实现风格和内容特征图的高阶分布匹配,减少了图像信息的丢失;最后,引入了两个对比性损失,利用大规模风格数据集的外部信息来学习人类感知的风格信息,使风格化图像的色彩分布和纹理图案更加合理。实验结果表明,与现有典型的任意图像风格迁移方法相比,所提网络极大地弥合了人类创作的艺术品和人工智能创作的艺术品之间的鸿沟,可以生成视觉上更加和谐和令人满意的艺术图像。

面向工业巡检的图像风格迁移方法

对于电力等工业场景中的巡检任务,需要将虚拟仿真生成的虚拟图像转换为真实的风格,辅助接下来的设备定位和设备缺陷检测工作。然而传统的图像风格迁移方法大多着眼于艺术图像与现实场景的转换,由于艺术图像本身的特性,在迁移前后图像的内容结构可能会出现一定程度的变化,这种变化会对下游任务的性能造成负面影响,因而无法直接应用。因此提出一种基于对比学习的图像风格迁移方法,通过在多个层次的特征上分别对比相同与不同位置图像块的特征,能够使生成图像在深层特征上向目标域靠近,同时约束迁移前后的图像内容上保持一致。实验表明,所提出的方法能够在保证图像主体内容不发生变形和缺失的同时,节省模型训练过程中的计算开销。

基于深度学习的图像风格迁移方法研究

为了快速实现图像风格迁移效果,提出基于深度学习的图像风格迁移方法。先将预处理目标内容图像和风格图像输入预训练VGG-19网络进行特征提取,再对特征损失系数进行设置,进而引入权重因子和平衡损失系数的最小二乘惩罚函数以加权求和方式获取总损失系数,最后依据梯度下降迭代方法进行图像重建,实现图像风格迁移效果。实验采用峰值信噪比(PSNR)和均方误差(MSE)来评价风格迁移图像的性能。结果显示,整体取得了很好的图像风格迁移效果。

基于笔触和轮廓约束的艺术绘画图像风格迁移

图像风格迁移在艺术绘画领域具有重要的应用价值,现有的艺术绘画风格迁移算法无法很好的迁移特定风格作品的独特笔触和图像中对象的轮廓特征。为实现更好的风格迁移效果,提出了一种基于笔触和轮廓约束的艺术绘画图像风格迁移方法。使用预训练的边缘检测器提取风格图像和内容图像的笔触特征,设计损失函数强调二者间的笔触一致性;采用腐蚀和模糊技术模拟油画中颜料的扩散效应,对内容图像中的对象轮廓进行约束。生成网络中引入多头注意力机制聚焦关键风格特征,损失函数采用Smooth L1代替L1来提升训练稳定性。算法在梵高绘画图像数据集上主要与CycleGAN进行对比实验,评估指标FID降低9%,SSIM提升11.8%,PSNR提高3.9%,且人类主观评估也有显著提升。实验结果表明算法较CycleGAN有更好的风格迁移效果。

基于深度学习的传统剪纸图像风格迁移算法研究

相比于水墨画、蜡染等其他艺术,剪纸具有严格的线性纹理结构和鲜明的纹样特异性,这给剪纸艺术的智能化创新带来了挑战。为此,提出了一种基于预训练卷积神经网络的剪纸风格迁移算法,在最大程度保留传统剪纸艺术特色的基础上,实现剪纸风格的快速准确迁移。首先,选择将内容图像作为初始迭代图像,以保留更多内容信息;其次,提出基于预训练卷积神经网络的小型网络以减少参数计算,实现风格特征及内容特征的快速提取;之后,引入全变分损失,提出一种基于绝对值误差的新损失函数,以提高图像的平滑性;最后,引入自适应的Adam优化算法,以减少梯度消失及梯度爆炸等现象。实验结果表明,该算法能够获得较为理想的风格迁移效果。

基于深度学习的轻量化图像风格迁移方法研究

由于传统图像风格迁移方法在风格化过程中会造成图像显著区域扭曲,导致艺术视觉效果不佳,为此文章研究基于深度学习的轻量化图像风格迁移方法。在图像风格迁移中,利用平滑处理、特征提取操作预处理风格化图像。通过显著区域检测,保留原始风格化图像中的显著区域。引入注意力机制结合轻量化卷积网络SqueezeNet,设计一个轻量化风格迁移模型。在INIT数据集上的定性与定量测试实验结果表明,文章设计迁移方法生成的风格化图像具有良好的视觉效果,验证了该方法的性能优越性。

基于生成对抗网络的风景图像彩墨风格迁移

图像风格迁移指在图片内容语义固定的情况下,将一张图片的风格迁移至另一种风格。目前已经有许多关于图像风格化的研究,但针对某一特定的艺术风格进行迁移依然存在训练时间过长、训练样本不足、泛化能力不强等问题。根据领域现状,文中针对传统绘画彩墨风格进行了研究,并采用了生成对抗网络模型,结合彩墨画绘制的原理,在不采用大量训练数据的基础上,增强了训练图像特征。另外,参考水墨画的生成方法,实现了将风景照片向彩墨画迁移。并对比分析了其它风格迁移方法在风景图彩墨画风格实现上的结果,实验证明文中的方法具有更好的彩墨画风格迁移效果。

内容结构保持的图像风格迁移方法

现有的风格迁移算法大多是实现艺术作品到真实场景,如照片等的转换任务。在这种任务设定下,图像内容的边界等结构信息可能会出现一定程度的变化,然而这种变化不利于下游任务的完成,因而不适用于大部分工业场景。为此提出一种新的结构保持的风格迁移方法,该方法分为频域约束的图像生成模块和基于memory bank机制的语义匹配模块。前者用以保证转换前后图像的整体语义结构一致性,而后者保证了图像的语义与风格匹配,从而物体内部结构一致。为了验证该方法在工业场景中的迁移效果,采用光伏板数据集,在虚拟到真实的迁移方向上,所提出的风格迁移算法能在完成风格转换的同时较好地解决图像结构形变问题,进而满足后续任务的需求。

基于深度学习的图像风格迁移算法研究

深度学习技术的发展促进了图像风格迁移算法的应用,介绍了基于深度学习的图像风格迁移算法原理及步骤,进行了迁移效果影响因素对比分析实验。结果表明,风格权重与内容权重之比对迁移效果影响较大,比率与迁移效果呈倒U规律,故可根据此规律调整比率参数。根据噪声图像或内容图像为原始目标图像在迁移效果上的特点,可按照迁移的具体要求,选择不同的原始目标图像。

基于卷积神经网络的图像风格迁移研究

为解决图像风格迁移效果不理想的问题,在卷积神经网络的基础上对风格转换网络进行改进。首先,在下采样模块中加入注意力机制;然后,在下采样模块与上采样模块中间加入残差网络以加深网络深度;最后,将加入双通道注意力的迁移效果图与原VGG迁移效果进行比较,并引入SSIM和PSNR 2个评价指标以及网络迭代速度进行对比。实验结果表明,加入双通道注意力之后的迁移效果和网络迭代速度均有所提升。