铜凿剪纸风格化方法研究

铜凿剪纸是一种在铜箔上凿点并使用矿物质颜料上色的传统艺术形式,其成品光彩夺目。铜凿剪纸工艺复杂、制作时间长,对手工艺人的技术水平有很高的要求。为此,提出了一种铜凿剪纸风格化的方法,并设计、实现了一种计算机辅助铜凿剪纸设计工具,通过生成图像线稿、凿点图以及铜凿剪纸效果图,帮助手工艺人快速完成铜凿剪纸的创作和制作。将输入图像进行区域分割以提取图像的线条,生成图像线稿;定义了一种颜色损失函数,结合贪心算法和梯度下降法求解函数最小值得到最佳颜色映射方案;基于VGG-19网络对图像线条进行风格迁移,生成凿点图;将线条风格迁移图像与颜色迁移图像进行融合,生成铜凿剪纸效果图;基于PyQt5框架开发铜凿剪纸设计工具,设计了交互平台。实验结果表明,该方法能够实现图像的铜凿剪纸风格化,且效果接近真实的铜凿剪纸,支持手工艺人快速生成工艺流程中需要的图像线稿、凿点图以及效果图等相关材料,提高铜凿剪纸的制作效率,具有较高的应用价值。

多尺度语义信息无监督山水画风格迁移网络

针对图像转换类的生成对抗网络在处理无监督风格迁移任务时存在的纹理杂乱、生成图像质量差的问题,基于循环一致性损失提出了循环矫正多尺度评估生成对抗网络。首先在网络架构的设计上,基于图像的三层语义信息提出了多尺度评估网络架构,以此强化源域到目标域的迁移效果;其次在损失函数的改进上,提出了多尺度对抗损失以及循环矫正损失,用于以更严苛的目标引导模型的迭代优化方向,生成视觉质量更好的图片;最后为了预防模式崩溃的问题,在风格特征的编码阶段添加了注意力机制以提取重要的特征信息,在网络的各阶段引入ACON激活函数以加强网络的非线性表达能力,避免神经元坏死。实验结果表明,相比于CycleGAN、ACL-GAN,所提出方法在山水画风格迁移数据集上的FID值分别降低了21.80%和34.33%;为了验证模型的泛化能力,在Vangogh2Photo和Monet2Photo两个公开数据集上进行了泛化实验对比,FID值相比于两个对照网络分别降低了7.58%、18.14%和4.65%、6.99%。

基于风格转换注意的循环一致风格转换

为了解决现有艺术风格转换方法难以同时高质量保持图像内容和转换风格模式的问题,引入一种新颖的风格转换注意网络(style-transition attention network, STANet),其包含2个关键部分:一是非对称注意力模块,用于确定参考图像的风格特征;二是循环结构,用于保存图像内容。首先,采用双流架构,分别对风格和内容图像进行编码;其次,将注意力模块无缝集成到编码器中,生成风格注意表征;最后,将模块放入不同的卷积阶段,使编码器变成交错式的,促进从风格流到内容流的分层信息传播。此外,提出了循环一致损失,强制网络以整体方式保留内容结构和风格模式。结果表明:编码器优于传统的双流架构,STANet能用于交换具有任意风格的2幅图像的风格模式,合成更高质量的风格化图像,同时更好地保留了各自的内容。提出的带有风格转换注意的风格转换循环网络,模型风格化图像的内容细节更多,在泛化到任意风格方面获得了良好的效果。

基于改进生成对抗网络的图像风格迁移算法

图像风格迁移是图像处理领域的研究热点,但目前风格迁移模型存在生成图像细节模糊、风格纹理的色彩效果较差以及模型参数过多等问题。文中提出了一种基于改进循环一致性生成对抗网络的图像风格迁移方法,通过加入Ghost卷积模块和反残差改进模块来优化生成器网络结构,以此降低模型参数量和计算成本。同时能增强网络的特征提取能力,在损失函数中加入内容风格损失项、颜色重建损失项和映射一致性损失项来改善模型的生成能力,提升生成图像质量。实验结果表明,所提改进方法具有较强的风格迁移能力,有效增强了生成图像的内容细节和风格纹理的色彩效果,显著提升了图像质量,模型性能也得到了改善。

基于注意力机制与对比学习的任意风格迁移

针对目前任意风格迁移研究中存在的既要保持图像语义内容和结构信息的一致性,同时又要迁移更多风格特征的难点问题,本文基于注意力机制和对比学习设计了图像任意风格迁移模型。其中所设计的基于注意力的自适应转换网络,可以使模型自适应地获取风格特征的全局统计信息,有效改善特征融合过程中内容特征与风格特征统计特性的对齐状态;而其中所设计的对比损失,使模型在对比学习中有效融合内容图像的结构特征,使生成图像与内容图像具有良好的内容相似性。同其他5种先进模型的对比实验表明,本文设计的模型生成的图像在视觉效果以及定量评价上都具有显著优势。

基于生成对抗网络的时尚内容和风格迁移

生成对抗网络常常被用于图像着色、语义合成、风格迁移等图像转换任务,但现阶段图像生成模型的训练往往依赖于大量配对的数据集,且只能实现两个图像域之间的转换。针对以上问题,提出了一种基于生成对抗网络的时尚内容和风格迁移模型(content and style transfer based on generative adversarial network,CS-GAN)。该模型利用对比学习框架最大化时尚单品与生成图像之间的互信息,可保证在时尚单品结构不变的前提下实现内容迁移;通过层一致性动态卷积方法,针对不同风格图像自适应地学习风格特征,实现时尚单品任意风格迁移,对输入的时尚单品进行内容特征(如颜色、纹理)和风格特征(如莫奈风、立体派)的融合,实现多个图像域的转换。在公开的时尚数据集上进行对比实验和结果分析,该方法与其他主流方法相比,在图像合成质量、Inception score和FID距离评价指标上均有所提升。

基于神经网络的图像风格迁移研究进展

图像风格迁移是用风格图像对指定图像的内容进行重映射的过程,是人工智能计算机视觉领域中的一个研究热点。传统的图像风格迁移方法主要基于物理、纹理技术的合成,风格迁移效果较为粗糙并且鲁棒性较差,随着图像数据集的出现和各种深度学习模型网络的提出,涌现了许多图像风格迁移的模型和算法。通过对图像风格迁移研究现状的分析,梳理了图像风格迁移的发展脉络和最新的研究进展,并通过对比分析给出了图像风格迁移未来的研究方向。

基于生成对抗网络的车牌图像篡改检测数据增广

现有的篡改检测方法,主要使用基于数据驱动的深度学习模型,检测效果与训练数据的质量和数量成正比,且人工制作高质量的篡改图片费时费力。针对高质量车牌篡改图片数据量少的情况,提出一种针对车牌场景的篡改图片数据增广方法。结合车牌定位模块、车牌矫正模块、基于生成对抗网络(GAN)的图像擦除模块和文字风格迁移模块,构建一个车牌字符篡改系统,以模拟真实场景的车牌篡改流程。相较于传统篡改方法,借助GAN生成的篡改字符种类更多元化、更具备多样性。实验结果表明,使用所提系统生成的车牌篡改图片可以达到篡改区域语义高度合理,且肉眼不可分辨的视觉效果;将它作为扩充数据训练篡改检测模型,曲线下面积(AUC)提升了42.9%,F1值提升了33.0%,漏检率下降了16.6%。同时,使用所提系统生成的车牌篡改图片搭配多种数据处理方法在不同篡改检测网络上均能有效提升检测性能;使用扩充数据训练后,篡改检测网络不仅可以成功检测传统篡改方法的篡改痕迹,针对现阶段流行的生成式篡改,检测效果也明显提升。

基于改进条件生成对抗网络的字体风格迁移算法

为解决现有字体迁移风格网络难以快速收敛以及处理复杂字体结构能力较弱等问题,提出了一种基于条件生成对抗网络的汉字字体生成方法。通过条件生成对抗网络的方式训练生成器作为字体风格迁移网络,通过知识蒸馏技术将预训练的图像重建网络的特征信息引入网络,更好地将特征解码为目标风格字体,同时结合边缘平滑损失和感知损失提高目标字体的生成质量。与已有的字体生成算法进行定量分析与定性分析,在不同字体上进行的实验结果表明:该方法生成的目标字体更加真实并且文字的边缘更加清晰。

基于VGG⁃19和MMD卷积神经网络模型的国画风格迁移

卷积神经网络因效果强大而被广泛应用于图像识别,在提取图像特征方面有极大的进步。由于风格迁移技术主要是针对西方油画,而国画是一种传统的中国艺术风格,其在风格迁移方向上缺乏广泛的应用。设计以国画代替西方油画作为风格图像,以自然景观照片作为内容图像,探究传统国画经过卷积神经网络后的提取效果。实验依据VGG算法模型并结合TensorFlow 2框架,对采集的数据集进行预处理,采集像素制成数据矩阵,输入VGG⁃19浅层模型进行训练,通过MMD最小化分布特征图差异,增强卷积层的目标效果。该方法取得比较满意的结果,可为风格迁移转换的研究提供更多参考。

基于改进ResNet网络和迁移学习的服装图像风格识别研究

传统的服装图像风格识别方法主要依赖于成功提取有效特征,这些方法在处理图像时不仅会消耗大量的时间和精力,识别精度也较低。为了提高服装图像风格识别的性能,提出了一种基于改进的ResNet152网络和迁移学习的服装图像风格识别方法。首先将ResNet152网络首层结构中的7×7卷积核替换成3个3×3卷积核组合层,其次把原始残差单元中的“卷积层(Conv)+批归一化层(BN)+非线性激活函数层(Relu)”的组合方式换成“批归一化层(BN)+非线性激活函数层(Relu)+卷积层(Conv)”的组合方式。这两个改进方法有效地提升了网络性能,使其能够更好地捕捉不同尺度的服装风格特征。然后把在ImageNet数据集上训练好的ResNet152网络模型参数迁移到改进的网络中,在此基础上,将女童服装数据集输入到网络中进行训练验证以及微调网络参数。结果表明,所提出的方法风格识别准确率达到了94.2%,训练效果好,识别精度、收敛速度等均优于其他风格识别网络,可以更好的完成女童服装风格识别任务。

融合超分辨率重构的图像任意风格迁移

图像风格迁移是指将一张普通照片转化为具有其他艺术风格效果的图像。针对风格迁移算法中无法重构生成图像的分辨率而造成生成图像清晰度低、纹理细节表现不丰富的问题,提出一种融合超分辨率重构的图像任意风格迁移模型。模型中加入的多支路特征处理模块通过计算特征的自相似性以增强特征的表达,提出新的特征融合模块以提升特征融合效果,提出特征解码模块来实现图像的超分辨率重构,并在其中多次进行特征融合以提升风格化图像的质量;在损失函数中加入生成对抗损失和白化处理来进一步提升风格化效果。实验表明,模型具有较好的任意风格迁移效果,分辨率重构后的风格化图像的细节丰富、纹理清晰。

融合轻量级ViT和GAN的艺术风格迁移方法

针对Vision Transformer(ViT)艺术风格迁移方法存在的局部信息提取能力不足、迁移效率低和风格化结果中出现伪影的问题,提出一种轻量级ViT和对抗生成网络(GAN)相结合的方法LVGAST。该方法利用局部和全局信息的互补提高网络的推理速度与风格化质量,并通过对抗训练增强风格化结果的艺术真实感,并与6种最先进的艺术风格迁移方法进行定性和定量比较。结果表明:在定性方面,LVGAST的视觉效果更具艺术真实感;在定量方面,LVGAST分别在SSIM、Style loss上达到了0.499、1.452,且推理速度在ViT类方法中达到最快(0.215 s/张)。LVGAST结合了卷积神经网络和ViT网络的优点,提高了风格化效率,同时引入了判别网络,使风格化结果更加真实。

基于CycleGAN的服装图像混搭风格迁移

为解决复杂背景下服装图像的风格迁移形式单一和局部细节失真问题,提出一种基于CycleGAN的服装图像混搭风格迁移的方法,用于实现服装款式和图案的多风格迁移。通过加入分割掩码,一方面,对特定区域的风格化形成空间约束,在判别器中加入谱归一化和引入背景优化损失保留了局部细节的真实度,实现服装风格款式的风格迁移;另一方面,提出图像融合的方式,将图案融入判别器输出的服装图像中,实现多风格迁移。最后,通过与CycleGAN和InstaGAN比较,依据生成图像的效果进行主观分析,使用图像质量评估指标IS和SSIM进行客观评估以验证该方法的有效性。

基于改进Resnet34的服装款式图廓形识别

为解决服装款式图廓形识别技术复杂及识别精度不高的问题,提出一种基于残差神经网络ResNet34的改进方法。首先针对首层卷积提取图像的邻域信息范围较大的问题,优化首层网络结构提升其特征表达能力,然后针对残差块中线性变换和非线性变换不足的问题,引入融合非对称卷积和h-swish激活函数,并通过迁移学习提升模型的泛化能力;建立一个包括连衣裙、女上装和女裤3个大类共10种廓形的服装款式图数据集,对其数据增强后进行算法验证。实验结果表明:改进的ResNet34网络模型准确度达92.78%,相比ResNet34网络模型方法提升了3.2%,且性能优于ResNet50、MobileNetV2、CaffeNet等网络模型方法,可提高款式图廓形的识别精度,对服装企业智能制造过程中的款式识别具有借鉴意义。

基于神经网络的手绘服饰图纹上色及风格迁移

针对图纹上色容易色彩溢出、风格迁移缺少布料纹理特征等问题,提出基于神经网络的手绘服饰图纹上色及风格迁移方法。初始化数据集,收集服饰图纹图像,提取服饰图纹黑白线稿,合成具有颜色特征的手绘图像,构建风格数据集;构建条件生成对抗网络模型,基于该生成器模型实现对具有颜色信息的线稿图像上色;构建卷积神经网络模型,利用该模型计算内容图的内容特征并结合Gram矩阵计算风格图的风格特征,输出令人满意的服饰图纹迁移图像。实验结果表明,该方法生成的图像具有真实的服饰图纹颜色分布,具有较好的布料材质感。

结合GAN和风格迁移的太阳斑点图重建方法

在云南天文台拍摄的模糊太阳斑点图的超分辨率重建过程中,采用现有深度学习算法存在高频信息难以恢复、重建图不够清晰等问题,为此,提出一种结合GAN(生成对抗网络)和风格迁移网络的太阳斑点图超分辨率重建方法STYLE-NICE-GAN。首先,利用GAN获取低分辨率太阳斑点图到Level1+高分辨率太阳斑点图的映射关系,重建太阳斑点图的全局轮廓和部分细节;其次,使用风格迁移网络,对GAN的重建结果进行二次重建,在保留局部细节、高频信息和不影响后续分析的同时,提高图像的整体对比度和清晰度。实验结果表明,与现有深度学习超分辨率重建算法相比,该方法具有重建图像清晰度更高、高频信息恢复能力更强的优点,重建结果在两个有参考评价指标PSNR、SSIM和三个无参考评价指标BRISQUE、NIQE、PIQE上的评价均占有优势。

稠密自适应生成对抗网络的爨体字风格迁移模型

爨体字作为典型的衬线字体,不同于黑体、微软雅黑、等线这些非衬线字体,其字形结构十分多样.为了防止爨体字在生成过程中笔画弯折处出现伪影和模糊的现象,提出一种基于稠密自适应生成对抗网络的爨体字风格迁移模型.首先,生成器通过稠密自适应卷积块更加充分地提取风格特征和内容特征;然后,像素判别器对真实图片和生成图片进行分辨;再采用对抗损失、迁移损失、梯度损失和边缘损失对生成网络进行参数调节;最后,将自行采集的爨体字数据集作为训练集送入模型进行训练.实验结果证明,所提模型能够有效地学习到风格特征,达到更好的生成效果;其生成结果在字形大小保持上优于Zi-to-zi模型,在笔画细节特征的保留上优于StarGANv2以及CycleGAN模型,并在SSIM和L1 loss指标上得到了验证.

基于卷积神经网络的风格迁移泳装图案设计

将深度学习中的风格迁移技术运用到服装图案设计领域正逐渐成为热门话题,但传统风格迁移图案设计的方法存在风格单一、纹理简单的缺点。本文提出一种辅助泳装设计师进行图案设计的方法,通过优化风格迁移中格拉姆矩阵结构,分别学习提取多张绘画作品和照片作为风格图生成创新的泳装图案设计图,同时运用Canny边缘检测算法和OpenCV图像处理库将作品从复杂背景中识别并分割出来,最终实现多风格图像输入的风格迁移辅助泳装图案设计方法。经过对比实验证明,本文生成的图案比其他风格迁移方法在风格满意度等方面获得更高评价。

结合可逆网络的超高分辨率图像的风格迁移

针对处理超高分辨率图像时面临的内存成本和风格迁移过程中过度风格化,提出了一种结合可逆网络的超高分辨率图像的风格迁移方法。该算法采用可逆的Glow模块作为基本单元构建可逆神经网络模块,并将图像分为小块处理;在风格迁移模块中使用具有通道注意力机制的残差模块和缩略图实例化归一化模块(TIN),以保证各模块风格一致;提出基于全局-局部的损失计算方式,能够有效地处理局部的结构特征。实验结果表明,相较于当前通用的各种神经风格迁移网络,所提算法不仅能够避免图像在编码和解码过程中的信息丢失问题,而且能以更低的内存成本实现更优的风格迁移。