基于注意力机制与对比学习的任意风格迁移

针对目前任意风格迁移研究中存在的既要保持图像语义内容和结构信息的一致性,同时又要迁移更多风格特征的难点问题,本文基于注意力机制和对比学习设计了图像任意风格迁移模型。其中所设计的基于注意力的自适应转换网络,可以使模型自适应地获取风格特征的全局统计信息,有效改善特征融合过程中内容特征与风格特征统计特性的对齐状态;而其中所设计的对比损失,使模型在对比学习中有效融合内容图像的结构特征,使生成图像与内容图像具有良好的内容相似性。同其他5种先进模型的对比实验表明,本文设计的模型生成的图像在视觉效果以及定量评价上都具有显著优势。

保留细节特征的图像任意风格迁移

一些主流的图像任意风格迁移模型在保持内容图像的显著性信息和细节特征方面依然有局限性,生成的图像往往具有内容模糊、细节失真等问题.针对以上问题,本文提出一种可以有效保留内容图像细节特征的图像任意风格迁移模型.模型包括灵活地融合从编码器提取到的浅层至深层的多层级图像特征;提出一种新的特征融合模块,该模块可以高质量地融合内容特征和风格特征.此外,还提出一个新的损失函数,该损失函数可以很好地保持内容和风格全局结构,消除伪影.实验结果表明,本文提出的图像任意风格迁移模型可以很好地平衡风格和内容,保留内容图像完整的语义信息和细节特征,生成视觉效果更好的风格化图像.

融合超分辨率重构的图像任意风格迁移

图像风格迁移是指将一张普通照片转化为具有其他艺术风格效果的图像。针对风格迁移算法中无法重构生成图像的分辨率而造成生成图像清晰度低、纹理细节表现不丰富的问题,提出一种融合超分辨率重构的图像任意风格迁移模型。模型中加入的多支路特征处理模块通过计算特征的自相似性以增强特征的表达,提出新的特征融合模块以提升特征融合效果,提出特征解码模块来实现图像的超分辨率重构,并在其中多次进行特征融合以提升风格化图像的质量;在损失函数中加入生成对抗损失和白化处理来进一步提升风格化效果。实验表明,模型具有较好的任意风格迁移效果,分辨率重构后的风格化图像的细节丰富、纹理清晰。

融合交叉注意力机制的图像任意风格迁移

图像风格迁移指将一张普通照片转化为一张具有其他艺术风格效果的图像,随着深度学习的发展,出现了一些图像任意风格迁移算法,给定任意风格便能生成具有该风格的风格化图像。针对任意风格迁移算法中存在如何同时适应全局和局部风格,保持空间一致性问题,提出了一个融合交叉注意力的任意风格迁移算法网络,通过捕捉长程依赖,高效生成全局与局部风格协调的风格化图像;针对风格化图像的内容结构扭曲问题,在进行风格迁移之前,加入一组并行的通道空间注意力网络,该注意力网络能进一步细化关键特征,保留关键信息;除此之外,提出了一个新的损失函数,在消除伪影的同时能更好地保留内容结构信息。该算法能根据内容图像的语义空间分布,匹配语义上最接近的风格特征,高效灵活地调整局部风格,且能保留更多内容结构的原始信息。实验结果表明,所提算法能够生成任意风格且视觉效果更佳的高质量风格化图像。

改进型任意风格快速迁移元网络算法

基于元网络的任意风格快速迁移方法得到业界的高度关注和评价。然而,该模型的结果图中经常出现灰色风格不协调的像素缺块,颜色色调与目标风格图不一致,严重影响了迁移质量。提出了该方法的改进策略。使用Gram矩阵作为风格统计量,用于元网络信息输入和计算网络训练损失函数。同时,综合Gram矩阵平均池化操作和元网络分组全连接策略,有效避免了传统Gram矩阵带来网络参数整体过大的问题。实验结果显示,该方法不仅有效去除了不协调风格缺块问题,而且在纹理和颜色布局上较原方法取得了更好的视觉效果。通过理论分析、实验佐证,在算法收敛性和视觉效果方面,进一步确认了采用Gram矩阵作为风格损失和特征统计量的优越性。

基于Transformer方法的任意风格迁移策略

目的任意风格迁移是图像处理任务的重要分支,卷积神经网络作为其常用的网络架构,能够协助内容和风格信息的提取与分离,但是受限于卷积操作感受野,只能捕获图像局部关联先验知识;而自然语言处理领域的Transformer网络能够突破距离限制,捕获长距离依赖关系,更好地建模全局信息,但是因为需要学习所有元素间的关联性,其表达能力的提高也带来了计算成本的增加。鉴于风格迁移过程与句子翻译过程的相似性,提出了一种混合网络模型,综合利用卷积神经网络和Transformer网络的优点并抑制其不足。方法首先使用卷积神经网络提取图像高级特征,同时降低图像尺寸。随后将提取的特征送入Transformer中,求取内容特征与风格特征间的关联性,并将内容特征替换为风格特征的加权和,实现风格转换。最后使用卷积神经网络将处理好的特征映射回图像域,生成艺术化图像。结果与5种先进的任意风格迁移方法进行定性和定量比较。在定性方面,进行用户调查,比较各方法生成图像的风格化效果,结果表明本文网络生成的风格化图像渲染效果更受用户喜爱;在定量方面,比较各方法的风格化处理速度,结果表明本文网络风格化速率排名第3,属于可接受范围内。此外,本文与现有的基于Transformer的任意风格迁移方法进行比较,突出二者间差异;对判别网络进行消融实验,表明判别网络的引入能够有效提升图像的光滑度和整洁度;最后,将本文网络应用于多种风格迁移任务,表明本文网络具有灵活性。结论本文提出的混合网络模型,综合了卷积神经网络和Transformer网络的优点,同时引入了判别网络,使生成的风格化图像更加真实和生动。