基于改进AdaIN的图像风格迁移

图像风格迁移技术是指给定内容图和风格图,利用机器学习算法将内容图渲染成具有艺术风格的画作。针对传统图像风格迁移算法无法兼顾速度与生成图像质量等问题,基于AdaIN算法,提出AdaIN改进算法。在原始AdaIN网络中加入内容图像的深度信息计算模块,提取内容图像的深度图,通过将迁移图像数据与深度图归一化处理后的数据按元素相乘的方法,突出内容图的深度信息,使得输出的风格迁移图像各深度下具有不同的风格化程度。实验表明,相较于Gatys等多种传统风格迁移算法,AdaIN改进算法在运行时间上可降低约11%;不需要针对每种风格单独训练网络,避免了模型重复训练;内容图像深度信息得以保存,提高了图像渲染质量。

基于边缘增强和关联损失的服装图像风格迁移

服装图案风格的迁移可以依据个人需要调整对应的风格服饰,满足大众对精神生活越来越高的需求。传统的服装图案风格迁移多采用简单纹理,内容较为单一,图像效果不够理想。针对这些问题,提出了一种基于边缘增强和关联损失的服装图案风格迁移方法(EnAdaIN)。首先,依据Kirsch算子对图像的原始边缘特征进行提取,同时结合Mask R-CNN深度学习方法对服装图像进行语义分割;然后,通过改进AdaIN算法构建基于空间关联损失的EnAdaIN方法,并输出风格迁移图像。EnAdaIN方法在融合边缘特征与语义风格图像的基础上实现服装图像的风格迁移,在融合空间关联损失算法的基础上进一步提升图像的特征相似度。研究表明:EnAdaIN方法峰值信噪比相较于其他方法提升超过0.95%,结构相似性提升超过2.43%,迁移效率提升超过了3.53%,生成后的图像信息色彩更为丰富、特征明显,进一步提升了图像的对比度和质量。

基于内容风格增强和特征嵌入优化的人脸活体检测方法

针对现有人脸活体检测算法的特征表示不佳,以及在跨数据集上泛化性能较差等问题,提出了一种基于内容风格增强和特征嵌入优化的人脸活体检测方法。首先,使用ResNet-18编码器提取来自多个源域的通用特征,并经过不同注意力机制的两个自适应模块进行分离,增强全局内容特征与局部风格特征表征;其次,基于AdaIN算法将内容特征与风格特征进行有机融合,进一步提升特征表示,并将融合后的特征输入到特定的分类器和域判别器进行对抗训练;最后,采用平均负样本的半难样本三元组挖掘优化特征嵌入,可以兼顾类内聚集和类间排斥,更好地捕捉真实和伪造类别之间的界限。该方法在四个基准数据集CASIA-FASD、REPLAY-ATTACK、MSU-MFSD和OULU-NPU上进行训练测试,分别达到了6.33%、12.05%、8.38%、10.59%的准确率,优于现有算法,表明该方法能够显著提升人脸活体检测模型在跨数据集测试中的泛化性能。

基于CLIP和双空间自适应归一化的图像翻译

现有的图像翻译方法大多依赖数据集域标签来完成翻译任务,这种依赖往往限制了它们的应用范围。针对完全无监督图像翻译任务的方法能够解决域标签的限制问题,但是普遍存在源域信息丢失的现象。为了解决上述2个问题,提出一种基于对比学习语言-图像预训练(CLIP)的无监督图像翻译模型。首先,引入CLIP相似性损失对图像的风格特征施加约束,以在不使用数据集域标签的情况下增强模型传递图像风格信息的能力和准确性;其次,对自适应实例归一化(AdaIN)进行改进,设计一个新的双空间自适应归一化(DSAdaIN)模块,在特征的风格化阶段添加网络的学习和自适应交互过程,以加强对内容源域信息的保留;最后,设计一个鉴别器对比损失来平衡对抗网络损失的训练和优化过程。在多个公开数据集上的实验结果表明,与Star GANv2、Style DIS等模型相比,该模型可在准确传递图像风格信息的同时保留一定的源域信息,且在定量评估指标FID分数和KID分数上分别提升了近3.35和0.57×102,实现了较好的图像翻译性能。

一种基于GAN的轻量级水墨画风格迁移模型

当前现有的风格迁移方法大多以照片或西方绘画为主。由于中西方画作之间的内在差异,直接应用现有的算法无法生成令人满意的中国水墨画风格迁移的结果。文中基于GAN提出了一种新颖的适用于水墨画的风格迁移方法。该方法结合了AdaIN方法、风格注意力模块和感知损失,可以更准确地学习到水墨画的风格特征,一定程度上解决了水墨图像生成质量不佳的问题。定性分析和定量评估结果表明文中方法性能更好,生成的结果具有更佳的视觉效果。相比于基准方法,文中所提方法减少了约55%的参数量,降低了约60%的训练时间。

基于无监督学习的单样本红外图像生成方法

针对当前可见光-红外图像数据集匮乏导致的模型特征学习能力不够以及生成图像质量低下等问题,提出了单样本的无监督学习方法来训练红外图像生成模型。首先,在数据集难以获取、匮乏的情况下,仅采用一对可见光-红外图像作为模型训练的数据,降低了数据获取的难度,解决了数据匮乏的问题。其次,为了在训练模型时充分提取图像特征,改进了网络结构。实验数据表明,本文方法能够在单样本图像生成中取得较好的效果。在艾睿光电数据集中,本文方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)与结构相似性(Structural Similarity, SSIM)指标分别达到了26.5588 dB和0.8846;在俄亥俄州立大学(Ohio State University, OSU)数据集上的PSNR和SSIM分别达到了30.3528 dB和0.9182。与基于风格的生成对抗网络(Style-based Generative Adversarial Network, StyleGAN)方法相比,本文方法在艾睿光电数据集上的PSNR和SSIM指标分别提高了16.07%和23.78%;在OSU数据集上的PSNR和SSIM指标分别提高了31.8%和40.4%。结果表明,本文方法在当前图像质量评价指标方面有较为明显的提高,生成的红外图像纹理细节丰富且接近于真实红外图像。该研究对于今后的红外图像生成技术优化具有一定的参考意义。

基于深度学习的服装图案刺绣风格化设计探析

为了将基于深度学习的图像风格迁移技术引入纺织服装中刺绣元素设计领域,拓展刺绣在服装中的创新思路和表现形式,本文利用DIN算法进行服装图案风格迁移处理,将图像风格化处理技术应用到服装图案设计中,对服装图案进行图案刺绣风格化处理,在实现服装图案的刺绣化效果的同时减少人力物力的投入。与基于AdaIN算法的图像风格化处理相比,较好的保留了原图的结构且更显自然,验证了该方法的有效性。研究认为DIN算法在服装图案刺绣风格化处理上具有一定可行性,可利用图像风格迁移技术更好的实现刺绣在服装设计中的应用与研究。