基于多尺度密集特征融合的单图像翻译

为了解决现有的单图像翻译模型生成的图像质量低、细节特征差的问题,本文提出了基于多尺度密集特征融合的单图像翻译模型。该模型首先借用多尺度金字塔结构思想,对原图像和目标图像进行下采样,得到不同尺寸的输入图像。然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取,将提取到的风格特征从原图像迁移到目标图像中,通过与判别器不断的博弈对抗,生成所需要的翻译图像;最后,本文通过渐进式增长生成器训练的方式,在训练的每个阶段中不断增加密集特征模块,实现生成图像从全局风格到局部风格的迁移,生成所需要的翻译图像。本文在各种无监督图像到图像翻译任务上进行了广泛的实验,实验结果表明,与现有的方法相比,本文的方法训练时长缩短了75%,并且生成图像的SIFID值平均降低了22.18%。本文的模型可以更好地捕获源域和目标域之间分布的差异,提高图像翻译的质量。

基于多尺度Scale-Unet的单样本图像翻译

随着生成对抗网络(GAN)的发展,基于单样本的无监督图像到图像翻译(UI2I)取得了重大进展。然而,以前方法无法捕获图像中的复杂纹理并保留原始内容信息。为解决这个问题,提出了一种基于尺度可变U-Net结构(Scale—Unet)的新型单样本图像翻译结构SUGAN。所提出的SUGAN使用Scale—Unet作为生成器,利用多尺度结构和渐进方法不断改进网络结构,以从粗到细地学习图像特征。同时,提出了尺度像素损失scale-pixel来更好地约束保留原始内容信息,防止信息丢失。实验表明,与SinGAN、TuiGAN、TSIT、StyTR2等公共数据集Summer■Winter、Horse■Zebra上的方法相比,该方法生成图像的SIFID值平均降低了30%。所提方法可更好地保留图像内容信息,同时生成详细逼真的高质量图像。