基于多尺度Scale-Unet的单样本图像翻译

随着生成对抗网络(GAN)的发展,基于单样本的无监督图像到图像翻译(UI2I)取得了重大进展。然而,以前方法无法捕获图像中的复杂纹理并保留原始内容信息。为解决这个问题,提出了一种基于尺度可变U-Net结构(Scale—Unet)的新型单样本图像翻译结构SUGAN。所提出的SUGAN使用Scale—Unet作为生成器,利用多尺度结构和渐进方法不断改进网络结构,以从粗到细地学习图像特征。同时,提出了尺度像素损失scale-pixel来更好地约束保留原始内容信息,防止信息丢失。实验表明,与SinGAN、TuiGAN、TSIT、StyTR2等公共数据集Summer■Winter、Horse■Zebra上的方法相比,该方法生成图像的SIFID值平均降低了30%。所提方法可更好地保留图像内容信息,同时生成详细逼真的高质量图像。

基于CLIP和双空间自适应归一化的图像翻译

现有的图像翻译方法大多依赖数据集域标签来完成翻译任务,这种依赖往往限制了它们的应用范围。针对完全无监督图像翻译任务的方法能够解决域标签的限制问题,但是普遍存在源域信息丢失的现象。为了解决上述2个问题,提出一种基于对比学习语言-图像预训练(CLIP)的无监督图像翻译模型。首先,引入CLIP相似性损失对图像的风格特征施加约束,以在不使用数据集域标签的情况下增强模型传递图像风格信息的能力和准确性;其次,对自适应实例归一化(AdaIN)进行改进,设计一个新的双空间自适应归一化(DSAdaIN)模块,在特征的风格化阶段添加网络的学习和自适应交互过程,以加强对内容源域信息的保留;最后,设计一个鉴别器对比损失来平衡对抗网络损失的训练和优化过程。在多个公开数据集上的实验结果表明,与Star GANv2、Style DIS等模型相比,该模型可在准确传递图像风格信息的同时保留一定的源域信息,且在定量评估指标FID分数和KID分数上分别提升了近3.35和0.57×102,实现了较好的图像翻译性能。

基于条件生成对抗网络的图像翻译综述

图像翻译旨在实现多组不同领域图像间的转换,同时需要约束样本空间与目标空间分布的一致性.文章旨在寻找条件生成对抗网络与图像翻译问题的结合点,首先,介绍了数据集的特点,指出了不同数据集图像翻译难易程度;其次,从数学表达、性质以及目标函数设计方法得出算法实现的不同方式;将现有图像翻译分成3种类别——匹配图像翻译、非匹配图像翻译和多领域图像翻译,并得出不同应用场景所对应的图像翻译类别,即高清任务对应匹配图像翻译,低成本任务对应非匹配图像翻译,多样化任务对应多领域图像翻译;将图像质量评价方法分为主观图像质量评价与客观图像质量评价,并分析客观图像质量评价中全参考图像与无参考图像质量评价的适用范围;最后,总结条件生成对抗网络在图像翻译中的进展,并分析算法后指出了模式崩塌,模型可解释性和少样本等未来所需解决的问题.

基于潜在编码空间的属性控制人脸图像翻译方法

人脸图像翻译旨在将输入人脸图像经过一系列的条件操作,得到符合预期的目标人脸图像。然而,现有方法往往面临模型泛化性不足、属性耦合等挑战。基于此,提出了一种基于潜在编码空间的属性控制人脸图像翻译方法。首先,通过特征金字塔编码网络得到特征向量并组成潜在编码空间;其次,基于潜在编码空间的特征表示能力,对特征向量进行分类学习,得到属性法向量实现人脸属性控制;最后,使用属性法向量解耦和重训练两个步骤解决人脸属性耦合等问题。该方法在提高图像翻译质量的同时实现了人脸属性的精细化控制,并在草图到真实人脸任务中验证了该方法的泛化性。通过AttGAN等主流人脸图像翻译方法进行对比实验和分析,结果表明该方法在FID(Fréchet Inception Distance)等评价指标中较现有方法提升2%~50%不等,在属性生成精确度上提升3%~30%,证明该方法有效提升了属性控制下人脸图像翻译的性能。

基于原型修正的小样本半监督语义图像翻译算法

图像翻译任务是计算机视觉领域一个重要的研究方向,在图像风格化、超分辨率图像生成等视觉领域都有着广泛的应用。针对图像翻译任务中语义信息标注成本高、数据集通常标注困难的问题,提出了一种基于原型修正的小样本语义图像翻译算法,该算法主要包含StyleGAN、语义相似度回归器、pSp编码器模块。首先,为了降低模型对标签图像的依赖,该算法使用StyleGAN预训练模型充当生成器,增加小样本场景下的训练样本数和提升模型生成的多样性。其次,考虑到样本语义类内差异,该算法设计语义相似度回归器对原型进行修正,提升伪标签的准确率,增强模型优化效果。然后,结合标签图像和合成图像的特征图以及原型向量,实现语义信息的循环合成,构建出自监督损失函数以避免语义相似度回归器训练的标签信息需求,并利用伪标签图像对pSp编码器继续进行训练,实现语义图像翻译任务。最后,实验结果验证了所提算法在泛化性能和合成图像的多样性方面均优于经典算法。

基于图像翻译技术的城市街景模拟系统设计与实现

针对虚拟地理环境场景复杂多变、城市环境模拟效果较差等问题,结合多视图协同交互可视化、WebGIS等技术,构建了一个综合的虚拟地理环境模拟系统,对用户需求、系统架构进行分析,设计了数据库和系统功能,介绍了基础操作模块、空间数据的可视化展示和专题模拟等高级功能。通过实验验证,该系统有效地提升了虚拟地理环境构建的效率和真实感,为智慧城市建设和决策支持提供了有力的工具和平台。

无监督图像翻译的个性化手写汉字生成方法

由于汉字拥有大量的字符,大多数对汉字的研究主要集中在汉字的识别和分类问题上,对于生成汉字的研究较少,尤其是在没有大量配对的汉字数据集的情况下。该模型使用内容和风格样式都不匹配的汉字数据集,将生成个性化手写汉字的过程公式化为一个从现有的标准印刷字体到个性化手写汉字样式映射的问题。在基于无监督学习的图像翻译模型的基础上,利用注意力机制和自适应标准化层来增强个性化汉字生成的内容和风格,并且通过改进损失函数提高了判别器网络的判别能力。在CASIA-HWDB手写汉字数据集和兰亭序书法数据集上进行了实验,通过对比内容准确性和风格差异性的评价指标,验证了该方法的有效性。

融合自注意力机制和相对鉴别的无监督图像翻译

无监督图像翻译使用非配对训练数据能够完成图像中对象变换、季节转移、卫星与路网图相互转换等多种图像翻译任务.针对基于生成对抗网络(Generative adversarial network,GAN)的无监督图像翻译中训练过程不稳定、无关域改变较大而导致翻译图像细节模糊、真实性低的问题,本文基于对偶学习提出一种融合自注意力机制和相对鉴别的无监督图像翻译方法.首先,生成器引入自注意力机制加强图像生成过程中像素间远近距离的关联关系,在低、高卷积层间增加跳跃连接,降低无关图像域特征信息损失.其次,判别器使用谱规范化防止因鉴别能力突变造成的梯度消失,增强训练过程中整体模型的稳定性.最后,在损失函数中基于循环重构增加自我重构一致性约束条件,专注目标域的转变,设计相对鉴别对抗损失指导生成器和判别器之间的零和博弈,完成无监督的图像翻译.在Horse&Zebra、Summer&Winter以及AerialPhoto&Map数据集上的实验结果表明:相较于现有GAN的图像翻译方法,本文能够建立更真实的图像域映射关系,提高了生成图像的翻译质量.

基于风格解耦和自适应层实例归一化的图像翻译方法

针对当前无监督图像翻译方法在翻译过程中存在着图像内容变化过大、目标图像域风格传递不佳而导致生成的图像质量较低、多样性较差等问题,提出一种基于风格解耦和自适应层实例归一化的图像翻译方法。首先,采用基于解耦表示的自编码器作为模型的生成器,共享内容编码器来增强图像翻译的内容一致性;其次,在解码器中实现自适应层实例归一化运算,可以自适应地改变图像的风格,以改善风格传递的效果;再次,将随机风格编码融合至损失函数中,使得设计的模型具有生成随机风格图像的能力,来提升生成图像的多样性;最后,设计并实现了该方法,并在多个数据集上进行验证和分析。实验验证表明,与现有的无监督图像翻译方法相比,所研究的方法生成的图像质量较高,多样性较好。

基于空间相关性与特征级插值改进的快速图像翻译模型

近年来,深度学习算法的流行使图像翻译任务取得了显著的效果。其中,很多研究工作致力于在缩短模型运行时间的同时保持图像的生成质量,ASAPNet模型就是一个典型的代表。但该模型的特征级损失函数无法完全解耦图像特征和外观,又由于其大多数计算在极低的分辨率下执行,导致生成的图像质量不够理想。针对上述问题,提出了一种基于空间相关性和特征级插值的ASAPNet改进模型——SRFIT。具体来说,根据自相似性原理,使用空间相关性损失替换原模型中的特征匹配损失,以缓解图像翻译时的场景结构差异的问题,从而提高图像翻译的准确性。此外,受ReMix中数据增强方法的启发,通过线性插值在图像特征级上增加了数据量,解决了生成器过拟合的问题。最后,在两个公开数据集CMP Facades和Cityscapes上进行对比实验,结果均表明,相比当前的主流模型,所提出的改进模型SRFIT展现了更好的性能,可以在有效改善图像生成质量的同时,保持较快的运行速度。

从语符翻译到跨文化图像翻译——亳州花戏楼砖雕文化的英语译介初探

雅各布森把翻译分为三类:语内翻译、语际翻译和语符翻译。根据雅各布森对翻译的分类并结合亳州花戏楼砖雕图像文化中的"参天地"对语符翻译法进行阐述,旨在说明亳州花戏楼砖雕的英语译介要实现图像翻译中的两种跨越:跨越不同学科和艺术门类的翻译和跨越不同文化语境界限的翻译。因此对亳州花戏楼砖雕文化的译介,应采取语内翻译的图像文本转换和跨语际翻译的语符翻译法。

基于图像翻译的载体选择式图像隐写方案

针对基于载体选择的隐写算法存在的安全问题,提出了一种基于图像翻译的载体选择式图像隐写方案.发送方按载体选择的方法从图像库中选取秘密信息并得到含密图像,然后输入到跨域变换模型中进行跨域变换,生成跨域图像并传递给接收方;接收方将跨域图像输入到发送方,由线下传递的跨域变换模型中得到含密图像,然后依据映射关系库将含密图像逆向转化为秘密信息.实验结果表明,所提出的方案在容量、抗检测性和安全性方面均有明显提升.

基于GAN的手绘草图图像翻译研究综述

目前基于GAN的手绘草图图像翻译工作处于起步阶段,分析了草图图像翻译面临的挑战性问题,从无控制和精细控制的草图图像翻译两个方面对基于GAN的草图图像翻译研究工作进行分析,并对生成图像的评估方法进行总结。基于已有研究工作的总结归纳,对该领域未来可能的发展趋势进行了展望,为该领域研究人员拓展研究思路提供了线索。

基于元学习的图像翻译算法

图像翻译是目前计算机视觉领域一个比较重要的方向,其目标旨在学习两个不同图像域之间的映射,同时保留原始图像的特征和语义。当今,无监督学习的图像翻译利用生成对抗网络和比较多的训练数据能够取得不错的性能。但现有的图像翻译模型是采用一种一次性的方式形成,其中忽略了训练过程的学习经验,所生成的模型只能适用于特定的领域,不能适应一个未知的领域。该文在循环一致性生成对抗网络的研究基础之上,尝试从元学习的角度来处理这一类问题。

基于改进的U-Net生成对抗网络的图像翻译算法

针对传统生成对抗网络(Generative Adversarial Networks,GAN)在图像翻译过程中生成图像的轮廓、纹理等特征丢失以及造成图像翻译效果不佳的问题,提出了基于改进U-Net模型的生成对抗网络图像翻译算法。首先,实验研究Pix2Pix生成对抗网络优化算法、学习率以及迭代次数对图像翻译效果的影响,确定生成对抗网络模型参数与优化方法;其次,通过增加反卷积跳跃连接的重复次数增强特征的表达能力;最后,在CUFS人脸数据库上进行实验确定模型参数。实验表明,反卷积跳跃连接的重复次数为5次时,图像翻译的用户调研满意评价指标达到42%,图像翻译的质量达到最优。

一种基于生成对抗网络的轻量级图像翻译模型

图像到图像翻译是一类视觉和图形问题,其目标是使用一组图像来学习输入图像和输出图像之间的映射。近年来关于图像到图像翻译任务的研究工作有很多,例如pix2pix和CycleGAN都在这个任务上表现得非常优秀。但是很少有研究工作是关于如何对这类图像到图像翻译模型进行压缩,降低参数量的使用。目前轻量级网络结构的设计更多是用于基于卷积神经网络的目标检测模型和分类模型,而用于生成对抗网络模型的轻量级网络结构的研究还比较少。所以,文中提出了一种基于生成对抗网络的轻量级网络结构,用于对自然图像进行图像到图像翻译,例如将图像中的马转换为斑马,或者将图像从夏天的景色转换为秋天的景色。实验结果表明,通过使用轻量级的网络结构,该方法在速度和准确性等性能指标上获得了良好的表现。

基于条件投影的无配对数据跨域图像翻译方法

现有的图像翻译方法在涉及两个域以上的翻译任务时缺少可拓展性和鲁棒性。为了实现高质量、高效率的翻译,提出了一种基于条件投影的无配对数据图像转换方法。该方法通过计算生成器学习到的特征信息与条件信息的相似度,来提升翻译的正确性并生成更高质量的图像。相较于现有方法,所提方法使用的参数更少、训练时间更短,并基于多个数据集验证了所提方法的有效性。

基于多层次判别器的图像翻译模型

图像翻译是一类重要的视觉问题,其目标是学习两个视觉域之间的映射,同时保持原始结构或语义。图像翻译研究领域主要存在两个难点,一是缺少配对的图片训练集;二是很难由单个输入产生多种输出。基于解表示的图像翻译模型(DRIT)虽然同时解决这两个难点,但输出的结果显示仍然存在生成图像质量不佳的问题。造成输出质量不佳的一个原因是由于从判别器到生成器的梯度反向传播过程较长,使得训练初期生成器的梯度所包含信息量较少。在DRIT模型研究基础上,本文提出了一种基于多层次判别的多目标图像翻译模型,一定程度上解决了生成图像质量不佳的问题。我们的数值实验结果也表明了本文提出的多层次判别结构对输出质量的提高具有一定的帮助。

基于生成对抗文本的人脸图像翻译

为了使得人脸图像翻译方法具有更好的翻译效果,提出了一种基于生成对抗文本的人脸图像翻译方法(T-GAN)。根据人脸的特殊性,利用深度对称结构联合编码方法,提取人脸所对应的文本描述特征。然后结合生成对抗"博弈"的思想,强迫判别网络判断生成的图像是否符合文本描述,让判别网络不仅仅能够学习生成图像和输入图像之间的关系,也能够学习生成图像和文本描述的对应关系,达到强化训练的效果。实验结果表明,本方法具有使用价值,在各种肤色、发色人脸图像翻译任务都给出了高质量的图像翻译结果,并与其他图像翻译方法相比较,翻译效果更好。

基于生成对抗网络的人脸图像翻译

针对人脸照片和人脸素描间的图像翻译问题,本文基于对偶生成对抗网络模型,对其目标函数附加两个损失函数建立新的网络模型.通过参数优化实验不断优化本文提出的模型,从而找到最优参数;通过直观和量化对比实验表明本文提出的模型在人脸数据上的图像翻译效果无论在清晰度还是在保持面部特征方面是目前基于生成对抗网络的图像翻译模型中表现最优的,并对相关GAN模型的稳定性进行了对比;最后通过效果分析实验说明了所附加的损失函数的具体作用.