采用表示分离自编码器的任意说话人语音转换

针对非平行语料库下任意说话人之间的语音转换存在语言内容信息和说话人个性特征难以分离,从而导致语音转换的性能不佳的问题,提出了一种采用表示分离自编码器的语音转换方法RSAE-VC。该方法将语音信号的说话人个性特征视为时不变,而将内容信息视为时变,利用编码器中的实例归一化和激活引导层将两者进行分离,再由解码器将源语音的内容信息与目标语音的个性特征进行合成,从而生成转换后的语音。实验结果表明,RSAE-VC在梅尔倒谱距离上比现有的AGAIN-VC转换方法平均降低了3.11%,在基音频率均方根误差上降低了2.41%,MOS分和ABX值分别提升了5.22%和8.45%。RSAE-VC方法通过自内容损失进行约束使语音更好地保留内容信息,通过自说话人损失将说话人个性特征更好地从语音中分离,可以确保说话人个性特征尽少地遗留在内容信息中,从而提高语音转换性能。

基于StarGAN的多属性风格图像生成的轻量化网络

生成对抗网络已广泛用于图像到图像的翻译任务,其中多属性变换得到了越来越多的研究和应用,目前网络架构的参数多而且模型复杂,需要较高的计算能力和存储成本;网络压缩技术如蒸馏和剪枝,主要侧重于视觉识别任务,很少实现对生成任务的压缩。本文提出了一种利用StarGAN的低级和高级特征训练参数较少的学生网络(stuStarGAN)的方法,首先采用知识蒸馏对生成器进行蒸馏,并设计学生判别器让教师判别器蒸馏学生判别器;然后在学生网络设计中采用skip-connection进行跨模块的特征融合;接着增加内容损失函数保持生成图像和原图像的内容信息的一致性;最后采用深度可分离卷积进一步降低参数量并提高图像生成质量。在CelebA和Fer2013数据集上的实验结果表明:模型能够在保证生成质量不降低的情况下,用较少参数生成多属性风格的图像,可以方便地移植到多种应用场景。

基于多尺度回顾蒸馏的单幅图像去雾算法

基于深度学习的图像去雾模型常常设计并堆叠高效的特征提取模块,导致模型复杂、推理慢。知识蒸馏通过将教师网络的知识转移到高效的学生网络,能在不影响模型效果的同时,提高模型的效率,受到广泛关注。但现有的基于知识蒸馏的去雾模型大多集中在教师网络和学生网络之间同一层级的知识转移,知识转移过程中未考虑到特征的转移是否充分,导致特征蒸馏不完全,去雾效果不佳。为缓解以上问题,提出多尺度回顾蒸馏网络(mult-scale review distillation network,MRDN),将教师网络知识充分转移到学生网络的不同层级中。首先为了保证学生和教师网络挖掘图像隐含特征和重建信息的能力,分别设计了混合注意力模块(hybrid attention block,HAB)和混合注意力模块组(hybrid attention block groups,HABs);然后利用注意力融合模块(attention fusion block,AFB)对知识进行回顾,即融合学生网络的当前层级和深层级特征,生成用于蒸馏的中间特征;最后为了准确转移知识,利用层级内容损失模块(hierarchical content loss block,HCLB)对中间特征和教师网络对应的层级特征进行多尺度金字塔特征提取,计算出各层级的损失。实验结果表明,MRDN在真实雾图上的去雾效果更好,且在SOTS数据集上的PSNR和SSIM指标方面超过最好的对比模型(EPDN)分别9.2%、7.8%。

面向单幅遥感图像的生成对抗网络超分辨率重建

利用低分辨率图像生成高分辨率图像的过程称为图像超分辨率,目的是得到一张清晰的影像。随着人工智能的蓬勃发展,在遥感、辅助文本识别等诸多领域,图像超分辨率的应用愈加广泛。本文利用生成对抗网络的深度学习模型进行单图像超分重建,SRGAN模型相较于传统方法,提出了新的感知损失函数,由对抗损失和内容损失组成。对抗损失通过训练判别器网络结构区分生成图像和实际高分辨率图像,而内容损失则利用预训练的VGG19网络模型计算图像特征的感知相似度,而不是在像素空间上的相似度。试验证明,利用SRGAN获得的高分辨率图片,MOS指标高于传统方法。本文围绕SRGAN的原理、效果、应用等进行了阐述。

基于条件生成对抗网络的图像去雾方法

雾霾天气下拍摄收集的图像和视频能见度低,图像质量大幅下降,影响目标检测等高级计算机视觉任务检测精度。目前暗通道、DehazeNet、AOD-Net等去雾方法存在有雾残留、色差较大等问题。为解决以上问题,提出基于条件生成对抗网络(CGAN)的图像去雾方法——CGAN-dense。其生成器设计密集块结构以提高特征利用率,改善去雾细节保持效果;判别器使用34×34的PatchGAN进行分块判定,提高图像分辨率;损失函数增加内容损失,减少像素级别损失。在合成有雾数据集Hazy Dataset中,所提方法的峰值信噪比(PSNR)达到35.45 dB以上,结构相似度(SSIM)达到0.970 2以上;在Reside数据集中,PSNR达到22.25 dB以上,SSIM达到0.908 8以上,去雾后目标检测率相比去雾前提高6.96个百分点。实验结果表明,所提方法能够减少色差较大和有雾残留问题,提高了图像去雾的色彩保真性和细节信息保持度。

感知相似的图像分类对抗样本生成模型

现有基于生成器的对抗样本生成模型相比基于迭代修改原图的算法可有效降低对抗样本的构造时间,但其生成的对抗样本与原图在感知上具有明显差异,人眼易察觉。该模型旨在增加对抗样本与原图在人眼观察感知上的相似性,并保证攻击成功率。模型将对抗样本生成的过程视为对原图进行图像增强的操作,引入生成对抗网络,并改进感知损失函数以增加对抗样本与原图在内容与特征空间上的相似性,采用多分类器损失函数优化训练从而提高攻击效率。实验结果表明,相比其他基于生成器的对抗样本生成模型,该模型有效提高了对抗样本与原图的结构相似性指标,并且攻击成功率未出现下降。说明在保持攻击成功率的同时,该模型可有效提高人眼观察下对抗样本与原图的相似性。

基于拉普拉斯算子和颜色保留的神经风格迁移算法

针对神经风格迁移算法结果中存在伪影、颜色丢失、轮廓模糊不清等影响整体艺术效果的问题,提出了一种基于拉普拉斯算子和颜色保留(LCR)的神经风格迁移算法。所提LCR算法使用内容损失项、风格损失项、直方图损失项以及拉普拉斯损失项构建总损失函数。由于在LCR算法中使用了直方图损失项和拉普拉斯损失项,因此,LCR算法与基于卷积神经网络的图像风格迁移(IST-CNN)算法、基于深度特征扰动(DFP)算法相比,对风格化结果图有更好的整体艺术效果。首先,通过对输入内容图像和风格图像进行去噪处理,减小了图像噪声对后续各个损失项计算的影响;其次,对内容图像和风格图像进行RGB空间到Lab空间的转换,以实现图像亮度通道L和颜色通道a、b的分离,并把内容图像的亮度信息迁移到风格图像上,从而达到内容图像颜色保留的目的;最后,在卷积神经网络(CNN)中对总损失函数进行迭代优化并输出风格化结果图。与IST-CNN和DFP算法相比,所提LCR算法的峰值信噪比(PSNR)平均分别提高了约12.418 dB和8.038 dB,结构相似性(SSIM)平均分别提高了约0.348 06和0.258 54,均方差(MSE)平均分别降低了0.653 76和0.296 00。实验结果表明,LCR算法有更好的风格化绘制整体视觉效果。

基于VGG-16的图像风格迁移

图像风格迁移算法主要是用于对图像的艺术处理,通过某种算法,对指定的图像内容做特定的风格转换。早在2000年就已经有很多学者进行了图像风格迁移的研究,当时的主流算法集中于使用小波变换等统计方法对图像纹理合成等问题的解决。近年来,依靠卷积神经网络(Convolutional Neural Networks,CNN)的发展,借助其强大的内容抽取能力,图像风格迁移的表现效果得到了明显提升。本文基于经典的卷积神经网络模型VGG-16对内容图像和风格图像做特征抽取,对生成图像进行迭代修改,最终得到具有指定内容和风格的目标图像。搭建算法模型,在公开的图像数据集上做了测试,得到了较为理想的模型效果。

图像重定向质量评价的研究进展

随着移动显示设备的普及,人们可以使用不同的终端设备来获取图像信息。为了适配不同尺寸的设备,图像重定向技术应运而生,并成为当前研究的热点。尽管该技术在近年来取得了长足进步,但没有算法能够保证在不降低视觉内容质量的前提下满足多种显示设备的要求。换句话说,在图像重定向的过程中,不可避免地会引入失真,降低用户的视觉体验。因此,如何客观、准确地评价重定向图像质量对图像重定向算法的选择、优化及发展至关重要。当前,研究人员已针对图像重定向质量评价开展了一系列研究,并取得了一定的研究成果。但是缺乏对图像重定向质量评价的综述,因此本文对当前图像重定向质量评价的研究进展进行了较为全面的回顾和总结。首先简单介绍了图像重定向以及传统图像质量评价;然后分别介绍图像重定向质量评价的数据集和客观质量评价方法,将现有的客观质量评价分为基于传统特征相似性的方法和基于图像配准的方法两类,并分析了两类方法的优缺点;接着在3个数据集上对具有代表性的算法的性能进行了对比分析;最后,总结了当前图像重定向质量评价领域面临的问题和挑战,并指明了未来可能的发展方向。

基于双转移网络的深度特征重排图像修复算法

为对图像中大面积缺失区域进行合理的结构修复和精细的纹理填充,提出了一种基于双转移网络的深度特征重排图像修复算法.首先提取缺失图像的特征并还原图像纹理细节;然后根据编码器特征估计缺失内容,提出基于解码器特征的内容损失函数,减少全连接层的解码器特征与缺失区域编码器特征之间的距离,保证合成图像语义的准确性和结构的合理性.在公开数据集上,将提出算法与现有经典算法进行对比,结果表明:在大面积缺失图像修复中,提出算法能得到清晰、细节细腻且视觉合理的结果.