基于i向量和变分自编码相对生成对抗网络的语音转换

提出一种基于i向量和变分自编码相对生成对抗网络的语音转换方法,实现了非平行文本条件下高质量的多对多语音转换.性能良好的语音转换系统,既要保持重构语音的自然度,又要兼顾转换语音的说话人个性特征是否准确.首先为了改善合成语音自然度,利用生成性能更好的相对生成对抗网络代替基于变分自编码生成对抗网络模型中的Wasserstein生成对抗网络,通过构造相对鉴别器的方式,使得鉴别器的输出依赖于真实样本和生成样本间的相对值,克服了Wasserstein生成对抗网络性能不稳定和收敛速度较慢等问题.进一步为了提升转换语音的说话人个性相似度,在解码阶段,引入含有丰富个性信息的i向量,以充分学习说话人的个性化特征.客观和主观实验表明,转换后的语音平均梅尔倒谱失真距离值较基准模型降低4.80%,平均意见得分值提升5.12%,ABX值提升8.60%,验证了该方法在语音自然度和个性相似度两个方面均有显著的提高,实现了高质量的语音转换.

用于全色锐化的相对平均生成对抗网络

为解决全色锐化过程中对原图像特征提取不足导致融合结果细节信息易丢失,以及图像融合过程中因忽略不同区域的空间特征差异而导致信息冗余等问题,采用深度学习算法,提出一种用于全色锐化的相对平均生成对抗网络(Pan-RaGAN)。在生成器中利用改进的密集块结构对原图像进行特征提取,充分利用原图像各级特征,获取包含了更多细节信息的融合结果;提出基于空间注意力机制的特征细化模块,用于特征选择,可在保留有效高频信息的同时剔除冗余信息;利用图像重建模块将细化后的特征与上采样的低分辨率多光谱图像进行融合,以保持光谱信息;利用相对平均鉴别器改进网络的损失函数,进一步优化融合效果。在高分2号卫星和快鸟卫星图像数据集上的实验结果表明,与已有用于遥感图像全色锐化的生成对抗网络相比,Pan-RaGAN网络的光谱角映射指标平均降低了0.075,验证了Pan-RaGAN网络的有效性。

残差密集相对平均CGAN的脑部图像配准

目的针对图像合成配准算法中鲁棒性差及合成图像特征信息不足导致配准精度不高的问题,提出了基于残差密集相对平均条件生成对抗网络(residual dense-relativistic average conditional generative adversarial network,RD-RaCGAN)的多模态脑部图像配准方法。方法相对平均生成对抗网络中的相对平均鉴别器能够增强模型稳定性,条件生成对抗网络加入条件变量能提高生成数据质量,结合两种网络特点,利用残差密集块充分提取深层网络特征的能力,构建RD-RaCGAN合成模型。然后,待配准的参考CT(computed tomography)和浮动MR(magnetic resonance)图像通过已训练好的RD-RaCGAN合成模型双向合成对应的参考MR和浮动CT图像。采用区域自适应配准算法,从参考CT和浮动CT图像中选取骨骼信息的关键点,从浮动MR和参考MR图像中选取软组织信息的关键点,通过提取的关键点指导形变场的估计。从浮动CT图像到参考CT图像估计一个形变场。类似地,从浮动MR图像到参考MR图像估计一个形变场。另外,采用分层对称的思想进一步优化两个形变场,当两个形变场之间的差异达到最小时,将两个形变场融合得到最终的形变场,并将形变场作用于浮动图像完成配准。结果实验结果表明,与其他6种图像合成方法相比,本文模型合成的目标图像在视觉效果和客观评价指标上均优于其他方法。对比Powell优化的MI(mutual information)法、ANTs-SyN(advanced normalization toolbox-symmetric normalization)、D.Demons(diffeomorphic demons)、Cue-Aware Net(cue-aware deep regression network)和I-SI(intensity and spatial information)的图像配准方法,归一化互信息分别提高了43.71%、12.87%、10.59%、0.47%、5.59%,均方根误差均值分别下降了39.80%、38.67%、15.68%、4.38%、2.61%。结论本文提出的多模态脑部图像配准方法具有很强的鲁棒性,能够稳定、准确地完成图像配准任务。