基于StarGAN-VC的语音风格转换技术

文章基于星型生成式对抗网络-语音转换(Star Generative Adversarial Networks-Voice Conversion,StarGAN-VC)模型,研究了一种先进的语音风格转换技术,旨在实现对语音信号的高效转换。首先,详细阐述了基于StarGAN-VC的语音转换方法的基本原理。其次,深入研究特征提取和基频转换方法,以及StarGAN-VC模型的数学原理。最后,通过在VCC2018数据集上的实验,验证了该方法的性能。实验结果表明,该方法在频谱包络相似度和基频准确度等指标上均取得了令人满意的效果。

基于StarGAN的人脸表情数据增强研究

StarGAN网络在生成人脸表情图片时存在局部细节模糊、重叠、整体质量不佳等问题,针对上述问题,对基础StarGAN网络提出了以下3项改进:对生成器加入CBAM注意力模块;改变生成器的网络结构为Attention U-Net网络;对原来的损失函数加入上下文损失函数。对于实验结果使用定性和定量的评价标准,通过与其他模型的FID图像评价指标数值比较,文章提出的方法生成的图片在图像整体质量和局部细节都有显著的效果。

基于PolyLoss的StarGAN图像样本自生长研究

在深度学习模型训练中,提高输入样本数量能够有效解决样本不均衡和训练过拟合问题。为更好地处理数据集的小样本场景,提出了一种基于PolyLoss的StarGAN小样本图像增强方法(PolyStarGAN)。相比传统样本增强方法,该网络具有更高的样本学习、生成能力。该方法使用训练生成器和判别器提取图像的特征信息,生成图像与输入图像的内容和结构一致。通过计算峰值信噪比、结构相似性与视觉信息保真度3个方面评估PolyStarGAN网络生成结果;在ResNet50目标识别模型训练中验证数据集质量。实验结果表明,提出的模型对不同场景图像的增强效果较好,提高了自生长数据集的ResNet50模型识别精度,可为样本自生长中的小样本问题提供参考方案与技术支持。

基于StarGAN和类别编码器的图像风格转换

图像风格转换技术已经融入到人们的生活中,并被广泛应用于图像艺术化、卡通化、图像着色、滤镜处理和去遮挡等实际场景中,因此,图像风格转换具有重要的研究意义与应用价值.StarGAN是近年来用于多域图像风格转换的生成对抗网络框架.StarGAN通过简单地下采样提取特征,然后通过上采样生成图片,但是生成图片的背景颜色信息、人物脸部的细节特征会与输入图像有较大差异.对StarGAN的网络结构进行改进,通过引入U-Net和边缘损失函数,提出了用于图像风格转换的UE-StarGAN模型.同时,将类别编码器引入到UE-StarGAN模型的生成器中,构建了融合类别编码器的小样本图像风格转换模型,实现了小样本的图像风格转换.实验结果表明:该模型可以提取到更精细的特征,在小样本的情况下具有一定的优势,以此进行图像风格转换后的图片无论是定性分析还是定量分析都有一定的提升,验证了所提模型的有效性.

基于StarGAN和子空间学习的缺失多视图聚类

传统多视图聚类方法假设每一个视图的数据都是完整的。然而,现实生活中有些数据在某些视图上缺失,由此产生了缺失多视图聚类问题。现有的缺失多视图聚类方法大多是基于核矩阵和非负矩阵分解提出的。这些方法大多只是学习一个共有的聚类结构,没有充分利用已有的数据信息推断缺失的数据。基于星型生成对抗网络(StarGAN)和子空间学习,本文中提出了一种缺失多视图聚类算法SSPMVC。SSPMVC充分利用已有的数据信息,用基于StarGAN的生成模型生成视图缺失的数据,捕获了视图数据的完整性和一致性全局结构,然后将补全的多视图数据在子空间进行聚类。SSPMVC将生成模型和聚类模型联合训练,交替优化生成模型和聚类模型。实验结果表明,论文提出的算法优于与之比较的经典的多视图聚类方法。

模式搜索星型生成对抗网络下的面部表情生成

针对生成对抗网络(GAN)在训练过程中因容易出现的模式崩塌现象导致面部表情生成图像效果不佳的问题,提出一种基于模式搜索星型生成对抗网络(StarGAN)的面部表情图像生成方法。首先将模式搜索正则项与星型生成对抗网络的生成器损失相结合,以改善星型生成对抗网络的模式崩塌现象;其次将网络结构中生成器的普通卷积层使用空间可分离卷积替代,相对减少训练参数,提高模型训练的稳定性。实验在2个数据集上与CycleGAN,DiscoGAN和StarGAN等模型生成的图像进行质量比较,在CK+数据集上弗雷歇距离分别提高了2.98,2.20和1.64;在FER2013数据集上弗雷歇距离分别提高了2.60,1.72和0.68。本文所提出的模式搜索StarGAN模型可以更有效改善模式崩塌问题,进而提高表情图像的质量和模型训练的稳定性。

风格强度可变的人脸风格迁移网络

目的针对人脸风格迁移算法StarGAN(star generative adversarial network)、MSGAN(mode seeking genera⁃tive adversarial network)等存在细节风格学习不佳、迁移效果单一和生成图像失真等缺点,提出一种能够降低失真并生成不同风格强度图像的人脸风格迁移算法MStarGAN(multilayer StarGAN)。方法首先,通过特征金字塔网络(feature pyramid network,FPN)构建前置编码器,生成蕴含有图像细节特征的多层特征向量,增强生成图像在风格传输时能学习到的风格图像的细节风格;其次,使用前置编码器对原图像及风格图像各生成一个风格向量并进行组合,利用组合后的风格向量进行风格传输,使生成图像具有不同的风格迁移强度;最后,采用权重解调算法作为生成器中的风格传输模块,通过对卷积权重的操作代替在特征图上的归一化操作,消除特征图中的特征伪影,减少生成图像中的失真。结果在Celeba_HQ数据集上进行实验,与MSGAN、StarGAN v2等对比算法相比,在参考引导合成实验中,MStarGAN的FID(Frechét inception distance score)指标分别降低了18.9和3.1,LPIPS(learned perceptual image patch similarity)指标分别提升了0.094和0.018。在潜在引导合成实验中,MStarGAN的FID指标分别降低了20.2和0.8,LPIPS指标分别提升了0.155和0.92,并能够生成具有不同风格强度的结果图像。结论提出的算法能够传输图像的细节风格,生成具有不同强度的输出图像,并减少生成图像的失真。