基于多语言任务的口语词的一次性学习

一次性学习(one-shot learning)是一种仅从一个或少数例子中学习新概念的人类的能力。首先提出口语词上的一次性学习任务的计算模型——基于HHMM模型的口语词的一次性学习框架;然后利用非参贝叶斯方法从多语言语音数据中发现语言间通用的类音素声学单元;最后将自动获得的声学单元用于一次性学习任务,对英语、日语和汉语的口语词进行一次性分类实验。实验结果表明,从多语言中获取的类音素声学单元可以作为基本的概念组合生成复杂的概念(词),实现口语词分类,表明了从一种语言中学到的基本声学单元的知识可以迁移到另一种语言的学习中去。

基于VQ-VAE与Do-Conv层的无监督语音表示学习

针对在无监督条件下,对语音信号提取语音表示的问题,提出了Do-VQVAE模型。提出的Do-VQVAE模型主要基于矢量量化变分自编码器的结构进行实现,并在此基础上,引入深度方向超参数化卷积层构成编码器。该模型通过编码器-解码器的结构,以无监督的方式提取语音信号的特征,将编码器的输出通过码书的映射进行量化,得到离散的语音表示。在实验过程中还引入了互信息神经估计,旨在提高学习到的语音表示的说话人不变性。提出的模型在ZeroSpeech 2019挑战的数据集上进行了训练和测试,经过测试,模型的ABX错误率相比于基线和卷积VQ-VAE模型都有明显降低,并取得了与最好系统相媲美的结果。