基于Transformer的多语种字音转换

字音转换(Grapheme-to-Phoneme, G2P)是语音合成前端的重要部分,影响着语音合成的质量。现如今,大多数的字音转换的研究是针对于单一语种的,而在实际应用中,单一语种合成的语音远没有多语种的实用性高。因此,本文利用Transformer架构研究了在文本交叉混合条件下多语种(英、日、韩)的字音转换,使用音素错误率(Phoneme Error Rate, PER)和单词错误率(Word Error Rate, WER)作为评价指标。英文在基于美国英语的CMUDict数据集进行评估,韩语和日语则是先对SIGMORPHON 2021字音转换任务上的韩语及日语数据集进行了数据扩充,并在扩充后的数据集上进行评估。实验结果表明,在文本交叉混合条件下,基于Transformer架构的英、日、韩字音转换在音素错误率和单词错误率方面与基于Transformer架构的英、日、韩三个语言的单一语种相比都大大降低了。

德语语音合成中的字音转换研究

字音转换是德语语音合成系统不得不解决的难题。可以使用基于规则驱动的迭代有限状态转录机来解决这一问题。在该算法中,首先在一个词库的基础上制定一些字音转换规则,然后在此规则的基础上通过迭代有限状态转录机将德语单词中的所有字素转换成音素。经过对整个词库进行算法测试,单词的字音转换正确率可以达到94.4%。

字音转换策略介绍及性能代价评估

许多面向应用的方法研究主要关注的是该方法的技术的性能,而相应的软件开发则要顾及整个系统的性能代价比,即不但要考虑到技术的性能,还要考虑到系统开发过程中的人力投入以及系统实现运行时的存储占用等方面的因素。这就对学术研究提出了另外一个要求,即对方法的实现做出性能代价的评估。探讨了字音转换技术,采用高频默认方法和语境约束方法,给出在不同分词词表背景下的准确率、存储空间占用及人力消耗等统计数据,从而为标音软件的开发提供一定的参考。

利用SAMPA实现藏语的字音转换

机读音标SAMPA(Speech Assessment Methods Phonetic Alphabet)即计算机可读的音标,用计算机可读的ASCII字符表示语言的发音。提出了一种藏语的SAMPA标注的设计方案SAMPA-T(Tibetan),以藏语拉萨话为例列出了它们的辅音和元音对应的国际音标与SAMPA-T标注,并实现了面向SAMPA-T的藏语字音转换,可应用于藏语语音合成等藏语语音信息处理中。

汉语字音转换中的多层面多音字读音消歧

字音转换问题一直是中文语音合成系统中不可缺少的模块,而多音字消歧是字音转换的核心问题。多音字的词性对于读音消歧有着特殊重要的意义。该文利用词性到读音映射关系将多音字划分为a类和b类。针对不同类别,我们提出一种多层面多音字消歧方案,分别从词性和语义层面上进行消歧,使用决策树模型和手工规则体系对多音字进行处理,实验结果表明,从词性层面上消歧利用决策树模型更好,而手工规则体系在语义层面上消歧更加有效。对每类分别从相应层面进行多音字消歧,正确率从baseline的80.74%达到了96.58%。

基于WFST的俄语字音转换算法研究

在俄语语音信息处理的资源建设中,字音转换技术起到了至关重要的作用。该文尝试对基于SAMPA的俄语音素集进行改进设计,使标音结果能够反映俄语单词的重音位置及元音弱化现象。依据改进的新音素集构建了包含20 000词的俄语发音词典。在此基础上,实现了一种数据驱动的俄语字音转换算法,将加权有限状态转化器(WFST)应用于算法的对齐、建模和解码过程中。首先利用期望最大化算法以"多对多"的方式对俄语字音进行对齐,然后将对齐结果通过联合N-gram模型训练,并转化为WFST发音模型,最后通过WFST解码算法对任意单词的发音进行预测。交叉验证实验结果表明,平均词形正确率为62.9%,平均音素正确率为92.2%。

面向字音转换的有条件维数扩展算法

为克服ID3算法应用于字音转换时,运算速度慢、易受数据稀疏问题影响的缺点,提出了一种面向字音转换的新决策树算法"有条件维数扩展算法"(conditional mixincrementing algorithm,CMI)。在ID3的基础上,CMI使用先验发音学知识指导下的互信息量方法选择决策属性,并引入2个参量,最小可信度与最大支持数,控制叶子节点。实验结果表明,CMI简化了运算过程,降低了稀疏数据对所生成决策树预测性能的影响。相同实验条件下,CMI在运算速度上比ID3提高了3.3倍,在决策树的预测正确率上提高了11.6%。

基于贪婪算法的俄语字音快速转换方法

为高效完成俄语字音转换,准确处理大规模俄语文本问题,提出基于贪婪算法的俄语字音快速转换方法。将字音转换看作统计分类问题,通过确定俄语特征与约束条件、最大熵准则与指数,构建最大熵多音词消歧模型;将俄语词典表述为马尔科夫模型,采用规则与统计相结合的语言模型评价所有转换路径,建立语言分析树,根据设立的多种假设及评价函数,得出最优转换路径;利用贪婪算法添加规整因子,将语音信号设置为适当长度,完成字音快速转换。实验结果表明,所提方法输出的俄语语音信号较为平稳,字音转换中降低了信号丢失以及转换的错误率。

光缆——电缆数字音频转换器

在最近五至十年间生产的音响装置大都有数字输入和输出。令人遗憾的是目前存在两种接口标准:光缆的标准和同轴电缆的标准,而并不是所有的音频设备都具有这二种标准接口。幸运的是,借助本文讨论的接口适配器,可将任何光输出转换成同轴电信号输出,也可将同轴电信号输出转换成光信号输出。

宋词字-音转换中多音字处理研究

字音转换问题一直是中文语音合成系统中不可缺少的模块,而确定多音字在文章的特定环境中读什么音是其核心问题。本文以全宋词为研究对象,实现了全宋词的字音转换,其中多音字消歧方法有三种:条件策略,词性策略,格律校正。本系统采用现代汉语字音转换方法和宋词格律特点结合来实现,其中宋词字音转换的多音字标注准确率提高到96.89%

知识与数据驱动相融合的朝鲜语自动标音方法研究

【应用背景】在朝鲜语语音信息处理的资源建设中,自动标音技术即字音转换技术起着至关重要的作用。目前学界对于字音转换技术的方法主要有基于知识和基于数据两种。【目的】为解决以往仅基于知识驱动的方法难以适应大量数据信息的实际情况,导致模型复杂、计算困难等问题;以及仅基于数据驱动的方法依赖高质量数据又难以合理确定输入变量,需要模型特征充足且选取精准等问题。【方法】本文提出了一种知识与数据驱动相融合的朝鲜语自动标音方法。首先根据朝鲜语语音变异规律为基础提取精准的特征属性,获得高质量数据;然后结合数据驱动模型能够较好拟合输入与输出变量之间映射关系的优点,训练学习模型,实现对朝鲜语的自动标音。【结果】通过本文方法,最终标音结果能够兼顾朝鲜语连续语流中音节弱化、脱落、增音、异化等音变现象,并能够准确地获得字素相对应的音素。经交叉测试,该方法使预测模型性能提高,平均正确字音转换率可达94.63%。【结论】利用本文提出的朝鲜语自动标音方法能够有效建立准确的朝鲜语发音字典,有望为朝鲜语语音识别与语音合成等系统提供技术支持。

端到端的藏语语音合成方法

近年来,得益于计算机运算能力的提高和语音数据的不断积累,涌现出许多基于机器学习的语音处理新技术,其中基于深度神经网络算法,端到端的Tacotron2语音合成系统框架得到业界广泛的青睐。它是一个开源程序,简单易行,已成功地应用于多种语言和不同音色的语音合成。该文研究Tacotron2在藏语中的应用,取得了良好的实验结果。首先,通过自然语音采集、自动标注、声学分析等构建了一个中等规模(5500句)藏语卫藏方言的语音语料库,其中包括藏文音素转写、特殊符号处理和Mel谱等各项数据;其次,利用开源程序Tacotron2和上述语音库进行了藏语语音合成试验;最后,通过对合成语音和自然语音的偏差分析,和对合成语音的自然度的主观评价,表明了基于端到端的藏语语音合成方法有效地减少合成语音的频谱蜕变,提升了合成语音的自然度。因此,基于“端到端”的Tacotron2合成框架在藏语语音合成中具有重要的应用价值,值得进一步研究和推广应用。

面向方言语音合成的文本分析研究

为实现方言的统计参数语音合成,提出一种从文字到方言读音的文本分析方法。通过对比普通话和方言在声韵母方面的发音异同,设计方言的语音评估方法音标字母(SAMPA),用来标注方言声韵母的读音,得到从普通话读音到方言读音的转换规则。对输入的汉语文本进行分析,获得语法词、声母、韵母信息,使用基于转换的错误驱动学习算法获得语句的韵律词和韵律短语边界,利用普通话读音到方言读音的转换规则,获得方言发音的SAMPA音标,从而将输入的文本转换为统计参数语音合成所需的上下文相关标注。测试结果表明,该方法能较为准确地生成上下文相关标注。

面向汉语统计参数语音合成的标注生成方法

针对汉语统计参数语音合成中的上下文相关标注生成,设计了声韵母层、音节层、词层、韵律词层、韵律短语层和语句层6层上下文相关的标注格式。对输入的中文语句进行文本规范并利用语法分析获得语句的结构和分词信息;通过字音转换获得每个汉字的声韵母及声调;利用TBL(Transformation-Based error driven Learning)算法预测输入文本的韵律词边界和韵律短语边界。在此基础上,获得输入文本中每个汉字的声韵母信息及其上下文结构信息,从而产生统计参数语音合成所需的上下文相关标注。设计了一个以声韵母为合成基元的普通话的基于隐Markov模型(HMM)的统计参数语音合成系统,通过主、客观实验评测了不同标注信息对合成语音音质的影响,结果表明,上下文相关的标注信息越丰富,合成语音的音质越好。

藏语语音合成中文本分析的若干问题研究

文本分析是文语转换系统的前端,是制约语音合成自然度的一个重要因素,文章在考察汉语文本分析方案的基础上,分析了藏语的特点,提出了一套适合于藏语语音合成的文本分析模块的实现方案.文中采用最大匹配法和分词词库相结合的方法实现文本的自动分词,建立一套层次化的规则体系对文本进行规范化的处理,字音转换则通过SAMPA-ST的藏语机读音标系统来实现,本研究的完成为藏语的语音合成打下了良好的基础.

用决策树指导TBL进行多音字消歧

多音字消歧是普通话语音合成系统中字音转换模块的核心问题。选择了常见易错的33个多音字和24个多音词作为研究对象,构建了一个平均每个多音字(词)5000句的语料库,并且提出了一种结合决策树和基于转换的错误驱动的学习(Transformation-Basederror-driven Learning,TBL)的混合算法。该方法根据决策树的指导,自动生成TBL算法的模板,避免了手工总结模板这一费时费力的过程。实验结果表明,该方法生成的模板与手工模板性能相当,其平均准确率达90.36%,明显优于决策树。

基于循环神经网络的西班牙语词汇发音预测模型研究

依据西班牙语词汇和音素的特征以及词汇标音过程的特点,将西班牙语词汇标音过程建模为序列标注任务,提出基于字符嵌入 + 循环神经网络 + 连接时序分类的端到端词汇标音模型。首先利用word2vec框架在自建的西班牙语词库上训练字符嵌入向量,从而形成西班牙语字符的分布式向量编码表示;之后基于循环神经网络和连接时序分类算法构建了西班牙语词汇标音模型,并在自建的发音词典语料上进行了训练与测试。试验结果显示,基于字符嵌入 + 循环神经网络 + 连接时序分类的词汇标音模型可以获得较其他统计模型或是神经网络模型更高的标音准确率,同时较传统标音模型有更简单的标注流程,对数据集的要求也要低得多,可有效实现端到端的西班牙语词汇标音任务。