基于前向注意力机制的长句子语音合成方法

针对基于注意力机制的序列到序列模型在合成长句子语音时出现的漏读、重读问题,根据前向算法提出了前向注意力机制,其利用前一时刻的注意力得分平滑当前异常得分。在此基础上,进一步提出了带约束的前向注意力机制,通过引入约束因子自适应平滑当前异常得分。实验结果表明,提出的前向注意力机制能够有效解决长句子语音合成中出现的漏读、重读问题,并具有更快的收敛速度和较好的稳定性,同时带约束的前向注意力机制又能够控制合成语音的速度,提高其自然度,在MOS得分上,相比基线模型Tacotron2,有2.5%左右的提升。

一种多尺度前向注意力模型的语音识别方法

注意力模型是当前语音识别中的主流模型,然而其存在一个缺点,即当前时刻的注意力模型可能产生异常得分.为此,本文首先提出前向注意力模型,其采用上一时刻正常注意力得分平滑当前时刻异常得分.接着通过对上一时刻的注意力得分添加约束因子来对前向注意力模型进行优化,达到自适应平滑的目的.最后,在优化模型基础上提出多尺度前向注意力模型,其通过引入多尺度模型来对不同等级的语音基元进行建模,进而将所得到的不同等级目标向量进行融合,以达到解决注意力得分异常值的目的.采用SwitchBoard作为训练集,Hub5’00作为测试集进行实验,相比于基线系统,多尺度前向注意力模型的词错误率(Word Error Rate,WER)相对降低14.28%.