基于时频感知神经网络的语音频带扩展

为了进一步提高基于深度学习的语音频带扩展性能,提出了一种基于编解码器的神经网络结构,编码器对数据进行深度特征提取,解码器进行宽带语音重构,并在编解码器中间设计了局部敏感哈希自注意力层,用于增强模型对深度特征的有效选择。编解码器内部使用了时间卷积网络,有效提升了模型对语音时序数据上下文依赖关系的学习能力。为了促进模型朝更加准确的方向训练,还提出了一种时频感知损失函数,有利于模型在时域、频域以及感知域获取窄带语音到宽带语音的最优映射解。通过主观和客观实验结果表明,该方法优于传统方法和近几年基于深度神经网络的语音频带扩展方法。

基于Flatten-CNN的语音带宽扩展研究

现有基于深度学习的语音带宽扩展算法中,时域算法语音特征提取不够精确,训练数据量大;频域算法对数功率谱特征提取未重视帧与帧之间的信息关联,频率轴数为奇数,不便于加深网络深度,且忽略时域信息;时频两域算法模型相对复杂。针对以上问题,文中提出了一种基于Flatten-CNN的语音带宽扩展算法。首先,为了充分利用语音特征和减少数据量,文中算法基于频域运行;其次,为了利用对数功率谱时间轴信息,提出了一种改进的编码器,通过引入平铺层,实现对数功率谱时频两轴特征提取;接着,为了加深网络深度,在频率轴数据处理时去掉最后一个点,还原时再补零,使频率轴数为偶数,以利于加深网络深度;最后,为了利用语音信号时域信息,在损失函数中引入时域损失。为验证文中算法的有效性,用TIMIT数据集和VCTK数据集进行了模型的训练和测试,实验结果表明,与当前主流算法相比,文中算法生成的高带宽语音质量得到提高,呈现出了更好的听觉效果。

基于多尺度特征融合的语音频带扩展

针对现有的深度学习模型在语音频带扩展领域数据特征利用不充分、训练周期长以及生成语音质量不高等问题,提出了一种新型的端到端神经网络模型,该模型通过融合不同数据维度特征促使网络模型利用更少的数据特征量,获取更多的低高频映射关系解,从而减少模型的整体训练周期.为了提高长时序数据中关键特征的权重占比,设计了一种残差多头自注意力机制,从而达到数据特征利用率的最大化.此外,提出了一种基于时频域和Mel频谱的混合损失函数对模型进行优化.实验结果表明:该方法重构的宽带语音在主客观的评价中均优于传统方法和近年来的一些基于神经网络的语音频带扩展方法.