融合数据预滤波和频谱展宽的骨导语音增强方法

骨导语音具有天然的抗环境噪声能力,然而,受骨导麦克风佩戴位置和方式的影响,骨导语音在采集过程中常混入骨导麦克风与皮肤或衣服之间的摩擦声,导致现有基于深度学习的骨导语音增强方法鲁棒性不高、适应性不强。为提高骨导语音增强的鲁棒性,提出一种融合数据预滤波和频谱展宽的骨导语音增强方法。该方法首先通过低通滤波对骨导语音数据进行预处理以去除高频噪声,然后对预滤波后的骨导语音进行时频变换,并分别基于U-Net和CRNN两种深度网络进行频谱展宽,最后通过时频逆变换重构出全频带语音。仿真结果表明,与现有深度网络增强方法相比,所提方法可以取得更好的PESQ和STOI客观评价指标,主观听感具有更好的清晰度,且对不同说话人具有更好的适应性。

基于时频注意力机制与U-Net的骨导语音鲁棒增强方法

近年来,基于神经网络的方法大量应用于骨导语音增强中。然而,由于骨导数据集样本较少,骨导语音高频部分缺失,不同说话人高频部分失真程度不同,神经网络难以有效学习骨导语音的频谱特征。因此,现有骨导语音增强模型对于未知说话人骨导语音数据集增强效果不佳、鲁棒性不强。为充分利用骨导语音的时频信息,引导模型关注骨导语音的低频部分特征,提出一种基于时频注意力机制和U-Net的骨导语音增强方法。该方法将时频注意力机制引入U-Net结构中,首先根据骨导语音时间、频率方向特征信息的重要程度自动为其分配权重,而后以加权后的骨导语音谱作为输入,对应的气导语音谱作为目标进入U-Net结构训练,最后利用训练完成的增强模型重构骨导语音全频带的语音。仿真实验与可视化分析结果表明,对比基线U-Net结构与其他注意力机制,该方法对于未知说话人骨导语音数据集能够取得更高的PESQ和STOI客观评价指标,增强语音更加清晰。

融合卷积网络与残差长短时记忆网络的轻量级骨导语音盲增强

基于深度学习的骨导语音盲增强已经取得了较好的效果,但仍存在模型体积大、计算复杂度高等问题。为此提出一种融合卷积网络和残差长短时记忆网络的轻量级骨导语音增强深度学习模型,该模型在保持语音增强质量的前提下,能有效提升骨导语音盲增强的效率。该模型借助卷积网络参数量小、特征提取能力强等优点,在语谱图频率维度引入卷积结构,从而深入挖掘时频结构的细节和高低频信息间的关联关系以提取新型特征,并将此新型特征输入改进后的长短时记忆网络中,用于恢复高频成分信息并重构语音信号。通过在骨导语音数据库上实验,表明所提模型可以有效改善高频成分的时频结构,在提升增强效果的同时,降低了模型体积和推理的计算复杂度。