融合卷积网络与残差长短时记忆网络的轻量级骨导语音盲增强

基于深度学习的骨导语音盲增强已经取得了较好的效果,但仍存在模型体积大、计算复杂度高等问题。为此提出一种融合卷积网络和残差长短时记忆网络的轻量级骨导语音增强深度学习模型,该模型在保持语音增强质量的前提下,能有效提升骨导语音盲增强的效率。该模型借助卷积网络参数量小、特征提取能力强等优点,在语谱图频率维度引入卷积结构,从而深入挖掘时频结构的细节和高低频信息间的关联关系以提取新型特征,并将此新型特征输入改进后的长短时记忆网络中,用于恢复高频成分信息并重构语音信号。通过在骨导语音数据库上实验,表明所提模型可以有效改善高频成分的时频结构,在提升增强效果的同时,降低了模型体积和推理的计算复杂度。

Att-U-Net:融合注意力机制的U-Net骨导语声增强

近年来,大量全卷积网络、U-Net等编解码网络结构应用于语声增强,然而,此类结构不能充分利用先后时间与高低频率之间的关联信息,对于处理长序列数据存在信息丢失的问题。为保持计算效率的同时实现更充分的时频关联信息建模,该文提出一种融合注意力机制的U-Net网络的骨导语声增强方法(Att-U-Net),通过在跳跃连接中引入注意力机制,生成一个权重矩阵,将编码层中的全局信息根据权重融入对应的解码层中,使网络在编解码过程中能够关注输入数据中与增强目标相关程度高的重要信息,同时抑制不相关的信息。在骨导语声数据集上的实验表明,融合注意力机制的U-Net网络能在保持模型轻量化的同时有效提升骨导语声的增强效果,增强后的语声在各项客观评价指标上均优于基线模型。

融合数据预滤波和频谱展宽的骨导语音增强方法

骨导语音具有天然的抗环境噪声能力,然而,受骨导麦克风佩戴位置和方式的影响,骨导语音在采集过程中常混入骨导麦克风与皮肤或衣服之间的摩擦声,导致现有基于深度学习的骨导语音增强方法鲁棒性不高、适应性不强。为提高骨导语音增强的鲁棒性,提出一种融合数据预滤波和频谱展宽的骨导语音增强方法。该方法首先通过低通滤波对骨导语音数据进行预处理以去除高频噪声,然后对预滤波后的骨导语音进行时频变换,并分别基于U-Net和CRNN两种深度网络进行频谱展宽,最后通过时频逆变换重构出全频带语音。仿真结果表明,与现有深度网络增强方法相比,所提方法可以取得更好的PESQ和STOI客观评价指标,主观听感具有更好的清晰度,且对不同说话人具有更好的适应性。