结合LSTM与ResNet的声学回声消除

针对传统的声学回声消除(AEC)方法在双端讲话场景下较难实现快速收敛和动态自适应的问题,提出了一种结合长短时记忆(LSTM)与残差神经网络(ResNet)的AEC方法。通过使用LSTM和ResNet相结合的特征提取方法,同时提取到声学回声的时序特征和不同级别的抽象特征,且充分利用近端语音、近端麦克风语音和声学回声之间的幅度谱相似性的特点,引入它们之间的谱归一化互相关系数,构造了一种改进的理想二值掩蔽(iIBM)作为训练目标,此外引入深度可分离卷积使模型参数量减少了3.42 MB。实验结果表明:双端通话环境下所提出的方法相比参考算法取得了更高的客观评价得分。

结合HPSS的非负矩阵音乐分离方法

为解决非负矩阵分解(NMF)在音乐分离中适应性差且过度依赖学习样本的问题,提出结合谐和与击打声源分离(HPSS)的非负矩阵音乐分离方法。在高分辨率下对音乐信号进行HPSS分离,保留谐和声源并利用灵活窗NMF对击打声源进行二次分离,对结合理想二元掩蔽模型(IBM)分离出的伴奏及歌声的频谱做相应的傅里叶逆变换。利用公开音乐数据集进行实验仿真,实验结果表明,与传统的分离方法或者其它改进分离方法相比,该方法在分离性能上有明显提高。

基于时间卷积网络的深度聚类说话人语音分离

“鸡尾酒会问题”在语音分离任务上一直是一个难题,主要因为这个问题属于一个说话人无关的语音分离问题,对于说话人事先不知道其先验信息。通过参考Jonathan等提出的深度聚类方法,在其基础上进行改进,提出基于时间卷及网络的深度聚类模型,以理想二值掩蔽作为分离目标并在公开中文语音数据集下进行实验。实验结果表明,相比传统深度聚类模型,所提模型在训练速度、分离后的语音质量和语音客观可懂度方面都得到了提升。

基于CASA的噪声环境下的话者辨认

传统的说话人识别系统在噪声环境下的识别率较低.基于计算听觉场景分析得到的二值掩码可以对噪声占主导部分进行重建,从而将与说话人相关的被破坏的信息重建起来.但是重建的效果受到该帧中可靠帧的比例的影响.因此,根据提取的二值掩码来设定阈值,从而对测试特征的帧进行选取,将测试特征的帧划分为三类,分别用于重建、保留和丢弃.最终使用重建后的帧和保留的帧进行后续处理,并用于识别过程.实验结果表明,相较于原来的重建系统,该算法的识别率有了一定的提高.

基于不同时频掩模神经网络语音增强的研究

在基于时频掩模的深度神经网络语音增强系统中,学习目标的选择对于整体语音增强性能的影响极大,文章针对目前最常用的学习目标——理想二值掩模和理想浮值掩模在语音增强中的效果进行了研究,为验证不同时频掩消除噪声模性能的好坏,设计了多组对比实验,为以后深度学习训练过程中直接选择学习目标提供依据。仿真结果表明:在不同信噪比和不同噪声条件下,理想浮值掩模的性能均好过理想二值掩模。

低信噪比下二值掩蔽算法性能分析

基于计算听觉场景分析,对基于能量的二值掩蔽语音分离算法的性能进行分析,证明了理想二值掩蔽算法在信噪比下具有最佳的单元分离性能,并通过3种类型带噪语音的分离实验证实了该结论。采用理想二值掩蔽算法对8种噪声类型的低信噪比带噪语音进行了分离实验,信噪比平均提升幅度大于10dB,表明算法对低信噪比语音分离的有效性和普遍适用性;采用非均匀、均匀两种多子带分析滤波器组进行分离性能对比测试,结果表明子带均匀性对信噪比提升影响不大。分析滤波器组的子带数量应大于32以实现较好的分离性能。