自动语音识别模型压缩算法综述

随着深度学习技术的发展,自动语音识别任务模型的参数数量越来越庞大,使得模型的计算开销、存储需求和功耗花费逐渐增加,难以在资源受限设备上部署.因此对基于深度学习的自动语音识别模型进行压缩,在降低模型大小的同时尽量保持原有性能具有重要价值.针对上述问题,全面综述了近年来该领域的主要工作,将其归纳为知识蒸馏、模型量化、低秩分解、网络剪枝、参数共享以及组合模型几类方法,并进行了系统综述,为模型在资源受限设备的部署提供可选的解决方案.

语义引导的水下带噪语音通信

针对狭窄带宽的多径水声信道和信源噪声干扰导致的退化语音,提出了一种语义引导的水下带噪语音通信系统,实现了噪声环境下高效鲁棒的语音通信。首先,通过引入语音去噪网络降低了信源噪声的影响。系统通过传输语音的语义信息,实现了语音信号的极限压缩。针对信道噪声对数据的损伤,使用语义纠错模块在接收端对退化的语义特征进纠错,从而提高重建语音的可理解性。此外,结合多阶段训练策略的退化知情模型进一步增强所提方法在水声信道中的鲁棒性和泛化性。最后,在语音重建过程中使用多感受野-挤压激励融合模块以捕获语义特征中的全局语义信息,优化重建语音的可理解性。仿真实验结果表明,该方法在极低码率压缩的情况下,在复杂的噪声环境和不同的水声信道条件中,具有良好的重建性能。

基于稀疏表示的语音压缩编码技术研究

针对语音压缩编码技术中的关键问题,结合小波变换和最小绝对收缩和选择(Least Absolute Shrinkage and Selection Operator,LASSO)算法提出一种基于稀疏表示的语音压缩方法。首先,研究稀疏表示方法在语音压缩编码中的总体框架。其次,重点研究小波变换和LASSO算法在优化稀疏表示中的作用。最后,通过实验测试验证所提方法的有效性和优越性。实验结果表明,基于小波变换和LASSO的稀疏表示方法在语音压缩编码中获得更高的压缩比,为语音通信和存储提供了可靠的技术支持。

基于聚类中心的浅层特征融合伪造语音检测

针对现有检测系统在使用wav2vec2.0模型提取特征导致高计算资源消耗和传统打分方法限制泛化性能的问题,提出一种基于聚类中心的浅层特征融合伪造语音检测算法。裁剪wav2vec2.0模型的深层,将浅层特征通过注意力池化以缩短时序长度,用线性层确定融合权重;通过K-means++得到聚类中心,利用当前样本和相应类中心的表示余弦相似度进行训练和打分以判别真伪。实验采用ASVspoof2019和ASVspoof2021挑战赛的逻辑轨道数据集,wav2vec2.0模型参数量减少了60%,等错误率分别达到0.34%和3.67%,在模型精简和泛化性能方面明显优于同类wav2vec2.0模型和传统打分方法。

丢弃冗余块的语音识别Transformer解码加速方法

Transformer及其变体因具有强大的上下文建模能力而成为语音识别领域的主流模型,它们能够取得良好的识别结果,但是其中的解码器使用带有冗余信息的全部编码器特征,导致模型的解码速度受到限制。为提高解码器效率,提出一种丢弃冗余空白块的Transformer解码加速方法 DRB。以CTC/AED结构作为语音识别基本框架,利用CTC产生的尖峰序列去除编码特征中连续冗余的空白帧,减小编码输出特征的长度,降低解码器的计算量,从而提高模型的解码速度。采用预训练加微调的方式对使用DRB方法的语音识别模型进行训练,以减小因盲目对齐而产生的额外训练开销。引入Intermediate CTC结构提高模型训练时对编码器的约束能力,减小DRB判断冗余帧的误差,降低DRB方法对模型识别精度造成的损失。在开源数据集AISHELL-1与LibriSpeech上进行实验,结果表明,使用DRB的两阶段重打分非自回归解码方法在2个数据集上均能对解码速度取得58%左右的加速效果,且识别精度几乎没有损失,实现了解码效率的显著提升。

一种语音信源的语义压缩编码方法

语义压缩编码方法通过开辟信息表征新维度,能够显著提高压缩效率,因而受到广泛关注。旨在通过语义表征与编码实现语音信源的高效压缩:首先,面向语音信源内容、韵律、音调、音色四方面特性,提出多层语义表征框架,实现语音语义的综合表征;基于此框架,利用矢量量化方法与哈夫曼编码方法,构建语音语义知识库,进一步提高语音压缩效率。仿真结果表明,相较于经典低比特率语音压缩方法,所提方法能够显著提高信源压缩效率。

基于压缩感知的语音信号编码研究

为实现语音信号更高效地传输和存储,设计了压缩感知与脉冲编码调制(PCM)技术相结合的语音压缩编码系统.利用语音信号在离散余弦变换(DCT)域的稀疏性,首先将语音信号用随机高斯矩阵进行观测,得到的观测向量维度远小于原语音信号维度,再对观测向量进行PCM编码将模拟语音信号转化为压缩编码的数字信号,接收端PCM译码后利用正交匹配追踪算法重构出语音信号.利用信噪比(SNR)对重构语音信号的质量进行评估,仿真结果表明,该方法实现了当压缩比为0.3时,仍具有较高的重构质量.

结合Transformer的轻量化中文语音识别

近年来,深度神经网络模型在语音识别领域成为热门研究对象。然而,深层神经网络的构建依赖庞大的参数和计算开销,过大的模型体积也增加了其在边缘设备上部署的难度。针对上述问题,提出了基于Transformer的轻量化语音识别模型。首先使用深度可分离卷积获得音频特征信息;其次构建了双半步剩余权重前馈神经网络,即Macaron-Net结构,并引入低秩矩阵分解,实现了模型压缩;最后使用稀疏注意力机制,提升了模型的训练速度和解码速度。为了验证模型,在Aishell-1和aidatatang_200zh数据集上进行了测试。实验结果显示,与Open-Transformer相比,所提模型在字错误率上相对下降了19.8%,在实时率上相对下降了32.1%。

基于端到端建模的低资源连续语音关键词识别系统

语音关键词识别具有广阔的市场应用需求。在嵌入式领域,由于嵌入式设备资源有限,应用场景复杂多变,对语音关键词识别系统提出了资源占用少,低功耗,响应快,系统鲁棒性好等更高要求。本文设计实现的低资源连续语音关键词识别系统基于端到端声学建模,采用知识蒸馏、模型量化、模型剪枝的方法将模型占用资源压缩到了36.8K字节,系统运行资源占用约133K字节。本文提出的连续语音关键词解码算法相比于传统的孤立词解码算法,噪声环境下的召回绝对提升6.88%。系统在主频120M,内存256K字节的BK3288低功耗SOC平台上进行20个关键词的识别测试,达到安静环境下召回率96.86%,噪声环境召回率74.81%,虚警0.2次/小时的识别性能。

基于分解门控注意力单元的高效Conformer模型

为利用有限的存储和计算资源,在保证Conformer端到端语音识别模型精度的前提下,减少模型参数量并加快训练和识别速度,构建一个基于分解门控注意力单元与低秩分解的高效Conformer模型。在前馈和卷积模块中,通过低秩分解进行计算加速,提高Conformer模型的泛化能力。在自注意力模块中,使用分解门控注意力单元降低注意力计算复杂度,同时引入余弦加权机制对门控注意力进行加权保证其向邻近位置集中,提高模型识别精度。在AISHELL-1数据集上的实验结果表明,在引入分解门控注意力单元和余弦编码后,该模型的参数量和语音识别字符错误率(CER)明显降低,尤其当参数量被压缩为Conformer端到端语音识别模型的50%后语音识别CER仅增加了0.34个百分点,并且具有较低的计算复杂度和较高的语音识别精度。

基于自适应多尺度压缩感知的语音压缩与重构

本文针对语音信号的压缩感知问题,在系数总长度不超过原信号长度的前提下,推导了Sym小波分解合成的矩阵形式,提出了语音信号多尺度压缩感知(MCS)框架.进一步分析语音信号在小波基下不同级的稀疏性,提出了自适应多尺度压缩感知(AMCS)方法,把该方法运用到语音压缩与重构中,对重构语音进行了主客观评价,并进行了说话人识别验证,得出结论:基于AMCS比三层MCS重构语音的性能好.

基于静音检测的ITU-TG.729算法

提出了一种能够提高ITU TG .72 9算法性能的静音检测技术 .该技术的引入不仅可以降低G .72 9的语音通讯平均传输比特率 ,而且可以大量节省G .72 9压缩和解压过程的实际运算量 .通过在不同噪声背景下的性能分析 ,该静音检测技术的引入不会对G .72

一种改进的抗干扰自适应算法及其在变压器有源噪声控制中的应用

在电力变压器有源降噪系统实际运行时,声传感器采集的参考信号和误差信号可能存在冲击干扰,当采用传统的滤波最小均方(filtered-x least mean square,Fx LMS)算法对控制器的参数自适应更新时,控制器易受冲击性干扰的影响而出现振荡甚至是发散。为了抑制冲击性干扰对控制器的影响,提出了归一化滤波语音压缩?律变换的最小均方(normalized filtered-x?law mean square,NFx?LMS)算法。该算法采用经语音压缩?律函数变换后的误差信号的均方作为代价函数,并对参考信号做归一化处理以提高算法鲁棒性。算法可以根据不同声场环境的初级噪声特点选取不同的压缩系数以提高算法的实用性。仿真显示,在冲击性干扰的环境下,论文提出的算法表现出很好的鲁棒性和收敛效果。

基于PSTN的远程多媒体监控系统

基于 PSTN网的远程多媒体监控技术 ,其关键是针对监控应用要求 ,在保证一定的图象和语音质量的同时 ,对图象与语音以尽量高的压缩率进行压缩 ,以及对图象与语音压缩进行实时处理 ;在所介绍的基于 PSTN的远程多媒体监控系统中 ,图象和语音压缩处理是采用 H.2 6 3和 G.732 .1协议 .首先介绍了该系统组成结构 ;然后在简要介绍基于 H.2 6 3和 G.732 .1协议的图象与语音压缩算法的基础上 ,进一步讨论了针对远程多媒体监控的应用要求 ,基于图象与语音压缩的若干考虑 ,着重讨论和介绍了该系统的关键组成部分 ,即多媒体远程监控终端机的设计与实现 ,提出了基于高速 DSP技术的图象与语音压缩实时处理的关键技术及所采取的措施 。

CVSD语音编解码的DSP实现

连续斜率可变增量调制(CVSD)语音编码简单且具有良好的抗信道误码能力,擅长处理丢失和被损坏的语音采样,较其他编码方法语音效果更清晰,可靠性更高,降低带宽的同时保证了语音质量.利用DSP芯片研制开发基于语音压缩编码技术的语音产品已经成为一大研究热点.选用TMS320VC5509芯片作为硬件平台,用C语言实现了CVSD语音编解码,能较好实时实现语音编解码.

语音压缩编码技术研究进展

为了满足数字通信及其它商业应用的需求,语音压缩编码技术得到了迅速发展。介绍了目前语音压缩编码技术的研究进展,主要包括连续可变斜率增量调制(CVSD)、小波分析、多脉冲激励线性预测编码、散布脉冲码激励线性预测(DP-CELP)、多重脉冲散布非均匀代数码本激励线性预测(MPD-USACELP)、波形内插(WI)、线谱对(频率)(LSP)的量化。对以上算法进行了分析比较,总结了它们的特点和适用范围,并介绍了其中一些算法在DSP上的实时实现。

基于自适应基追踪去噪的含噪语音压缩感知

针对含白噪语音信号压缩采样后采用基追踪方法重构性能差的问题,提出了自适应基追踪去噪方法,该方法根据原含噪信号的信噪比自适应选择重构最佳参数,从而在重构语音的同时提高原信号信噪比。把该方法运用到含噪语音压缩感知中,对重构语音进行了主客观评价,并分析了不同压缩比下的重构性能。仿真结果显示:本文方法既实现了压缩采样,又在重构信号时实现了语音增强。

基于高斯混合模型的压缩域语音增强方法

为了有效利用纯净语音导抗谱频率参数(ISFs)的先验知识,本文针对ITU-T G.722.2宽带语音编码标准提出了一种基于高斯混合模型的压缩域语音增强方法.首先,将含噪语音、纯净语音的导抗谱频率参数,以及对应的增益调整因子构成特征矢量,并利用高斯混合模型拟合其概率密度;然后,在最小均方误差(MMSE)准则下对纯净语音的特征参数进行最优贝叶斯估计.为了兼容编码器中的非连续性传输模式,当处理信号为非语音信息时,算法在保持噪声帧谱包络参数不变的前提下,按固定比例调整对数帧能量;且若出现帧擦除情况,算法不调整接收到的码流,并按正常帧处理方式调整恢复后的参数以更新相关历史.本文采用ITU-T G.160标准进行了性能测试,结果表明,与参考方法相比,所提方法在保证信噪比提高能力的同时,可以达到更大的噪声衰减量,且增强语音的客观质量更优.

一种低码率声码器系统的设计及实现

在简单介绍Ｇ．７２３．１编解码算法及语音编解码协处理器ＣＴ８０２０后，给出了一种低码率声码器系统的硬件和软件设计及实现方法。

矿井无线透地通信中语音信号压缩的研究

针对矿井无线传输信道信号传输损耗大、传输距离短、传输信道窄、噪声干扰大、传输能力有限、语音信号信噪比低的特点，通过对井下透地传输中语音信号和噪声的分析，基于语音压缩技术提出了一种用于矿井无线透地通信中语音信号压缩的模型。并采用实时通信系统的动态仿真软件Systemview对压缩方案模型进行仿真，验证了压缩方案的可行性。测试结果表明：当语音信号频率在800～3000Hz范围内，抽样频率是4～6倍的最大频率语音信号时，压缩方案基本可以满足设计要求。