听觉模型鲁棒性特征研究及应用

人类的听觉系统具有非常精细而巧妙的结构,即使在嘈杂的环境中,也能准确地理解语音。采用精细的耳蜗模型作为前端处理可以实现更好的语音处理。利用快速压缩的非对称谐振器级联(CARFAC)作为人耳外周模型,结合听觉稳定图像得到精确的皮层前听觉模型。在听觉模型的基础上提取较准确的基音轮廓,利用基音信息进行声场景分析,合成鲁棒性语音特征,并将其送入神经网络进行监督训练,以实现语音增强。实验结果表明,噪声条件下,由听觉模型提取的特征在各语音评价指标下都有较好的体现,可以更好表征语音信号,具有一定的鲁棒性。

长爪沙鼠脑缺血和听觉障碍模型研究进展

目前分布在世界各地的实验动物长爪沙鼠均源自中国。早在1930年代,野生长爪沙鼠经人工驯养后被引入医学研究。时至今日,长爪沙鼠已经成为一种公认的“多功能实验动物”,被广泛应用于脑神经、寄生虫和微生物、肿瘤等研究领域。长爪沙鼠具有独特的脑底动脉解剖学特点,例如先天性Willis环缺失。因此,用单侧颈总动脉结扎的简易手术操作既可以构建脑缺血或脑缺血再灌注损伤模型,还可以实现同体对照。长爪沙鼠的这一解剖特点不仅增加了脑缺血的敏感性,也易于诱导耳蜗缺血。因此,长爪沙鼠在制备听觉障碍模型中也发挥重要作用。长爪沙鼠脑缺血模型和听觉障碍模型的发病过程和病理表现均与人类患者有诸多相似之处。科学家们利用长爪沙鼠构建了脑缺血模型、脑缺血再灌注损伤模型、耳蜗缺血模型、人工耳蜗植入模型、感音性神经性耳聋模型等,均取得显著成效。本文重点阐述当前长爪沙鼠脑缺血模型和听觉障碍模型的创制方法和评价指标,讨论各种造模方法的优缺点及其应用进展,以期为长爪沙鼠在这两个重要领域的应用提供理论依据和借鉴。

基于听觉特征融合的煤矸识别方法研究

针对强噪声背景下综放开采过程中垮落煤矸难以识别问题,提出了一种融合低级听觉特征Mel频谱和高级听觉特征听觉神经递质发放率的煤矸识别方法。首先,根据煤矸垮落冲击液压支架尾梁声音信号频谱特点,基于听觉神经滤波器组模型构建了适用于煤矸识别任务的听觉模型;然后,利用听觉模型对煤矸垮落声音信号进行分析,获得听觉神经递质发放率;再次,将听觉神经递质发放率与通过Mel频谱提取的峰值特征进行融合,得到煤矸声音听觉感知图;最后,基于所构建的听觉感知图,利用ConvNeXt模型进行煤矸识别。试验结果表明,采用融合听觉特征的煤矸识别方法在不同信噪比下均具有较高的识别准确率;其优越性在背景噪声较大的工况下(信噪比为-5 dB)尤为明显,准确率仍能达到91.52%,显著优于以低级听觉特征和频谱图作为识别特征和利用时频域特征结合机器学习的煤矸识别方法,验证了融合听觉特征的煤矸识别方法对噪声具有优越的鲁棒性。

先天性聋听觉中枢发育及可塑性的研究进展

先天性重度-极重度感音神经性聋且助听器效果不佳是人工耳蜗植入(cochlear implantation,CI)的适应证,但CI效果与诸多因素有关,其中听觉剥夺时间和植入年龄是关键因素之一。相对来说,植入年龄越小,CI效果越好,这可能与听觉中枢发育关键期及可塑性水平有关。出生后听觉中枢的发育依赖于听觉刺激,先天性聋患者由于关键期内缺乏听觉刺激,听觉中枢的结构和功能发育延迟,听皮层发生跨模态重组,耳蜗慢性电刺激可使听皮层神经元突触重塑,皮层结构重组,皮质反应逐渐成熟,听觉功能改善,这可能与即刻早期基因c-fos和基质金属蛋白酶-9(matrix metallopeptidase-9,MMP-9)、脑源性神经生长因子(brain-derived neurotrophic factor,BDNF)等神经元可塑性相关因子表达有关,并受兴奋性-抑制性神经递质调控。先天性遗传性聋小型猪在基因表型、听觉发育规律、颞骨解剖结构、内耳形态和听觉中枢结构等多方面与人类高度相似性,比传统先天性聋动物模型更具优势,可利用先天性遗传性聋小型猪模型研究先天性听觉剥夺和耳蜗慢性电刺激后听觉中枢发育及可塑性的影响,深入探究听觉中枢可塑性机制。

视听觉协同的电网目标检测网络

随着电网规模的不断扩大和日益复杂,发展智能运维技术是提升运维效率的必由之路。为实现变电站目标的主动感知,基于小样本学习框架提出一种视听觉协同的目标检测网络(visual and auditory fusion detection network, VAFDNet),利用小样本量级数据融合视听觉信息,实现低数据集成本的模型扩展。VAFDNet由作为基础网络的Faster R-CNN和声云信息引导模块构成。声云信息引导模块包括声学特征引导分支和全局特征引导分支,并通过引入声云信息引导机制实现视听觉特征的融合与增强。VAFDNet的训练利用2阶段训练微调方法,提升了网络的泛化性能,可以有效应对变电站目标视听觉协同样本稀缺的问题。在含有3类目标的视听觉协同样本集上进行测试,VAFDNet整体识别精度达到52.623%,各类视听觉协同目标的检测精度均有大幅提升,对数据量极小的主变压器、套管的识别效果也得到明显改善。

基于听觉融合特征的多声音事件检测

为提高多声音事件检测任务的性能,本文深入研究速动压缩非对称谐振器级联CARFAC数字耳蜗模型,并提出了基于听觉融合特征的多声音事件检测方法 .该方法首先利用CARFAC提取混叠声音的神经活动模式图NAP,然后将NAP与GFCC拼接后生成融合听觉特征,并将其送入CRNN神经网络进行全监督学习,以实现对城市声音事件的检测.实验表明,在低信噪比且重叠事件较多的情况下,融合听觉特征较单独的NAP、MFCC以及GFCC等特征具有更好的鲁棒性和多声音事件检测性能.

基于机器视觉与听觉响应的干式变压器状态智能诊断方法

为提升干式变压器的状态监测与故障诊断能力,提出了一种新的整合机器视觉与听觉响应的变压器状态诊断方法。首先,通过目标检测算法对干式变压器的潜在故障位置进行识别监控,获取其位置信息;其次,整合延迟求和波束成形算法计算其潜在故障位置的声学信息,利用该声学信息实时监控变压器是否出现放电缺陷;最后,对于无法快速诊断的机械故障,利用听觉外周模型获取听觉谱,依据其声音信号的特征频段,设置各特征频率获得多特征频率听觉谱,通过卷积神经网络进行变压器故障类型识别。实验结果显示,所提的方法在噪声情况下的变压器状态识别准确率仍高达87.51%,优于其他对比的时频域特征提取方法。故所提方法能较准确地诊断干式变压器状态,并且具备良好的抗噪性能,有效补充了当前变压器的监测手段。

“耳朵珍馐”与“电子榨菜”:“三联中读”听觉空间构建的受众评价研究

随着声音媒介使用率逐步提升,以三联生活周刊为代表的传统媒体开始多种媒介空间转型。研究通过半结构化访谈及参与式观察,从媒体形式、传播优势、内容要素以及音频使用感知评价等方面进行访谈,以SOR模型对获得结果进行分析并构建研究模型。基于受众产生的“耳朵珍馐”及“电子榨菜”两种个体使用趋向,形成主体性成长下听觉空间生产与建构的循环式、整体性构思,并对以此为代表的听觉媒介发展及优化提出空间、技术、社会三个层面建议。

听觉模型输出谱特征在声目标识别中的应用

利用模拟人耳声信号处理过程的CcGC滤波器组模型,研究了听觉特征应用于声目标识别相比传统特征的优势。结果表明:当信号的信噪比下降时,听觉特征逐渐表现出更好的性能,体现了听觉系统优异的抗噪声能力。随后,本文从CcGC滤波器组模型所反映的听觉系统四个主要特性入手,通过仿真实验研究了耳蜗抑制噪声的机理,结果表明听觉系统的临界带划分和非线性压缩在耳蜗抑制噪声中起着关键的作用。

基于听觉模型ZCPA的故障诊断特征提取方法研究

将一种听觉模型——ZCPA模型引入机械故障诊断特征提取中。介绍了该模型的基本原理,并根据故障诊断中振动信号分析的特点对模型的具体实现方法进行了一定的调整。利用S函数取代对数函数对耳蜗内毛细胞进行模拟,将频率箱按照频率范围等比递增的方式在频率轴上进行分布;同时,利用Gammatone滤波器组进行耳蜗基底膜的建模。利用ZCPA模型对四种转子故障进行了特征提取试验验证,结果表明,该模型只使用少量特征数据(如16个)即可有效表征不同故障,同时,对同一类型故障的特征提取结果具有很好的稳定性和一致性,具有一定的工程应用前景。

听觉选择性注意的认知神经机制与显著性计算模型

根据听觉认知神经信息处理的结构和功能,借鉴图像处理原理实现显著性计算方法,提出了一种基于选择性注意的认知神经机制的听觉显著性计算模型。该模型兼容了自上而下和自下而上两种听觉注意机制,可很好地模拟人类的听觉注意系统。在仿真和自然音频实验中,本模型在选择性注意的显著性提取、背景音抑制等方面都取得了令人满意的结果。

基于听觉模型的小波包变换的语音增强

由于人耳频率分辨率是非线性的 ,用传统的线性信号处理方法 (如FFT)来模拟人耳基底膜的频率分析特性是比较困难的 .小波包算法有灵活的时频分析能力 ,可较好地符合人耳基底膜的频率分析特性 .在模拟人耳的听觉机理方面 ,用动态阈值法成功地对含噪语音进行了去噪处理 ,在去噪处理中引入音乐噪声的问题也较好地得到解决 .实验表明 :在单声道的条件下 。

基于人耳听觉模型的语音质量客观评价方法

将人耳听觉模型应用于语音质量客观评价 ,用听觉模型对语音作处理得到近似的短时语音频谱 ,在此基础上得到谱距离作为语音质量的评判标准 .实验结果表明这种方法与主观评价结果的相关度达到 0 .

听觉计算模型在鲁棒性语音识别中的应用

利用听觉感知机理，建立一个基于听觉感知机理的语音信号特征提取模型。本文由两部分组成，一部分是在传统听觉计算模型基础上提出听觉倒谱特征AFCC（AnditoryFrequencyCepstralCoefficient）的提取方法，这样既压缩了特征维数，减小计算量，又使各个特征维之间相互独立，满足HMM模型的要求。并且根据听觉神经中枢的长时整合特性，文中提出了用低通滤波模型来模拟这种功能。结合该低通模型，提取的语音信号的听觉倒谱特征在HMM框架下取得较好的鲁律性。另一部分在研究听觉侧抑制机理的基础上，提出一个简单有效的听觉侧抑制处理模型。美尔倒谱特征MFCC谱特征经过该侧抑制模型处理，得到侧抑制美倒谱特征MFCCI，实验表明，该新特征MFCCI鲁棒性能比MFCC有大大提高。听觉倒谱特征AFCC经过该侧抑制处理得到侧抑制听觉倒谱特征AFCCI，实验表明，该新特征AFCCI鲁律性能比AFCC有大大提高。

基于极值点概率密度和听觉模型的瞬态信号提取方法研究

零件间的碰撞会诱发瞬态振动信号成分,所以发现和提取瞬态信号有助于设备故障的识别。人类听觉系统对于突发声音具有本能的敏感性,因此,基于听觉系统的运行机制提出了一种瞬态信号提取方法。提出了信号极值点幅值概率密度曲线中存在小幅值局部波动这一含瞬态成分信号的重要特征,并结合频带连续性和起始同步性做为瞬态信号提取的线索。基于三种线索,首先对信号进行Gammatone带通滤波、相位调整和极值点提取,继而计算各滤波信号极值点的幅值概率密度,并判断各滤波信号中是否存在瞬态成分,根据判断结果提取可能与瞬态成分有关的极值点,但因背景信号和干扰噪声的影响,所提取到的极值点会有一部分与瞬态成分无关,因此,将无关点分为四类并设计了相应的筛选方法。最终,利用筛选后所得极值点生成瞬态信号。数值仿真和实测数据验证的结果表明,所提方法对于瞬态信号提取具有良好的性能,且在干扰噪声和背景信号较强时也可实现较好的提取效果。

听觉语言加工的双流模型

随着神经影像学技术和皮质直接电刺激研究的发展,人类对语言加工的神经机制有了更多的认识。特别是近十年,对听觉语言加工的双流模型（dual-stream model of language processing）涉及的脑区功能和结构联系有了更深入的了解,为语言理解的连贯性功能解剖模型提供了良好的基础。2007年,Hickok和Poeppel提出了听觉语言加工的双流模型。

基于自适应高斯混合模型与静动态听觉特征融合的说话人识别

对特征参数和高斯混合模型进行改进,提出了一种特征域和模型域混合补偿的方法用于解决说话人识别特征受噪声影响较大以及高斯混合模型随训练样本长度减小而性能下降的问题。通过模拟人耳听觉,给出了基于伽马通滤波器的伽马通滤波倒谱系数;考虑其只反映了语音的静态特征,提取了能够反映语音动态特征的伽马通滑动差分倒谱系数。基于因子分析技术,利用移动因子表示高斯混合模型的自适应过程,通过训练语料较充分的说话人模型中的均值向量补偿受训练语料长度影响较大的分量的均值向量。仿真实验表明:在纯净背景下,本文方法的识别率达到了98.46%;在不同噪声环境下,本文提出的混合补偿方法能有效提高说话人识别系统的性能。

基于听觉模型的客观音质评价方法研究

本文阐述了一种基于听觉模型的客观音质评价方法研究．我们在使用谱失真和谱包络失真进行客观音质评价时采用了对听觉系统模拟的三个听觉感知模型．实验结果表明：基于听觉模型的谱失真方法测量结果与主观评价更具一致性：在与主观评价具有同样相关系数时，采用听觉模型谱包络失真方法的预测系数为４阶，而ＬＰＣ倒谱距离方法的预测系数为８阶．

听觉外周计算模型研究进展

在简单介绍听觉外周特性之后,对近30年听觉外周计算模型的研究及其在语音识别领域的应用进行了评述,针对未来语音信号处理领域中听觉外周的建模,提出了一些设想；讨论了在被动声呐目标识别任务中应用听觉模型的可能性,同时,结合声呐目标识别的特点,对听觉外周模型的适用性建模研究,提出了若干建议。

基于听觉外周模型的语音信号听觉神经表示

提出一个听觉外周及部分中枢系统的计算模型。除基底膜、内毛细胞／突触模型之外，我们实现了对耳蜗核三个子核（ＡＶＣＮ、ＰＶＣＮ、ＤＣＮ）的模拟，并且根据上橄榄复合体到耳蜗外毛细胞的下行联接能明显地提高发放率谱表示这一生理依据，利用同步谱特征实现了对基底膜外毛细胞的自适应反馈控制。