心音频谱图在二尖瓣反流患者左心室功能监测中的作用

目的探求使用可穿戴设备获取心音频谱图,观察不同程度二尖瓣反流(MR)患者心音频谱特征在左心室功能监测中的作用。方法入选2020年6月至2021年5月因心血管疾病入住上海交通大学医学院附属瑞金医院的102例MR患者,根据心脏超声MR反流束面积/左心房面积比值超过20%将其分为轻度MR组72例和中度及以上MR组30例。基于心音频谱图对心音持续时间、最大声强、最大心音振幅进行分析,并与心脏超声测定的左心室射血分数(LVEF)进行相关性分析。结果心音频谱图第一心音持续时间与收缩期持续时间比值(S11-S12/S11-S21)与LVEF呈线性负相关(r=-0.535,P<0.01),S11-S12/S11-S21用于判定LVEF降低(LVEF<50%)曲线下面积为0.840(95%CI=0.756~0.924,P<0.01),截断值是55.50%,敏感度78.6%,特异度83.3%。结论心音频谱图提示,MR患者心脏收缩期第一心音持续时间占比与LVEF呈负相关性,在二尖瓣病患的心功能居家监测中存在潜在的应用价值。

基于鲁棒纹理特征的环境声音事件检测方法

针对各种类别的环境声音事件检测问题,提出了基于鲁棒纹理特征的环境声音事件检测方法。首先,将原始的声音样本转换为类伽马声谱图;然后将类伽马声谱图通过剪切波变换提取图像的纹理特征;又采用中心化二值模式(CBP)算法进行编码;针对特征维度过高问题,先利用随机森林算法后结合主成分分析(PCA)算法,提出了RF-PCA降维方法;最后使用支持向量机(SVM)对不同环境的声音进行分类。在公开数据集ESC-10上的仿真实验结果表明,利用所提出的基于鲁棒纹理特征的环境声音事件检测方法所提取的特征对声音分类可达到93.00%的分类效果。

合成语声的声学分析及识别特征算法

当前社会新型犯罪中电信诈骗案件频发,急需一种能够自动有效区分语声真伪的方法。为进一步增强目前深度学习领域识别合成语声的能力,为保障语声信息安全提供技术上的支持,针对合成语声声学特性上异于真实语声的特点,分析对比合成语声和真实语声的声学特性,设计了一种声学特征均方根角量化语声声强变化程度,结合基频变化率和语声窄带频谱图声学特征进行融合,量化了声学特性差异,聚焦了合成语声中关键声学信息。在神经网络模型中融合输入声学特征,在FoR数据集的验证集上得到了0.6%的等错误率,在测试集上最好结果达到了10.8%的等错误率。该文成功实现了对合成语声的识别,证实了声学特征的有效性和研究方案的可行性,在一定程度上拓宽了合成语声特征设计的研究思路。

基于Vision Transformer和迁移学习的家庭领域哭声识别

针对SVM等传统机器学习算法准确率低和当前使用CNN处理家庭领域哭声识别在不同婴儿间出现泛化能力差的问题,提出了一种基于Vision Transformer和迁移学习的婴儿哭声音频分类算法。首先,为实现数据集样本的扩增,采用了包括梅尔频谱转换和数据增强的数据预处理技术,进而达到了增强模型鲁棒性的目的。而后,在微调后的Vision Transformer模型上进行迁移学习训练,同时,训练过程中利用了LookAhead优化器来不断调整模型参数以避免过拟合,最终实验实现了对婴儿哭声音频的自动分类。实验结果表明,本实验模型相比其他深度学习模型具有更高的精确率和更快的收敛速度,同时还能有效地学习到婴儿哭声中更具区分性的特征。可以在新生儿监护、听力筛查和异常检测等领域中发挥重要作用。

应用无监督最大互信息算法分类鸟类叫声

在建立鸟类叫声的分类模型时,由于自然界中具有准确标签的鸟类叫声数据较少,因此需要解决小样本下的模型训练问题。本文研究应用最大互信息的无监督网络来对鸟类叫声进行分类。通过同时提取梅尔图谱的高层语义特征和浅层特征并计算互信息,减少噪声特征的提取。训练时使用对抗样本,利用先验约束网络拉大不同类别之间的距离,降低模型对数据的依赖。实验证明,与现有无监督方法相比,利用最大互信息方法的无监督学习能够在鸟类叫声分类任务上取得最好的效果。

基于声谱图和SVM的煤矿瓦斯和煤尘爆炸识别方法

为提高煤矿瓦斯和煤尘爆炸感知准确率,提出了基于声谱图和SVM的煤矿瓦斯和煤尘爆炸感知方法:在煤矿井下重点监测区域安装矿用拾音器;实时监测煤矿井下设备工作声音及环境音;将采集到的声音提取由MFCC构成的声谱图,通过计算声谱图的灰度共生矩阵得到0°、45°、90°、135°的能量、熵、对比度、相关性,分别求其均值和标准差作为声谱图图像纹理特征,构成该声音的特征量,输入到SVM中建立煤矿瓦斯和煤尘爆炸声音识别模型;对待测声音同样提取其MFCC声谱图图像纹理特征,输入到训练好的识别模型中进行声音识别分类;并进行了试验验证。首先,提取了采掘工作面设备运行、瓦斯和煤尘爆炸等不同声音的MFCC特征值,分析了不同声音的MFCC特征值分布情况;提取不同声音的MFCC声谱图,分析了不同声音的声谱图的特征参数:能量、熵、对比度、相关性的均值和标准差,可见通过提取MFCC声谱图的灰度共生矩阵特征参数构成的特征量可有效表征声音信号;其次,将待测声音输入建立的识别模型中,完成识别分类。结果表明:所提方法的识别率达到95%,整体识别性能高于其他算法;最后,通过贝叶斯参数优化试验结果可知,优化后的SVM识别模型的召回率、识别率分别提高10%、3%,优于优化前的识别模型,能够满足煤矿瓦斯和煤尘爆炸感知和报警需求。

Design of Security System by Means of Sound Print

Sound Recognition becomes an important tool for intrusion detection or for the monitoring of public premises exposed to personal hostility. It could further identify different sounds. The main idea of the sound recognition process in a security system is to store samples of different sound signals in the memory of the computer as references,?and?to be analyzed with respect to their frequencies components. In this paper, the sound signal of an unknown source would be analyzed and compared with all the available reference samples,?and?then recognition is made according to the closest sample. The developed security system consists of two main parts: the spectrum analyzer that converts the sound signal to spectrograms. It is designed based on the real-time analyzes, and the recognizer which compares the spectrograms and gives the decision of the recognition by using a special criterion. Experimental results prove that the accuracy of the proposed system can be 98.33% for the selected sample of signals.

基于卷积神经网络的局部放电声音识别研究

针对变压器与中压开关柜传统绝缘状态检测方法依赖人工的问题,本文基于可听声声音识别方法,通过将电力设备放电故障声音与正常工况声音、环境噪声进行混叠制作样本集,以模拟真实电力设备运行环境;对故障声音进行预处理后,使用声谱图提取声音的短时频率、能量分布等特征,构建声谱图数据集,结合改进的卷积神经网络实现对放电故障的检测;通过加入注意力机制,调节指数衰减学习率、数据集样本数量、音频采样率等方式进一步提升网络的精度,最终设计的网络模型识别准确率最高可达99.2%,相比其他检测方法优势明显,可实现对放电故障的在线检测。

基于域泛化的无监督机器设备异常声检测

在基于声信号的机器设备异常检测中,机器运行时发出的声音可能会因机器运转状态的改变而发生变化,环境噪声也会改变场景中的声学特征,而传统的机器异常声音检测系统会因为声学特征的改变导致正常的声音被错误地标记为异常。针对这一问题,提出了基于域泛化技术的无监督机器异常声音检测方法。首先,将声信号的对数梅尔谱图输入深度学习神经网络模型,结合域混合方法和坐标注意力机制模块,提高系统域泛化能力和异常识别性能;然后,在DCASE开源数据集上进行实验,与两种基线评估系统的AUC和pAUC得分进行对比。结果表明,所提出的方法在域泛化条件下的异常检测性能得到明显提升。

面向变电站智能运检的声音谱特征语音识别方法

语音识别是变电站智能运检中关键的人机交互技术。然而,由于生产环境中存在使用专业术语多和噪声大的问题,传统的语音识别方法的效果受限。为此,文中提出了一种基于声音谱特征的语音识别方法。通过融合MFCC与CQT谱,形成一种基于声音谱的特征参数,通过对参数分布的估计,能够有效地降低语音信息中的噪声干扰。为提升语音识别性能,文中设计一个端到端的语音识别模型。该模型基于卷积神经网络(CNN),并融合了CTC和注意力机制。CNN网络能够有效地捕捉语音数据中的局部模式和结构信息,而CTC和注意力机制在解码过程中起到关键作用。文中使用Aurora、Aishell以及运检语音数据集进行了实验评估,比较了语音降噪、语音识别同传统方法的效果。实验结果表明,所提出的语音识别模型取得了显著的性能提升,可为相关领域的研究和应用提供有价值的参考。

基于Inception-CSA深度学习模型的鸟鸣分类

为进一步提高通过声音识别鸟类的精确度,本研究提出基于Inception-CSA深度学习模型的鸟鸣声分类方法,包含鸟鸣声音频样本预处理、特征提取、分类器分类等步骤。首先将鸟鸣声样本预处理成尺寸相同的梅尔频谱图,作为鸟鸣声特征图;其次利用Inception-CSA模型对鸟鸣声特征图进行特征提取,其中Inception模块提取鸟鸣声特征图中的多尺度局部时频域特征,CSA模块获取鸟鸣声特征图的全局注意力权重,将二者的输出结合得到更强的特征图,再次利用最大池化层对特征图进行下采样;最后利用全连接层进行分类,得到最终的分类结果。以采集的华南地区自然环境中的10种野生鸟类的鸣叫声构建数据集,用于实验部分以验证方法的有效性。结果表明,本研究提出的方法在自建数据集上准确率达到了93.11%,相比于基于其他经典模型的分类方法,基于Inception-CSA模型的分类方法在拥有较少模型参数量的同时达到了更高的准确率。

基于改进VGG-16网络的交通声音事件分类方法研究

交通声音事件分类是提升城市智慧交通系统环境感知能力的关键技术之一.针对传统交通系统的环境声音感知能力弱、效率低、鲁棒性低、可分类数量少等问题,研究了一种基于VGG卷积神经网络的交通声音事件分类方法,该方法使用语谱图(spectrogram image features,SIF)作为交通声学特征,建立并优化了卷积神经网络(convolutional neural networks,CNN),从而实现交通声音的智能分类.首先,使用实验室采集的10种交通声音,构建了交通声音数据集.其次,利用语谱图方法对交通声音进行声学特征提取,搭建VGG-16分类算法主模型,通过双卷积层融合算法和块间直连通道对网络进行改进,得到了VGG-TSEC网络.该优化网络的交通声音事件分类准确率可达97.18%,与优化前相比准确率提升4.68%,其权重参数降低72.76%,占用空间降低384MB.同时,将该优化模型与K邻近(KNN)、支持向量机(SVM)等机器学习方法进行对比,其准确率分别提高了19.68%和4.41%.结果表明,VGG-TSEC交通声音分类方法可以实现警笛音、事故碰撞、行人尖叫、卡车等交通声音的高效分类,为交通声音事件分类提供参考.

10种鸣禽控制鸣啭神经核团大小与鸣唱复杂性的相关性

为进一步揭示鸣禽鸣唱行为的神经生物学机制 ,本实验先对 8个科 10种鸣禽的鸣唱行为进行了观察和录音 ,并借助声谱软件分析了每种鸣禽的鸣唱复杂性。鸣唱语句复杂性的评价指标包括 :短语总数、每个短语中所含的平均音节数及音节种类数、所有短语的总音节数及音节种类数、最长短语的音节数及音节种类数。然后 ,测定了前脑三个鸣啭学习控制核团和一个与发声无关的视觉参考核团体积 ,分析了鸣唱语句复杂性和这些核团大小间的相关关系。结果表明 :1)HVC和HVC/Rt与 7种鸣唱语句复杂性指标无关 ;RA和RA/Rt与总音节种类数相关 ;AreaX与总音节数及音节种类数相关 ;2 )HVC/RA和HVC/X比值与多个鸣唱语句复杂性指标相关。结果提示

白腰文鸟发声行为的神经发育

本文研究了 5～ 15 0日龄雄性白腰文鸟 (Lonchurastriataswinhoei)不同年龄段的声谱变化以及这种变化的神经调制机制。结果如下 :(1)HVC、RA和AreaX三个发声核团的神经联系基本接近成年鸟的水平后 ,幼鸟才开始学习鸣叫 (约 45日龄 ) ;(2 )HVC、RA和AreaX达到成年核团体积时 (约 80日龄 ) ,幼鸟才具有成年雄鸟的鸣叫模式 ;(3)发声控制核团的发育与核团间的神经支配有关 ,而基本不受鸣唱行为的影响 ,HVC、RA和AreaX的最快增长时间段各不相同 ,三个核团随年龄增长而呈现体积增长的显著变化 (one wayANOVA ,P <0 0 5 ) ,但各核团在任意两个时间段的体积差异并不都显著。结果提示 :发声行为产生的时间和发展与发声控制核团的发育、核团间的神经联系有关 ,最终的体积发育程度受内在遗传力的作用 。

白腰文鸟发声行为的性别差异及其机制

通过声谱分析 ,研究了 5～ 12 0日龄雌、雄白腰文鸟 (Lonchurastriataswinhoei)的声谱变化 ,及该时段 3个主要发声控制核团 (HVC、RA、AreaX)体积、睾丸 (睾酮 )的相应改变。结果如下 :① 45日龄以前 ,雌雄鸟只能发出简单鸣叫 (call) ,鸣叫声间无性别差异。 45日龄后 ,雄鸟开始学习鸣唱 (song) ,至 12 0日龄基本学会成年鸟的鸣唱语句。雌鸟基本不会鸣唱。②雄性HVC ,RA ,AreaX体积均比雌性大 2～ 6倍。 3个核团的大小发育不完全一致 ,各核团的快速生长期与鸣唱学习的主要时段 (6 0～ 12 0日龄 )不同步 ,说明核团的个体发育可能不完全受发声行为的影响。③睾丸的充分发育 (12 0日龄后 )

野外川金丝猴声音行为的主要类型(英文)

川金丝猴(Rhinopithecus roxellana)栖息于高山森林中,营树栖生活,其声音通讯在社群活动中有重要意义。通过长期野外行为的观察和声音的录制,本文报道了川金丝猴在野外自然活动条件下声音行为的主要类型,明显可以辩别出惊异声、警戒声、警告声、呼唤声和安静状态下的叫声,并进行了声谱分析,发现其声谱的差异主要与声音目的有关,同时描述了每类声音发出相伴随的群的行为和身体运动的变化,讨论了笼养条件下和野外状况下川金丝猴声音行为的异同。

基于声谱图纹理特征的蛋鸡发声分类识别

为有效地辨别蛋鸡不同类型声音,了解蛋鸡的健康状况以及个体需求,提高生产效率的同时改善蛋鸡福利化养殖,提出一种基于声谱图纹理特征的蛋鸡发声分类识别方法。以海兰褐蛋鸡的声音为研究对象,将图像处理和声音处理技术相结合,由一维声音信号转换为二维图像信号,二维声谱图中的纹理特征呈现了蛋鸡声音的更多细节信息。最后,利用2DGabor滤波器提取蛋鸡发声声谱图中的声纹信息,并采用人工神经网络模型进行训练和分类识别。试验结果表明,本文方法平均灵敏度和平均精确度不低于92.0%,风机噪声识别灵敏度达99.3%,鸣叫声识别灵敏度最低,为76.0%。

10种鸣禽鸣唱复杂性与发声核团体积的聚类分析

选用捕自野外和人工繁殖的 10种雄性成鸟 (一年龄以上 )作为实验材料。当鸟适应环境后录音 ,用VS 99语音工作站软件进行声谱分析。鸣唱的复杂性采用语句短语总数、短语的音节数之和、短语的音节种类数之和、每个短语中所含的平均音节数、每个短语中所含的平均音节种类数、每种鸣禽最长短语的音节数和最长短语的音节种类数 7项指标表示。然后测定前脑的上纹状体腹侧尾端 (HVC)、古纹状体粗核 (RA)以及嗅叶的X核 (AreaX) 3个主要鸣唱控制核团的体积。最后分别对 10种鸣禽 3个发声控制核团体积和鸣唱复杂性的 7项指标进行聚类分析。 10种鸣禽的 7项指标值相差较大 ,即使同一科也如此。蒙古百灵的 3种核团体积比值均最大 ,其次是金丝雀和黄喉鹉。 10种鸣禽鸣唱语句复杂性的 7个指标和 3种核团体积聚类分析树形图显示的结果各不相同 ;仅RA和AreaX核团体积的树形图显示蒙古百灵远离其他 9种鸣禽 ,与现代分类学和DNA分析得到的进化树一致。

基于肺音谱图Hough变换的喘鸣音识别方法

提出了一种基于Hough变换从肺音的STFT光谱图中检测喘鸣音的方法.这一方法先对采集的数字肺音数据的STFT谱图进行ROI区域的截取,再利用Canny算子进行图像边缘检测,最后基于Hough变换数据的分析来自动识别喘鸣音.临床分析的数据包括临床采集的肺音和国际上共享的肺音文件.Hough变换检测方法在60例喘鸣音的检测中达到了87%的准确率,70例正常呼吸音的识别率达到74%.

基于数学形态学的病理性附加肺音时频谱图分析

对病理性附加肺音进行即时识别和分析,是监控呼吸系统病情和不断改进治疗方法的十分必要的手段。提出了典型病理性附加肺音进行STFT和小波变换后的特征频谱图像模型,并根据这一模型设计出病理性附加肺音识别方法。这一方法与国际上各种基于学习或统计的病理性附加肺音识别方法比较,具有直观的优势和鲁棒的特点。