声学事件检测技术的发展历程与研究进展

声学事件检测是指对连续音频信号流中具有明确语义的片段进行检测与标定的过程。它是机器对环境声音场景进行识别和语义理解的重要基础,并将在未来类人机器人声音环境的语义理解、无人车行车周边环境的声音感知等方面发挥重要的作用。本文分别从与声学事件检测相关领域的发展历程以及应用需求出发,对声学事件检测的历史进行了回顾,介绍了典型的研究工作,并分析了未来的发展方向。在相关领域的分析中,重点介绍语音识别、基于计算的音乐处理及基于听觉特性的声音处理等方面的工作;在应用需求方面,介绍机器的环境声音感知与多媒体信息检索方面的工作;最后分析本领域的研究现状,并展望其未来的发展趋势。

利用上下文信息的网球赛声学事件检测

以检测网球比赛中的声学事件为目的,提出了一种基于上下文信息的声学事件检测方法.该方法利用运动员击球时的吼叫声提供的上下文信息检测击球和裁判判球这两类声学事件;采用非监督学习的方式,充分利用了运动员的吼声为击球声学事件建立模型.与目前的方法相比,所提出的方法不需要人工标注的数据,能有效消除声学事件检测中训练和识别失配所带来的问题.实验表明,所提出的方法能进一步提升声学事件检测的准确率.

鲁棒声学事件检测综述

声学事件是指一段单一完整并能够引起人们感知注意的短时连续声音信号,而声学事件检测是指对这些声学事件进行识别。随着便携式摄像机与视频网站的迅猛发展,基于内容的声学事件检测在各领域的应用日趋广泛,例如个性化多媒体搜索、数字图书馆、网络管理与信息安全等。近年来,尽管研究者们提出了很多声学事件检测方法,但是由于采集设备、采集环境与传输条件等的千差万别,新环境下的音频数据日趋繁杂,使得类内数据差异较大且类间数据易混,从而导致传统识别方法的性能急剧下降,因此迫切需要研究当前环境下的鲁棒声学事件检测方法。

一种基于三维卷积的声学事件联合估计方法

声学事件定位与检测在监控、异常检测等任务中应用广泛,以基于卷积递归神经网络架构为代表的深度学习方法可以联合实现声学事件检测和声源定位。为提高定位与检测的综合性能,提出了一种基于三维卷积的声学事件联合估计方法SELD3Dnet。通过对输入的多通道音频计算幅度相位特征,并经过多重三维卷积结构提取高层特征表示,最后利用循环网络和全连接层实现声音事件类别和空间位置的估计。在处理多通道的声学信号特征时,三维卷积可以同时对时间、频率、信号通道3个维度进行卷积计算,最大程度地利用信号通道间的相关性,克服噪声和混响的影响。在TUT2018和TAU2019等公开数据集上进行了充分的对比实验。结果表明,所提方法在TUT2018 REAL和TUT2019 MREAL数据集上的综合性能都有显著提升。其中,在TUT2018 REAL数据集上声学事件检测的F1指标显著提升了13.9%,帧准确率显著提升了21.1%;在TUT2019 MREAL数据集上F1指标显著提升了10.8%,帧准确率显著提升了14.4%。表明所提方法能有效克服实际信号中混响的影响。

行车噪声环境下基于人耳频率选择特性的声学特征提取方法

本文提出了一种基于加权Mel滤波器组的声学特征提取方法。该方法通过提取音频信号中的共振峰信息,使用动态自适应方法对中高频部分的Mel滤波器组进行加权,从而模仿人耳覆膜的频率选择映射。相比较于传统的MFCC特征,更适用于行车噪声环境下的快速声学事件检测任务;弥补了传统的Mel滤波器组高频部分分辨率低,从而导致对噪声鲁棒性较差的问题。实验结果表明:在信噪比较低的行车环境中,该特征有助于提高声学事件的检出率。

声音感知在自动驾驶汽车中的应用与展望

听觉是人类信息交互的一条中心路径,声音的感知和处理是无人驾驶汽车完全实现自动驾驶必不可少的一部分。本文通过介绍声音感知系统在自动驾驶汽车相关领域中的应用,对行车周边的声学事件检测、声源定位和人机交互等方面的技术特点进行了重点分析,发现声源定位技术在应用中已经取得较好的定位精度,而声学事件检测和人机交互技术在应用方面还面临巨大的挑战。

无人驾驶汽车行车环境下鲁棒性声学特征提取算法

无人驾驶汽车在行车过程中,需要通过视觉感知和听觉感知来构建当前周围环境模型.声学事件检测是听觉感知系统构建模型的核心所在。行车环境下声学事件检测系统面临着复杂而强烈的噪声挑战,尤其是行车过程中的风噪。声学事件检测中,常用的声学特征梅尔频率倒谱系数(MFCC)对噪声干扰十分敏感,为了解决这一问题,提出一种谐波梅尔频率倒谱系数(HMFCC)的鲁棒性声学特征提取算法,用于声学事件的目标分类。该算法通过声学信号的谐波模型与MFCC算法相结合,提取目标声学信号中的共振峰频率,改进传统Mel滤波器组,从而增强HMFCC中目标声学信号的中高频分量。研究结果表明:在不同的风噪环境下,基于HMFCC声学特征的检测结果具有较高的精准率和召回率,且在低噪和强噪环境下HMFCC和MFCC之间分类效果差异明显;低噪环境下,几种声学事件的HMFCC特征分类的平均精准率和召回率分别达到82.66%、84.15%,而基于MFCC特征分类检测的平均精准率和召回率只有73.93%、74.61%;随着风噪增强-MFCC特征分类精度严重下降,平均精准率和召回率仅为54.15%、44.95%,HMFCC特征在强噪环境下的平均精准率和召回率为72.16%、69.87%。行车环境下,HMFCC特征不仅可以提高分类的准确率,而且表现出对噪声不敏感的特性。