维度语音情感识别研究综述

情感识别是多学科交叉的研究方向,涉及认知科学、心理学、信号处理、模式识别、人工智能等领域的研究热点,目的是使机器理解人类情感状态,进而实现自然人机交互.首先,从心理学及认知学角度介绍了语音情感认知的研究进展,详细介绍了情感的认知理论、维度理论、脑机制以及基于情感理论的计算模型,旨在为语音情感识别提供科学的情感理论模型;然后,从人工智能的角度,系统地总结了目前维度情感识别的研究现状和发展,包括语音维度情感数据库、特征提取、识别算法等技术要点;最后,分析了维度情感识别技术目前面临的挑战以及可能的解决思路,对未来研究方向进行了展望.

猜拳博弈过程脑电的时频特征分析及基于优选特征的博弈决策预测

博弈是人类根据信息和经验做出使利益最大化决策的一种行为。对博弈的脑研究由来已久,使用的方法也各不相同,但都侧重于博弈的原理研究,对博弈过程中脑活动的认知规律研究几乎无人涉足。本文设计了具有静息、评估、决策、反馈、休息五个阶段的"石头-剪刀-布"猜拳博弈实验范式。采集并提取了17名被试在博弈活动不同阶段脑电波的时频特征,通过研究评估阶段脑活动的认知规律,提出了基于优选特征的博弈决策预测方法。使用SVM对决策过程训练并识别,达到了80%的识别率,说明了本文提出的优选特征能够很好地表达博弈认知过程的特点。

基于TVF-EMD的乐器音质特征分析方法及其应用

音质(Timbre)是音乐感知和言语识别的重要线索。传统音质分析方法无法同时获取理想的时间分辨率和频域分辨率,对音频的非平稳特性没有很好地处理。本文采用时变滤波经验模态分解(Time Varying Filtering based EMD,TVF-EMD)方法提取音频的固有模态函数用于希尔伯特变换,并构建了音质的希尔伯特频谱分布特征和希尔伯特轮廓特征。在乐器分类问题中,将提取的两类音质特征与Mel倒谱系数特征(Mel Frequency Cepstral Coefficients,MFCCs)有效结合,然后构造基于双向长短时记忆网络的音质时序分类器,在公开乐器演奏音频数据库中进行了乐器分类实验。结果表明,所提出的音质特征可以有效补充Mel倒谱特征等传统特征无法表达的非线性非平稳信息,大大提高了本音质表征方法对复杂音频的适应性和鲁棒性。

基于启发式掩模EMD的音频突变成分检测方法

多数情况下,音频信号可以视为是由稳态成分和突变成分两种成分组成,稳态成分与突变成分在属性特征方面具有明显的差异,而且突变成分通常承载更重要的信息,是信号处理要分析提取的目标。为有效检测出突变成分并将这两种成分分离,需要完整精确地检测提取出突变成分。为此本文提出一种基于启发式掩模经验模态分解(Empirical Mode Decomposition,EMD)的音频突变成分检测方法,该检测方法中使用启发式掩模EMD分解音频信号并从中提取出各点的瞬时信息作为检测特征,同时本文提出一种窗长自适应更新策略来设定适合突变成分的长度。在IOWA的乐器音频数据集中,该检测方法能够实现以98.68%的检测精确率和87.65%的检测召回率将音频突变成分检测出来。此外该检测方法无需人为干预,并且检测出的突变成分维度一致,便于进行后续的特征提取、分类识别等处理操作。

基于卷积神经网络学习的语音情感特征降维方法研究

针对语音信号认知中需要对语音情感快速精准的解析问题,提出了一种基于卷积神经网络(CNN)学习的特征降维方法。在原始语音情感数据提取大量特征的基础上,通过对不同维度特征进行归正获得其相应的特征矩阵。应用CNN对特征矩阵进行学习,对收敛后的CNN网络全连接层的权值进行分析,根据网络学习特性定义基于CNN的特征筛选准则(FR-CNN),即通过对比每类特征激活权值的不同,计算选择出最有利于分类的特征,得到降维高效的语音情感认知特征集F。在中国科学院自动化研究所提供的多模态情感数据库CHEAVD上,提取全部8类情感数据进行了实验测试,使用全体特征集构建的CNN分类器的类平均识别错误率相比基线减少了2.1%,而本文方法得到的降维后特征集F通过相同的CNN分类器的类平均错误率相比基线减少了9.4%。在对大量特征进行降维筛选的基础上,仅使用原特征集15%的特征,不仅有效增加了分类器的收敛速度,还使得识别错误率有所减小,同时在构筑实际语音情感识别系统时能够减少系统的复杂程度。本研究综合了数据的不同类型的特征信息,采用CNN网络学习特性进行特征二次优选与降维,为语音情感的特征提取问题提供了一个新的思路。

CNN与CSP相结合的脑电特征提取与识别方法研究

本文针对脑机接口(BCI)应用中需要对脑电信号(EEG)快速精准的解析问题,提出了一种卷积神经网络(CNN)和共同空间模式(CSP)相结合的脑电特征提取与识别方法。在经过预处理的原始脑电信号基础上,通过CSP空间变换获得其特征矩阵。应用CNN对特征矩阵进行学习,对收敛后的CNN网络全连接层的权值进行分析,根据网络学习特性定义CSP特征矩阵筛选准则,得到了低维高效的EEG特征集F,并在特征集F上构建CNN分类器。我们的工作在BCI2005Ⅳa竞赛数据集上进行了实验测试,获得了88.3%的识别准确率。本文方法与s CSP和KLCSP方法在相同的数据集上进行了测试,平均识别准确率分别提升了3.2%和2.4%。本研究综合了数据的时间、空间的特征信息,采用CNN网络学习特性进行特征二次优选与降维,为脑电的特征提取问题提供了一个新的思路。

音乐欣赏中脑对音乐属性变化加工规律的脑电研究

研究了长时音乐持续刺激下,人脑对音乐属性变化加工规律的脑反应,结合音乐的底层属性特征与事件相关电位(ERP),研究音乐相关的脑反应机制.首先,通过一个长时音乐的脑认知实验来采集需要的脑电信号.随后,提取了音乐的几种属性特征——频谱通量、过零率和均方根可近似代表音色、音高和音强3种要素.对于得到的声音特征信号,提取了特征信号上的突变点作为ERP叠加的事件点,并据此将16首音乐的事件点进行了叠加平均,通过得到的ERP图像,作了相应的脑地形图.最后,初步得到结论:前额区和中央区在脑对音乐的反应中所占比重较大,并且脑对音高变化反应最为强烈.本文所采用的研究思路,将音乐特征作为事件,进而探究脑认知规律.经过验证,这种方法可以广泛应用于相关脑认知研究.