基于长短记忆与信息注意的视频–脑电交互协同情感识别

基于视频–脑电信号交互协同的情感识别是人机交互重要而具有挑战性的研究问题.本文提出了基于长短记忆神经网络(Long-short term memory,LSTM)和注意机制(Attention mechanism)的视频–脑电信号交互协同的情感识别模型.模型的输入是实验参与人员观看情感诱导视频时采集到的人脸视频与脑电信号,输出是实验参与人员的情感识别结果.该模型在每一个时间点上同时提取基于卷积神经网络(Convolution neural network,CNN)的人脸视频特征与对应的脑电信号特征,通过LSTM进行融合并预测下一个时间点上的关键情感信号帧,直至最后一个时间点上计算出情感识别结果.在这一过程中,该模型通过空域频带注意机制计算脑电信号α波,β波与θ波的重要度,从而更加有效地利用脑电信号的空域关键信息;通过时域注意机制,预测下一时间点上的关键信号帧,从而更加有效地利用情感数据的时域关键信息.本文在MAHNOB-HCI和DEAP两个典型数据集上测试了所提出的方法和模型,取得了良好的识别效果.实验结果表明本文的工作为视频–脑电信号交互协同的情感识别问题提供了一种有效的解决方法.

基于OBB表示的交通场景多传感数据操纵

包含诸如危险驾驶行为的边界交通场景,蕴含着影响无人驾驶环境感知智能算法的不利因素,是无人驾驶离线测试中考察算法正确性和环境适应性的有力测试数据,但往往难以直接采集获取,导致样本数据稀缺。对此,旨在探究生成边界交通场景多传感数据的简化3D操纵空间表示方法,通过对多模态传感数据的操纵,实现边界交通场景数据的生成。为平衡操纵空间的几何连续性与图元复杂度需求,引入方向包围盒表征边界交通场景中的交通参与者与道路。进一步,为降低操纵空间的构建开销,提出局部路面渐进式OBB构建方法,动态增加道路几何约束,改善了视觉传感数据的生成效果。实验结果表明,道路环境感知算法对所生成的边界交通场景数据表现敏感,可以用于丰富无人驾驶现有感知智能算法离线测试的测试用例。