基于视听觉感知系统的多模态情感识别

情绪识别作为人机交互的热门领域,其技术已经被应用于医学、教育、安全驾驶、电子商务等领域.情绪主要由面部表情、声音、话语等进行表达,不同情绪表达时的面部肌肉、语气、语调等特征也不相同,使用单一模态特征确定的情绪的不准确性偏高,考虑到情绪表达主要通过视觉和听觉进行感知,本文提出了一种基于视听觉感知系统的多模态表情识别算法,分别从语音和图像模态出发,提取两种模态的情感特征,并设计多个分类器为单特征进行情绪分类实验,得到多个基于单特征的表情识别模型.在语音和图像的多模态实验中,提出了晚期融合策略进行特征融合,考虑到不同模型间的弱依赖性,采用加权投票法进行模型融合,得到基于多个单特征模型的融合表情识别模型.本文使用AFEW数据集进行实验,通过对比融合表情识别模型与单特征的表情识别模型的识别结果,验证了基于视听觉感知系统的多模态情感识别效果要优于基于单模态的识别效果.

人工智能视听感知机器人虚拟仿真实验平台设计与应用

针对实体机器人价格昂贵、应用困难等问题,文中设计一种人工智能视听感知机器人虚拟仿真实验平台。该平台旨在培养学生运用人工智能技术去设计与开发基于视听觉感知信息控制机器人的能力,拓展学生跨学科知识,提升多专业综合应用能力和自主编程创新能力。通过将自主学习元素融入平台实验设计过程,教会学生运用汉字、语音、手势等方法控制虚拟与实体机器人,实现人工智能技术“理解-部署-调试-应用”一体化。文中对实验平台在实际教学中的应用进行详细介绍,并通过学生反馈给出实验平台的综合评价。

视、听感知下模拟驾驶行为的脑电实验比较研究

目的研究基于视觉、听觉以及视听融合感知的刺激源对脑电（WEG）识别率的影响。方法试验分别从视觉、听觉和视听融合3种情况提供与交通环境相关的刺激源，在不同刺激源的提示下，受试者利用左右手想象运动对车辆进行启动和制动控制，并对采集的脑电数据进行特征提取和分类处理，得到与想象运动相关的c3、c4导联上的特征信号和分类结果。结果视觉、听觉、视听融合环境下5名受试者最高识别率分别为100％、100％、83．3％，平均识别率分别为68．8％、82．2％、76．9％。结论基于视听感官的刺激源对脑电的识别率有一定影响，并且存在较大的个体差异。