基于BGRU-FUS-NN神经网络的姿态情感计算方法研究

情感计算研究是近些年人机交互领域的热门研究方向,其相关研究目前主要集中在面部表情和语音模态,基于姿态模态的情感计算研究相对较少.文中提出了一种基于姿态的新型情感计算算法,利用虚拟现实(VR)设备来唤醒用户的情感,使用摄像机采集用户的非表演动作数据,重新定义了19个人体运动关键点,将用户动作数据转换为相应骨骼点的3D坐标.在已有的基本特征的基础上,加入了高级动态特征,构造了一个能够更加完善地描述肢体运动的80D特征列表.在融合神经网络模型(FUS-NN)的基础上,使用循环门控单元(GRU)替代长短期记忆神经网络(LSTM),并添加正规层(Layer-Normalization),丢弃层(Layer-Dropout)和减少堆叠层数等策略,提出了双向循环门控单元融合神经网络(BGRU-FUS-NN)模型.使用了基于唤醒(arousal)和效价(valence)的情感模型进行情感分类,针对4分类任务和8分类任务,准确率比FUS-NN模型分别提升了7.22%和5.15%.

针对气味数据的交互式聚类可视分析框架

自然界中的气味通常是多种成分的混合物,相比图像和声音具有特殊的数据复杂性,且由于缺少有效的表示方法导致气味研究相对滞后.聚类分析是研究气味的一个重要方法,有助于增进对气味的理解、识别、合成和设计,然而大部分高效的聚类方法都是被动的,用户往往期望参与到计算过程中,利用领域知识和经验进行交互式聚类.气味数据存在多种可能的聚类方式,用户需要对多组聚类结果进行比较,以确定最优的聚类.提出一个对气味数据进行交互式聚类的可视分析框架.首先使用人工神经网络结合多分子气味的高维化学信息和感官描述信息,计算一种低维度的气味嵌套表示;然后基于高斯混合模型的交互式聚类算法让用户对气味嵌套进行符合预期的聚类和重新聚类;最后用户可通过聚类可视化视图比较多组聚类结果的异同,增进对气味数据的理解,从而找到最佳的聚类方式.通过实验和2位领域专家的测试与评估,验证了该可视分析框架的有效性.

以用户行为为驱动的公共空间动态视觉信息设计研究

在现今广场、商场、展览馆、博物馆等实体公共空间中,随着以大屏幕为交互媒介的现象日渐普遍,用户对这些屏幕注意力降低的问题愈发明显,屏幕信息的传达效率也随之降低.针对这一现状,提出了一种以用户行为为驱动的动态视觉信息设计.从屏幕的物理动态和屏幕中的信息动态2个方面,设计了多组实验,研究动态显示屏幕及动态信息在提高行人用户的吸引力、阅读效率等方面产生积极的作用;并提出了一套交互式屏幕信息自适应的显示方案,该方案可结合行人用户的空间位置和角度,做出不同类型的动态视觉信息反馈.

基于气味采集的嗅觉输入界面探索

近年来,嗅觉界面研究的数量在人机交互领域逐年增多,目前大家研究的重点集中于使用气味播放技术进行信息的表征和环境渲染等,相比之下,气味输入方面的研究尚不多见.电子鼻目前被视为是理想的气味采集手段,它可以识别气味,并将其数字化,但是目前电子鼻的识别能力还非常有限,并且生成的数据无法将气味像图片或者音频那样进行传播和呈现.通常,嗅觉信息的采集需要从物理和数字2个维度进行,即既要通过电子鼻等数字采集技术建构气味标签,又要能够对气味进行物理形式的保存,以便进行气味回放.针对此需求,文中提出了一系列设计原则,并且进行了原型开发方面的探索与相应的实验评估.文中对这种嗅觉输入界面,基于文献调研、用户访谈和实验、设计讨论等方法提出了一系列潜在应用场景,并且对其研究路线进行了探讨,为后续的相关研究提供建议和方向.

基于姿态的情感计算综述

情感计算的理论与算法研究是近年来人机交互领域的热点话题.当前,常见的情感计算集中在基于面部表情、语音、文本、人体姿态等方向,既有单一模态的算法,又有多模态的综合算法.基于面部表情和语音模态的算法占据多数,国内外基于人体姿态的算法相对较少.文中针对基于姿态的情感计算所面临的几个关键科学问题展开了综述,包括情感的心理学模型、人体姿态估计算法、姿态的情感特征提取算法、情感分类与标注算法、姿态情感数据集、基于姿态的情感识别算法等.具体来说,首先介绍了几种常用的情感计算心理学模型,评述了各类模型的适用场景;随后从人体检测和姿态估计2个角度对人体姿态估计的常用算法进行了总结,并讨论了2D和3D姿态估计的应用前景.针对特征提取算法,分析了基于全身和上半身身体动作的姿态特征提取算法.在情感标注方面,介绍了表演数据和非表演数据的情感标注算法,并指出了半自动或自动的标注非表演数据将是未来的重要发展趋势之一.针对姿态情感数据集,列举了近年来常见的14个数据集,并主要从是否是表演数据、数据维度、静态或动态姿势、全身或非全身数据等几个方面进行了总结.在基于姿态的情感识别算法方面,主要介绍了基于人工神经网络的情感识别算法,指出了不同算法的优劣之处和适用的数据集类型.文中的综述研究,总结提炼了国内外该领域经典且前沿的工作,希望为相关的研究者提供研究帮助.