基于多尺度时空注意力网络的微表情检测方法

微表情可以揭示人们试图隐藏的真实情绪,为刑事侦查、心理辅导等提供潜在的信息。现有微表情检测方法主要在获取空间特征的基础上提取时间特征以构建时空特征,这种处理方式容易导致时间特征失真,同时在空间处理过程中会破坏原有时序关系,降低微表情时空特征的判别性。针对这一问题,提出基于多尺度时空注意力网络的微表情检测方法。利用包含时间和空间关系的三维卷积神经网络(3DCNN)对微表情序列进行处理,获取兼顾时间域和空间域的鲁棒性特征。构建多尺度时间输入序列,从不同时间长度的图像序列中提取多维时间特征,采用轻量级3DCNN提取多尺度时空特征,利用全局时空注意力模块(GSAM)对时空特征进行全局性时空关联加强,其中时空重组模块用于加强不同时刻图像帧之间的连通性,全局信息关注模块构建单帧图像上的空间关联信息,最后对不同时刻的特征赋予权重以突出关键时间信息,有效完成微表情检测工作。实验结果表明,该方法可以准确检测出微表情序列片段,在CASME、CASME II和SAMM公开数据集上的准确率分别达到92.32%、95.04%和89.56%,相比目前最优的深度学习方法LGAttNet,所提方法在CASME II和SAMM数据集上的准确率分别提高了3.84和4.96个百分点。

基于滑动窗口和时空特征的微表情检测算法

微表情存在时间短、强度弱等固有特性,目前微表情自动检测仍然存在较大的困难。为了提升微表情检测的效果,论文提出一种基于滑动窗口和时空特征的微表情检测算法:首先使用滑动窗口技术将一段微表情视频分割成若干个滑动窗口,然后在每个滑动窗口中提取时空特征,并和微表情SP模式匹配得到单个窗口的检测结果,最后融合所有滑动窗口的检测结果。该算法在CAS(ME)2和SAMM数据集上进行了实验,并与2020年微表情挑战赛(MEGC 2020)的基线结果进行了对比,结果显示,在CAS(ME)2和SAMM数据集上该算法比基线算法在微表情检测上分别提升了4.7%、9.7%,在整体上分别提升了9.9%、5.7%,验证了该算法的有效性。

实验教学课堂学生表情检测系统设计与实现

针对实验教学课堂学生学习效果难以监测等问题,将SE注意力机制和改进的空间金字塔池化引入YOLOv5,设计了一款基于实验室低画质视频的学生表情检测系统,实现了对实验课堂中学生面部表情的高精度识别。实验结果表明,添加SE注意力机制模块后,模型识别精度达到89%;再添加改进的金字塔池化后,模型识别精度达到94%。系统将深度学习技术与实验室课堂教学质量评估实践相结合,创新了实验教学课堂质量评价模式,可以为教师调整实验课堂教学模式提供参考依据。

基于过渡帧概念训练的微表情检测深度网络

为了更准确地从视频中检测面部微表情,针对微表情数据库样本规模较小的特点,采用迁移学习方法将深度卷积神经网络应用于微表情检测问题.选取预训练过的深度卷积神经网络模型,保留卷积层及预训练参数,添加全连接层和分类器,构造一个二分类的微表情检测深度网络(MesNet).为了去除微表情数据库中影响网络训练的噪声标签,提出过渡帧的概念和自适应识别过渡帧算法. MesNet在CASME Ⅱ、SMIC-E-HS与CAS(ME)2数据库上的曲线下面积(AUC)分别达到0.955 6、0.933 8与0.785 3,其中在CASME Ⅱ短视频数据库和CAS(ME)2长视频数据库上均取得最优结果,表明MesNet具有高精度和广适用范围的特点;过渡帧对比实验结果表明,构造训练集时从原始视频中去除过渡帧能够有效提高MesNet微表情检测性能.

基于光流和自编码器的微表情检测方法

微表情检测广泛应用在谎言识别、心理健康和情感分析等场合,构建微表情检测模型需要充足的训练数据,但是标注微表情需要过高的成本,导致自发性微表情样本库数量过少,给微表情检测带来了极大的挑战。针对这个挑战提出一种新的微表情检测方法FLOW-AENET:提取人脸的光流特征,将光流特征作为自编码器的输入,利用深度学习模型对特征进行处理,再将学习到的特征加入SVM分类器中做二分类,在含有微表情的一类中,根据ROIS区域的变化程度判断出微表情产生的起始帧、顶峰帧和结束帧。在CASEME、CASME II等数据集上进行实验研究,结果表明,FLOW-AENET方法相比于其他方法具有明显的优势。

一种视频微表情检测的改进光流算法

微表情是人们在试图隐藏自己真实情感时表现出的不受自主神经控制、持续时间短暂,强度十分微弱的面部表情。由于微表情与谎言识别有着密切的联系,其公共安全、侦查讯问、临床医学等领域有很大的应用前景。针对人为识别微表情十分困难的问题,提出一种基于Horn-Schunck(HS)光流法改进并应用于微表情自动检测的方法。使用预条件Gauss-Seidel迭代方法改进了HS光流法,加快了收敛速度。通过在自发微表情数据库CASME中进行实验,该验证方法在微表情检测中有很好的效果。

基于人类注意机制的微表情检测方法

微表情是一种持续时间极短、不易被察觉的面部动作,揭示了个体的真实情绪,可以被广泛地应用于谎言识别等领域。而微表情检测的研究受到小样本问题的限制。针对该问题,本文结合计算机视觉技术与认知心理学实验方法进行探索。首先,结合眼动技术和呈现−判断范式与阈下情绪启动效应的行为实验范式,考察微表情识别中选择注意分配的认知机制,细化人类识别微表情时的特征兴趣区域。其次,结合人类注意机制,提出基于自监督学习的多模态微表情检测方法。通过理论和关键技术的突破,为真实场景下微表情检测的应用奠定基础。

基于深度学习和微表情检测的防疲劳驾驶检测综述

随着国家经济的迅速发展,基础设施日益完善,人民生活水平不断提高,安全出行成为一项重大的民生课题。很多交通事故都是由疲劳驾驶引起。目前,快速、精准检测疲劳驾驶成为一个热点研究问题。基于此,从传统疲劳驾驶检测方案的局限性出发,引出了基于深度学习和微表情检测的防疲劳驾驶检测方案,归纳总结了微表情检测流程和深度学习流程。

基于面部表情的学习困惑自动识别法

学习情绪是学习者模型的重要内容,如何识别学习者的学习情绪是下一代智能教辅系统的关键技术。困惑是最常见的学习情绪之一,及时识别并解决困惑有助于提高学习效果,然而困惑情绪内隐性较强,识别难度较大。本研究设计了一组基于在线测评的困惑诱导实验,提出了一种基于面部表情的学习困惑自动识别算法。研究人员通过设定不同难度的测试题诱导被试产生困惑情绪,同时利用摄像设备实时捕捉学习者的面部表情,提取面部重要特征点,进而利用机器学习算法进行困惑识别。在实验中,本研究使用逻辑回归、支持向量机、K近邻、决策树、随机森林和深度学习等机器学习算法建立学习困惑自动检测模型,并与被试自我报告确定的困惑标签进行对比。实验结果表明,多数分类算法能有效检测学生的学习困惑,随机森林模型的预测性能最佳,平均准确率为71.18%。本研究所提出的方法可为下一代智能教辅系统的学习者情绪建模提供技术支撑。

平均光流方向直方图描述的微表情识别

微表情持续时间短、强度低和局部运动的特点,给其识别带来了极大困难。本文提出了一种新的平均光流方向直方图(MHOOF)描述的微表情识别算法,首先检测人脸稠密关键点并根据关键点坐标和人脸动作编码系统(FACS)将人脸区域划分成13个感兴趣区域(ROI),然后提取选定ROI内相邻两帧之间的HOOF特征来检测微表情序列的峰值帧,最后提取从起始帧到峰值帧这一段图片序列的MHOOF特征进行微表情识别。CASME II微表情库上的实验表明,本文提出的MHOOF特征可有效描述微表情的变化,识别率比两种最优的算法MDMO和Di STLBP-RIP分别提升了5.53%和3.12%。

人脸微表情分析方法综述

微表情分析在医学、公共安全、商业谈判等领域得到广泛应用并备受关注。微表情运动幅度小、变化快,导致人工分析难度较大,开发一个可靠的自动化微表情分析系统非常有必要。随着计算机视觉技术的发展,研究人员能够结合相关算法捕捉微表情运动变化特征以用于微表情分析。阐述微表情分析的发展历程和现状,从多个角度对微表情分析的两大分支,即微表情检测方法和微表情识别方法进行总结。整理现有微表情数据集以及微表情分析流程中常用的面部图像预处理方法。根据特征提取方式的不同,从基于时间特征、基于特征变化和基于深度特征这3个方面对微表情检测方法进行阐述。将微表情识别方法归纳为基于纹理特征和基于光流特征的传统机器学习方法以及深度学习方法,其中,基于深度学习的微表情识别包括基于运动单元、基于关键帧和基于迁移学习的方法。通过不同实验指标对以上方法进行分析和比较,在此基础上,探讨当前微表情分析中存在的问题和挑战并展望该领域未来的发展方向。

微表情自动分析方法研究综述

微表情自动分析是计算机视觉研究方向之一。在刑侦、临床医学、商业谈判、公共安全等场景下的微表情分析技术具有重要研究和应用价值。为了梳理微表情自动分析领域研究现状及发展方向,对常用微表情数据集和数据预处理方法进行整理。基于微表情特征,全面整理和对比微表情检测和识别任务各类算法以及实验方法和验证指标。可以帮助研究人员更加快捷、全面了解该领域研究现状,存在的问题和未来发展方向。

时间尺度自适应人脸表情识别

当前隐马尔科夫模型表情识别中一般采用固定状态数及间隔,与真实表情状态之间往往是失配的,无法适应不同时间尺度上的表情。文章分析面部运动自动确定表情的起止帧,自动提取有代表性帧作为HMM的状态,使不同节奏的表情状态都能准确定位到对应的图像帧,提高了模型的有效性。试验结果表明,该方法获得的HMM模型状态更符合主观认识,识别速度有所提高,识别准确性也有明显提高。

深度学习的智能课堂管理系统

为了提高教师的教学管理水平和教学质量,构建一个智能课堂管理系统是非常必要的。本文设计了一个基于深度学习技术的智能课堂管理系统,采用了SSM和Vue等Web框架,同时利用卷积神经网络CNN对课堂学生表情进行检测,实现了对学生课堂上的表情分析。实验结果显示,本系统可以有效识别并确认学生课堂上的表情,帮助教师更好地管理课堂。

隐藏情绪分析与识别方法

隐藏情绪识别对公共安全防范与预警具有重要的意义。微表情是揭示隐藏情绪的一条重要通道。但目前隐藏情绪研究较少且微表情因其细微幅度与快速出现等特性难以识别,其研究尚未在实际中广泛应用。因为,隐藏情绪的认知与表达机理亟需系统的研究,采集实际场景中的微表情数据,并以脑电信号辅助微表情的精确标注是提高微表情标注效率的有效途径。深入研究微表情识别方法,并辅以人脸颜色、注视估计和非接触生理信号等多通道数据,以检测与识别隐藏情绪。社会公共安全是隐藏情绪分析和识别的典型场景。面向精神疾病患者两害行为(即危害自身或他人的危险行为)风险评估和服刑人员会见场景隐藏情绪检测,可以有效地对相应系统和方法进行验证和修正。