人体动作行为识别研究综述

人体动作行为识别因其在视频监控、虚拟现实、人机智能交互等领域的广泛应用而成为计算机视觉领域的研究热点.文中将人体动作行为识别问题归纳为计算机经过检测动作数据而获取并符号化动作信息,继而提取和理解动作特征以实现动作行为分类的过程,在此基础上,从运动目标检测、动作特征提取和动作特征理解3个方面对涉及到的技术进行回顾分析,对相关方法进行分类,并讨论相关难点和研究方向.

多通道运动特征融合的微表情识别方法

针对已有的微表情识别中由于微表情变化幅度不明显,导致细微特征容易在学习过程中丢失,从而使模型的性能受到限制的问题,提出一种基于运动特征的微表情识别方法.首先分析变化幅度相对明显的区域对微表情识别的影响,根据生理学研究对微表情变化相对活跃区域进行局部切割,并使用并行神经网络分别对局部区域和全局区域提取特征;然后采用一种能够提取特征级运动信息的运动特征提取模块从空间特征图中学习到运动特征,将运动特征和空间特征进行聚合,以减少细微特征的丢失;最后将局部特征和全局的聚合特征组合成新的混合特征用于微表情识别.实验结果表明,在MEGC 2019数据集(包含CASME II,SMIC和SAMM)上,未加权F1分数和未加权平均召回率的结果分别为81.81%和79.01%,与MEGC 2019最好的方法相比分别提高了2.96%和0.77%,该方法具有更好的识别性能.

多模态人体动作表示识别及其正骨康复训练应用综述

人体动作识别(HAR)是智慧医疗、体育训练、视频监控等众多领域的技术基础,受到社会各界的广泛关注。本文概述了HAR的研究进展及意义,将其归纳为动作捕捉和基于深度学习的动作分类两个过程。首先,详细介绍了基于视频、基于深度相机以及基于惯性传感器的三种主流动作捕捉方式,列举了常用的动作数据集。其次,从特征自动提取及多模态特征融合两方面来描述基于深度学习的HAR,并介绍了正骨康复训练中如何通过HAR实现监督锻炼和模拟训练。最后,讨论了HAR的精准动作捕捉、多模态特征融合方法,以及在正骨康复训练应用中的重点和难点。本文通过总结以上内容旨在快速地引导研究人员了解HAR的研究现状及其在正骨康复训练中的应用。