基于加权三视角运动历史图像与时序分割的动作识别算法

针对当前人体动作识别算法中由于人体躯干遮挡而导致其检测精度不佳的问题,提出了一种基于加权三视角运动历史图像耦合时序分割的动作识别算法。首先,为了有效描述动作的形状和空间分布,从视频序列中提取运动历史图像(motion history image,MHI)。随后,应用深度相机(Kinect相机)来提取深度图像,以获取人体目标的动作前景轮廓。为了识别由于身体部位造成的自我遮挡,动作前景轮廓被投影到3个视角(3V)平面,形成3V-MHI,增强了对动作的正确提取,利用3V-MHI构造了一个用于记录观测运动轨迹的MHI,克服了单视角MHI的信息局限性。然后,利用时序分割(temporal segmentation,TS),根据相邻的3V-MHI来计算动作的能量和方向的变化,以检测运动的开始和结束,从而输出运动结果。此外,计算MHI的梯度值作为每个平面对应的权重,从而得到加权3V-MHI。最后,将提取的每个直方图运动模板与预先建立的数据库进行比较,完成动作的分类识别。实验表明,该方法能有效地解决自遮挡问题,在复杂环境和光照变化下有较高的准确性与鲁棒性。

基于运动历史图像与卷积神经网络的行为识别

针对人体行为识别难于兼顾速度与精度的问题,提出了一种结合运动历史图像(MHI)与卷积神经网络的行为识别算法.该算法首先从原始视频序列中计算MHI,不仅减少了待处理的信息量,还提取了行为识别中的关键时空信息;接着以MHI作为输入,搭建了深度卷积神经网络,可以更好地表达时空信息;最后利用随机梯度下降法与dropout策略训练网络,实现行为类别分类.对比不同卷积神经网络训练与测试实验,该算法在Weizmann行为识别数据集上取得了95%的平均识别率,相较于未改进的网络结构提升了1.2%;对于持续时间为1.6s的行为动作,该算法的识别时间为1.56s.实验结果表明,所提算法在维持较高识别准确率的同时,实现了人体行为的在线实时识别与分类.

基于深度图像的人体行为识别

由于人体动作的复杂性和非刚性特点,传统的基于RGB视频数据的人体行为识别是一个非常具有挑战性的研究课题。针对现有基于RGB视频数据识别方法的不足,提出了一种基于深度图像数据的人体行为识别方法,该方法将深度差值运动历史图像中分块均值特征与Gabor特征进行融合,采用泛化能力较好的旋转森林算法进行建模。在DHA深度数据集上实验结果表明,相比其它监督行为识别分类算法,基于深度图像的方法具有简单、快速,高效的特点。

多视角深度运动图的人体行为识别

目的使用运动历史点云(MHPC)进行人体行为识别的方法,由于点云数据量大,在提取特征时运算复杂度很高。而使用深度运动图(DMM)进行人体行为识别的方法,提取特征简单,但是包含的动作信息不全面,限制了人体行为识别精度的上限。针对上述问题,提出了一种多视角深度运动图的人体行为识别算法。方法首先采用深度图序列生成MHPC对动作进行表示,接着将MHPC旋转特定角度补充更多视角下的动作信息;然后将原始和旋转后MHPC投影到笛卡儿坐标平面,生成多视角深度运动图,并对其提取方向梯度直方图,采用串联融合生成特征向量;最后使用支持向量机对特征向量进行分类识别,在MSR Action3D和自建数据库上对算法进行验证。结果 MSR Action3D数据库有2种实验设置,采用实验设置1时,算法识别率为96. 8%,比APS_PHOG(axonometric projections and PHOG feature)算法高2. 5%,比DMM算法高1. 9%,比DMM_CRC(depth motion maps and collaborative representation classifier)算法高1. 1%。采用实验设置2时,算法识别率为93. 82%,比DMM算法高5. 09%,比HON4D(histogram of oriented 4D surface normal)算法高4. 93%。在自建数据库上该算法识别率达到97. 98%,比MHPC算法高3. 98%。结论实验结果表明,多视角深度运动图不但解决了MHPC提取特征复杂的问题,而且使DMM包含了更多视角下的动作信息,有效提高了人体行为识别的精度。