基于DenseNet和深度运动图的行为识别算法

结合深度信息以及RGB视频序列中丰富的纹理信息,提出了一种基于DenseNet和深度运动图像的人体行为识别算法。该算法基于DenseNet网络结构,首先获取彩色纹理信息和光流信息,然后从同步的深度视频序列获取深度信息,以增强特征互补性;再将空间流、时间流和深度流三种特征信息分别作为网络的输入;最后通过LSTMs进行特征融合和行为分类。实验结果表明,在公开的动作识别库UTD-MHAD数据集上,该算法识别准确率为92.11%,与该领域中的同类算法相比表现优异。

基于光流和深度运动图的行为识别算法

为了融合不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于光流和深度运动图(Depth Motion Map,DMM)的人体行为识别算法.首先从RGB视频序列获取彩色信息(RGB视频帧)和光流信息,并且从同步的深度视频序列获取深度信息,以增强特征互补性,其次把3种特征信息分别作为基于ResNet101的空间流网络、时间流网络和深度流网络的输入,通过LSTMs进行特征融合,最后将特征送入Softmax层得到每个行为类别的概率值.实验结果表明,在具有挑战性的UTD-MHAD数据集和MSR Daily Activity 3D数据集上的行为识别准确率分别为94.86%和97.69%,在与该领域中的同类算法比较中表现优异.

基于深度图像的人体行为识别

由于人体动作的复杂性和非刚性特点,传统的基于RGB视频数据的人体行为识别是一个非常具有挑战性的研究课题。针对现有基于RGB视频数据识别方法的不足,提出了一种基于深度图像数据的人体行为识别方法,该方法将深度差值运动历史图像中分块均值特征与Gabor特征进行融合,采用泛化能力较好的旋转森林算法进行建模。在DHA深度数据集上实验结果表明,相比其它监督行为识别分类算法,基于深度图像的方法具有简单、快速,高效的特点。