深度运动图耦合正则化表示的行为识别算法

为了提高图像行为的识别精度,使其能够准确判别行为识别中的微小变化以及遮挡问题,提出了基于深度运动图(depth motion maps,DMM)与正则化协同表示的行为识别算法。首先,将深度图像序列投射到3个正交平面上,得到了3个方向的投射图。对于不同的投射图,通过测量两个连续映射之间的绝对差值来表示运动能量,并将所有深度图像序列中运动能量进行叠加,获得了3个方向的深度运动图。随后,根据这些投射图,DMM能从多个方向获取更多具有判别力的运动信息。再引入Hough变换(Hough transform,HT)算子,提取DMM中3个方向的HT特征,并其进行归一化融合,获取DMM-HT特征。最后,引入Tikhonov正则化计算系数向量,构建正则化协同表示分类器,对每个位置样本的分类标签完成深度行为分类学习,实现人体行为的准确识别。实验数据表明,与当前行为识别技术相比,算法具有更强的鲁棒性,能完成各种行为的识别,在遮挡、噪声等干扰条件下具有更高的识别精度。所提算法能够较好地适应复杂环境下的人体动作准确识别,在智能家居、视频监测、人机交互等领域具有良好的参考价值。

基于深度运动图的人体行为识别

将人体行为深度映射图(depth map)连续投影到3个互相垂直的笛卡尔平面,然后对投影做绝对差分,累积各自投影面的差分图像,得到完整的人体行为三维信息——深度运动图(Depth Motion Maps,DMMs)。利用MSRAction dataset和3DAction Pairs dataset进行训练以获取人体行为字典。在识别未知动作时,利用Tikhonov矩阵计算得出权重系数向量。最后,利用L2范式正则化协同表示对待识别动作进行分类。通过上述两个数据库的验证,分别达到了95.3%和83.8%的平均识别率,已经达到对DMMs的较高识别率。

基于深度运动图和密集轨迹的行为识别算法

为了融合深度图中不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于深度运动图(Depth Motion Maps,DMMs)和密集轨迹的人体行为识别算法。利用卷积神经网络训练DMMs数据并提取高层特征作为行为视频的静态特征表示,使用密集轨迹来描述RGB视频序列的动态运动信息,将行为视频的静态特征和动态特征串联,作为整个视频的行为特征表示并输入到线性支持向量机(Support Vector Machine,SVM)进行识别。实验结果表明,在公开的动作识别库UTD-MHAD和MSR Daily Activity 3D上,该算法能够有效提取深度信息和纹理信息,并取得了较好的识别效果。

多视角深度运动图的人体行为识别

目的使用运动历史点云(MHPC)进行人体行为识别的方法,由于点云数据量大,在提取特征时运算复杂度很高。而使用深度运动图(DMM)进行人体行为识别的方法,提取特征简单,但是包含的动作信息不全面,限制了人体行为识别精度的上限。针对上述问题,提出了一种多视角深度运动图的人体行为识别算法。方法首先采用深度图序列生成MHPC对动作进行表示,接着将MHPC旋转特定角度补充更多视角下的动作信息;然后将原始和旋转后MHPC投影到笛卡儿坐标平面,生成多视角深度运动图,并对其提取方向梯度直方图,采用串联融合生成特征向量;最后使用支持向量机对特征向量进行分类识别,在MSR Action3D和自建数据库上对算法进行验证。结果 MSR Action3D数据库有2种实验设置,采用实验设置1时,算法识别率为96. 8%,比APS_PHOG(axonometric projections and PHOG feature)算法高2. 5%,比DMM算法高1. 9%,比DMM_CRC(depth motion maps and collaborative representation classifier)算法高1. 1%。采用实验设置2时,算法识别率为93. 82%,比DMM算法高5. 09%,比HON4D(histogram of oriented 4D surface normal)算法高4. 93%。在自建数据库上该算法识别率达到97. 98%,比MHPC算法高3. 98%。结论实验结果表明,多视角深度运动图不但解决了MHPC提取特征复杂的问题,而且使DMM包含了更多视角下的动作信息,有效提高了人体行为识别的精度。

基于深度图像与骨骼数据的行为识别

为了充分利用深度图像与骨骼数据进行人体行为识别,提出了一种基于深度图形与骨骼数据的多特征行为识别方法。该算法的多特征包括深度运动图(DMM)特征与四方形骨骼特征(Quad)。深度图像方面,将深度图像投影到一个笛卡尔坐标系的三个平面获得深度运动图特征。骨骼数据方面,提出四方形骨骼特征,它是骨骼坐标的一种标定方式,得到的结果只与骨骼姿态有关。同时提出一种多模型概率投票的分类策略,减小了噪声数据对分类结果的影响。所提方法在MSR-Action3D和DHA数据库进行实验,实验结果表明,所提算法有着较高的识别率与良好的鲁棒性。

基于深度图的人体动作分类自适应算法

由于深度相机成本的降低,越来越多的研究人员使用RGB-D(red,green,blue and depth)视频进行人类动作识别(human activity recognition,HAR)。使用深度运动图的局部二值模式进行特征提取,利用自适应差分进化极限学习机(self-adaptive differential evolution extreme learning machine,SaDE-ELM)用于动作分类,其中隐藏节点的学习参数通过自适应差分进化的方法进行修改。为了验证所提出方法的有效性,用3个公共数据集(MSR Action3D,MSRDaily Activity3D,MSRGesture3D)进行了实验。仿真结果表明,该方法优于基于内核的极限学习机(kernel extreme learning machine,KELM)的方法。

基于深度图像的人体行为识别算法研究

近年来,人体行为识别已成为计算机视觉领域的重要研究方向之一。为避免传统RGB图像受光照干扰的不足,提出一种基于深度图像的人体行为识别改进算法。首先,将深度图像投影到三个正交的笛卡尔平面坐标系上获得深度运动图;然后,在深度运动图上训练三个方向的卷积神经网络模型;最后,把测试集深度运动图的识别概率进行平均值输出。所提算法在MSR Action3D数据库进行实验,实验结果表明该算法有着较高的识别率,验证该算法模型的有效性。

一种基于MEM-LBP的动作特征提取及识别方法

针对动作识别中如何有效地利用人体运动的三维信息的问题,提出一种新的基于深度视频序列的特征提取和识别方法。该方法首先运用运动能量模型(MEM)来表征人体动态特征,即先将整个深度视频序列投影到三个正交的笛卡尔平面上,再把每个投影面的视频序系列划分为能量均等的子时间序列,分别计算子序列的深度运动图能量,从而得到运动能量模型(MEM)。然后利用局部二值模式(LBP)描述符对运动能量模型编码,进一步提取人体运动的有效信息。最后用l2范数协同表示分类器进行动作分类识别。在MSR Action3D、MSR Gesture3D数据库上测试所提方法,实验结果表明该方法有较高的识别效果。

三维动作识别时空特征提取方法

针对传统的彩色视频中动作识别算法成本高,且二维信息不足导致动作识别效果不佳的问题,提出一种新的基于三维深度图像序列的动作识别方法。该算法在时间维度上提出了时间深度模型(TDM)来描述动作。在三个正交的笛卡尔平面上,将深度图像序列分成几个子动作,对所有子动作作帧间差分并累积能量,形成深度运动图来描述动作的动态特征。在空间维度上,用空间金字塔方向梯度直方图(SPHOG)对时间深度模型进行编码得到了最终的描述符。最后用支持向量机(SVM)进行动作的分类。在两个权威数据库MSR Action3D和MSRGesture3D上进行实验验证,该方法识别率分别达到了94.90%(交叉测试组)和94.86%。实验结果表明,该方法能够快速对深度图像序列进行计算并取得较高的识别率,并基本满足深度视频序列的实时性要求。

基于新投影策略的人体行为识别方法研究

为解决微小动作识别率低的问题,提出一种结合新投影策略和能量均匀化视频分割的多层深度运动图的人体行为识别方法。首先,提出一种新的投影策略,将深度图像投影到三个正交笛卡尔平面,以保留更多的行为信息;其次,基于整个视频的多层深度运动图图像虽然可反映整体运动信息,但却忽略了很多细节,采用基于能量均匀化的视频分割方法,将视频划分为多个子视频序列,可以更加全面地刻画动作细节信息;最后,为描述多层深度运动图图像纹理细节,采用局部二值模式作为动作特征描述子,结合核极端学习机分类器进行动作识别。实验结果表明:在公开动作识别库MSRAction3D和手势识别库MSRGesture3D上,本文算法准确率分别达94.55%和95.67%,与现存许多算法相比,有更高的识别率。

融合多模态数据的人体动作识别方法研究

基于多模态融合的人体动作识别技术被广泛研究与应用,其中基于特征级或决策级的融合是在单一级别阶段下进行的,无法将真正的语义信息从数据映射到分类器。提出一种多级多模态融合的人体动作识别方法,使其更适应实际的应用场景。在输入端将深度数据转换为深度运动投影图,并将惯性数据转换成信号图像,通过局部三值模式分别对深度运动图和信号图像进行处理,使每个输入模态进一步转化为多模态。将所有的模态通过卷积神经网络训练进行提取特征,并把提取到的特征通过判别相关分析进行特征级融合。利用判别相关分析最大限度地提高两个特征集中对应特征的相关性,同时消除每个特征集中不同类之间的特征相关性,将融合后的特征作为多类支持向量机的输入进行人体动作识别。在UTD-MHAD和UTD Kinect V2 MHAD两个多模态数据集上的实验结果表明,多级多模态融合框架在两个数据集上的识别精度分别达到99.8%和99.9%,具有较高的识别准确率。

结合RGB-D视频和卷积神经网络的行为识别算法

针对目前早期融合RGB图像和深度图像的特征时存在特征维度高,计算复杂等问题,提出一种结合RGB-D视频序列和卷积神经网络的行为识别算法。首先为了提取RGB视频序列的静态表观和短时域运动信息,将RGB视频序列可重叠地分割为一定数量的子序列片段,输入到卷积神经网络中训练。然后在深度图序列中,将计算得到的改进深度运动图(Depth Motion Map,DMM)作为长时域运动信息表示并输入到二维卷积神经网络训练。最后利用改进的加权乘积法融合上述多路卷积神经网络的预测分数,得到最终的分类结果。实验结果表明,在公开的动作识别库UTD-MHAD和MSR Daily Activity 3D上,该算法能够有效提取行为动作的静态表观和时域运动信息,并取得了较好的识别效果。

基于判别协作表征分类器的人体行为识别

为了解决协作表征分类器(CRC)对相似样本误分类概率高的问题,提出一种判别协作表征分类器(DCRC)。该分类器考虑了所有训练样本和每一类样本对协作表征系数的影响,得到判别性强的协作表征系数,提升了对相似样本的判别性。基于DCRC进行人体行为识别研究。首先用深度运动映射图(DMMs)提取深度动作序列特征,得到DMMs特征描述子,然后利用DCRC对特征描述子进行协作表征编码,最后利用新的判别规则进行分类识别。在人体行为识别数据集上的实验结果表明,DCRC对相似动作具有一定的判别性,且识别精度优于现有的方法。