顺序主导和方向驱动下基于点边特征的人体动作识别方法

人体运动是肢体运动方向、关节活动顺序以及动作幅度相互协调的过程.然而,现有方法往往直接对原始3D骨骼关节点信息进行建模,容易忽略肢体关节活动的顺序关系、运动方向性以及动作幅度变化影响.因此,提出一种顺序主导和方向驱动下基于点边特征的骨骼卷积神经网络,通过刻画人体关节点运动顺序、帧间距离和骨骼边方向向量等特征对人体动作分类识别.该网络包含顺序主导单元和方向驱动单元.顺序主导单元对骨骼边末端关节点进行建模,利用关节点的排列方式、帧间距离信息对关节活动顺序和肢体变化幅度进行表征.方向驱动单元利用骨骼边方向向量信息表征肢体运动的方向性.最后,将顺序主导单元与方向驱动单元进行特征融合,对人体日常行为动作进行分类识别.实验结果表明,在两个大型数据集NTU-RGB+D60和NTU-RGB+D120上的实验结果分别较基准方法提升了2.6%、3.5%和5.9%、6.1%.因此,所提出方法能有效利用多特征之间的协同互补性对人类日常行为运动进行深层次刻画,提高人体动作识别的精度.