关节点连接历史图与卷积神经网络结合的双人交互动作识别

人体关节点数据可以精确表征人体运动的三维信息,卷积神经网络能够提取二维图像中的深层次特征,因此将关节点数据与卷积神经网络结合用于双人交互动作识别具有很好的研究意义。目前将两者结合的方法中,多数不能充分利用关节点的时空关系,导致识别率不高。提出一种新的关节点数据的时空特征表示方法,即关节点连接历史图。首先将关节点数据中的关节点按照人体骨架顺序连接得到关节点连接图,然后将每帧关节点连接图中的关节点和关节点连线按照时间顺序谱编码得到关节点连接历史图,最后将其馈送到卷积神经网络得到最终的识别结果。实验结果表明,关节点连接历史图与CNN结合可以准确识别双人交互动作,在国际公开的SBU Kinect interaction数据库测试中达到94.12%的识别率,充分证明了所提出算法的有效性。

基于深度信息的特征学习与动作识别方法

为了进行复杂交互动作识别,提出基于深度信息的特征学习方法,并使用两层分类策略解决相似动作识别问题。该方法从频域的角度分析深度图像动作序列,提取频域特征,利用VAE对特征进行空间特征压缩表示,建立HMM模拟时序变化并进行第一层动作识别。为了解决相似动作识别问题,引入三维关节点特征进行第二层动作识别。实验结果表明,两种特征在动作数据集SBU-Kinect上能够有效地表示姿态含义,策略简单有效,识别准确率较高。

面向人机交互的通道注意力位移图神经网络

在人机交互动作识别领域中,基于深度学习的动作识别方法比传统的手工特征提取方法准确率更高.为了解决基于深度学习的动作识别方法在实时人机交互的实际应用问题,本文设计并创建了交互动作数据集(IA RGB-D),用于深度学习方法的人体动作识别研究.将IA RGB-D用于多种神经网络的训练和测试,测试结果准确率均在95%以上,验证了数据集的正确性和有效性.为保障对采集动作的实时识别正确率,本文提出了一种基于高效通道注意力的位移图神经网络(ASGCN),将高效通道注意力模块引入位移图卷积神经网络(Shift-GCN),增强其在通道特征上的提取能力.实验证明,ASGCN比Shift GCN准确率更高,提高了复杂动作的识别率,并且与传统的手工特征提取方法对比,识别效率接近但是准确率大幅提升.