基于自适应融合权重的人体行为识别方法

为解决人体行为识别中关节特征不显著、噪声干扰严重等问题,提出一种基于自适应融合权重的人体行为识别方法。为充分利用长时时序信息,需要对长视频进行时域分割,而后设计基于BN-Inception的双流网络结构,分别以RGB图像和骨骼关节点构成的运动特征向量作为空间流和时间流网络的输入,基于熵值法对各片段内单支流网络融合后,根据关节点显著程度赋予各支流以惩罚值,使双流网络自适应调节权重进行融合,输出行为类别。实验结果表明,该方法在人体行为识别中具有可行性和有效性。

基于Kinect的自主康复系统的设计与实现

为了使患者能够在家中自主进行康复训练并能与医院进行信息交互,本文设计了一套基于Kinect的自主康复系统。系统使用Kinect开发完成,患者按康复计划规定的康复训练动作进行训练,并使用Kinect传感器获取人体骨骼关节点的空间坐标并捕捉节点运动轨迹,计算获取关节点的相对角度变化值判定患者动作是否完成并给出文字提示,医生可调用系统数据库数据查看患者康复情况并更新康复训练内容。实验证明,该系统能准确识别关节点的运动,能较为直观逼真地显示用户康复训练情况,实时性、准确性达到设计需求,具有较好的应用价值。

基于改进OpenPose的学生行为识别研究

学习者的行为动作能够反映出学习者的学习状态。传统学习者行为识别方法存在实时性不高、准确率低等问题。针对以上问题,提出了一种基于改进OpenPose的学习者行为识别方法。该方法从人体骨骼关节点角度出发,首先通过高斯滤波消除图像中的高斯噪声;然后通过融入注意力机制的目标检测算法检测图像中的目标学生位置,再将检测后的图像通过改进的OpenPose模型提取人体骨骼关节点坐标;最后利用ST-SVM分类器对获取的关节点坐标进行分类,从而快速准确地识别出学习者的行为状态。实验结果表明,该方法能够快速、准确地识别出学生的行为动作,准确率达到99%以上,fps达到了20以上,相比原模型,fps提升了50%。

基于帧级骨架拓展类特征的人体动作实时检测技术

为解决在多场景快速且准确检测出人体动作这一难题,提出一种新颖的基于帧级骨架拓展类特征的人体动作识别模型用于人体动作实时检测,先从连续帧中提取出时序骨架信息,再将躯干角度、骨骼关节点位置、关节点运动速度特征融入到一个混合特征中,并用该特征表示人体动作,通过互信息法与随机森林分类器验证了混合特征的有效性。在UTKinect Dataset数据库上进行了实验,准确率达到了97.43%,每秒平均传输帧数达到了21.9。

面向人体动作预测的对称残差网络

为了研究不同残差连接方式对人体动作预测卷积神经网络的影响,探讨了在保持网络深度一定的情况下,如何利用残差连接构成一个高效捕捉人体动作特征的预测模型。通过观察人体骨骼关节点排列方式,提出一种适用于人体骨骼关节点预测的对称残差连接方法,并基于该方法设计了对称残差块(symmetric residual block,SRB)。所设计的SRB,最后一层卷积核的感受野达到最大,覆盖了人体全部关节信息,采用的对称连接方式高效地利用浅层动态特征,使预测的效果更好、模型使用的参数更少。此外,本文提出一种基于2个SRB和1个解码器的端到端卷积网络——对称残差网络(symmetric residual network,SRNet),取得的预测结果高于基准方法。最后,在TensorFlow框架下利用公开数据集Human3.6M和CMU-Mocap进行了人体动作预测实验。其结果表明,与基准方法相比,本文方法的关节位置平均误差(mean per joint postion error,MPJPE)在各个预测时间点上均有0.2 mm~1 mm的降低,验证了本文提出的SRNet能有效建模人体姿态的全局空间特征。