基于骨骼的人体行为识别方法研究综述

人体行为识别在视频理解中发挥了重要作用.近年来,基于骨骼的行为识别方法因其对复杂环境的干扰更具鲁棒性而受到广泛关注.文中共整理了102种基于骨骼的人体行为识别方法,并在9个公开数据集上对其进行了对比分析.按照特征学习方式的不同,分别介绍了基于手工特征的方法和基于深度学习的方法.其中,基于手工特征的方法按特征描述符的不同分为几何描述符、动力学描述符、统计描述符3个子类;基于深度学习的方法按网络主体的不同分为循环神经网络、卷积神经网络、图卷积网络、Transformer和混合网络5个子类.通过以上分析,不仅阐述了基于骨骼的行为识别方法的发展历程,还剖析了现有方法存在的泛化能力不强、计算成本高等局限.最后,从网络结构设计、相似动作区分、领域数据集拓展、多人交互等方面对未来研究方向进行了展望.

基于运动特征的骨骼行为识别方法

针对现有的骨骼行为识别方法对人体行为的运动信息利用不足的问题,提出一种基于运动特征的时空注意力图卷积(STA-GCN)行为识别模型。对动作捕捉设备采集到的关节点运动轨迹和速度信息进行建模,在时间和空间构建注意力权重矩阵,结合图卷积网络进行特征提取,能够关注到具有判别力的关节点和时间帧。通过在自建动作捕捉数据集和NTU-RGB+D数据集的CS和CV标准上进行实验,其结果表明,该模型增强了对人体骨骼行为信息的理解能力,验证了模型对行为识别的有效性。

基于双流自适应时空增强图卷积网络的手语识别

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。

基于多维动态拓扑学习图卷积的骨架动作识别

图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分:纯粹节点拓扑学习图卷积(pure Joint topology learning Graph Convolution,J-GC)、动态时序特异性拓扑学习图卷积(Dynamic Temporal-Wise topology learning Graph Convolution,DTW-GC)和通道特异性拓扑学习图卷积(Channel-Wise topology learning Graph Convolution,CW-GC).特别地,在DTW-GC中使用了动态骨架拓扑建模方法(Dynamic Skeleton Topology Learning,DSTL),以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积(Multi-Scale Temporal Convolution,MS-TC)相结合,本文构建了具有强大建模能力的图卷积网络.此外,为了对骨架数据的空间信息进行补充,本文额外引入了相对节点数据和相对骨骼数据进行多流网络的融合.本文所提出的方法在NTU-RGB+D与NTU-RGB+D 120数据集上分别取得了92.64%和89.29%的准确率,超过了当前最先进方法.

基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。

基于改进时空图卷积网络的人员交互行为识别

针对人员交互行为识别存在的多模态数据融合方法导致的识别准确率与模型性能无法同时满足的问题,提出一种基于改进时空图卷积网络的人员交互行为识别方法。将单模态骨架数据引入级联的密集时空图卷积块网络中获得丰富的时空特征信息,提高特征复用率;设计一种增强时空图卷积网络(EST-GCN)单元提高网络对关节点之间的信息表征能力;引入一种运动特征因子衡量肢体不同关节的重要程度,提高模型识别效果。在Kinetics数据集和办案区场景数据集上的实验结果表明,所提出方法在识别效果上具有一定优势,且该方法在模型复杂度及运行效率上具有很好的竞争力。

交互关系超图卷积模型的双人交互行为识别

为提高学校、商场等公共场所的安全性,实现对监控视频中的偷窃、抢劫和打架斗殴等异常双人交互行为的自动识别,针对现有基于关节点数据的行为识别方法在图的创建中忽略了2个人之间的交互信息,且忽略了单人非自然连接关节点间的交互关系的问题,提出一种基于交互关系超图卷积模型用于双人交互行为的建模与识别。首先针对每一帧的关节点数据构建对应的单人超图以及双人交互关系图,其中超图同时使多个非自然连接节点信息互通,交互关系图强调节点间交互强度。将以上构建的图模型送入时空图卷积对空间和时间信息分别建模,最后通过SoftMax分类器得到识别结果。该算法框架的优势是在图的构建过程中加强考虑双人的交互关系、非自然连接点间结构关系以及四肢灵活的运动特征。在NTU数据集上的测试表明,该算法得到了97.36%的正确识别率,该网络模型提高了双人交互行为特征的表征能力,取得了比现有模型更好的识别效果。

投影子空间下基于骨骼边信息的人体动作识别

近年来,基于骨骼数据的人体动作识别在计算机视觉、人机交互等领域受到了广泛的关注。现有的方法大多关注于在原始的3D坐标空间下对骨骼点进行建模。然而,骨骼点忽略了人体自身的物理链状结构,很难刻画人体运动的局部相关性;此外,由于相机视角的多样性,在原始的基于点的3D空间下难以探索动作在不同视角下的综合表征。鉴于此,提出了一种投影子空间下基于骨骼边信息的动作识别方法。定义了结合人体自身连接的骨骼边信息,用于捕获动作的空间特性;在骨骼边信息的基础上引入了骨骼边运动的方向与大小信息,用于获取动作的时间特性;采用2D投影子空间的方式在不同的子空间视角下进行动作表征;探索了合适的特征融合策略,通过改进的CNN框架对上述特征进行综合提取。在2个具有挑战性的大型数据集NTU-RGB+D60(评价指标为cross-subject与cross-view)和NTU-RGB+D120(评价指标为cross-subject与cross-set)上的实验结果表明,相比基准方法,所提方法在4个指标下精度分别提升了3.2%、2.4%、3.1%和5.8%。

融合球空间下旋转角度编码的人体动作识别

针对现有的人体动作识别方法较多考虑骨架结构的坐标和位移等平移信息,较少关注代表骨架结构的运动趋势以及代表关节、骨骼运动方向的旋转信息,提出一种融合球空间下旋转角度编码的时空卷积神经网络方法。通过人体动作在三维球空间中的映射,获取具有尺度不变性的角度信息,提取其动态角速度信息作为角度编码,表征动作轨迹中关节点和骨骼边的旋转信息;构建了时空特征提取与共现模块来更好地捕获数据的时空特征;用合适的融合策略对平移特征和旋转特征进行运动特征融合。实验结果证明了旋转角度编码有利于提升运动表征的准确性,以及时空特征提取与共现模块的有效性。

管片钢筋骨架外弧面尺寸检测系统的研制与应用

传统管片钢筋骨架的质检多数采用人工测量完成,不同人员对测量工具使用的熟练度不同导致最终结果参差不齐。研制了一套基于高精度激光三维轮廓测量仪的钢筋骨架外形尺寸自动检测系统,该系统由检测桁架及轨道小车、电气系统、激光三维轮廓测量仪和上位机软件构成。检测系统工作流程:将钢筋骨架放置在轨道小车上,轨道小车自动运行进入检测工位,测量仪扫描采集点云数据,系统自动处理数据、完成检测数据可视化。检测系统明显提高了钢筋骨架的检测精度和检测速度,同时可根据检测数据生成判定结果,有利于加强管片钢筋骨架的生产质量管控。

基于数字孪生的电梯乘客异常行为建模与识别方法

为了解决异常行为识别研究中存在的异常案例缺乏、训练样本稀缺问题,以垂直电梯的乘客异常行为监测为任务需求,提出了基于数字孪生的电梯乘客异常行为建模与识别方法。通过搭建电梯乘客行为监测数字孪生系统架构,完成了电梯运行状态与乘客行为的虚实映射。基于数字孪生场景与人体行为建模理论构建了电梯乘客异常行为案例,扩充了异常行为的孪生数据。利用改进的OpenPose获取骨骼特征,并使用PCA-DNN训练分类模型,实现了融合孪生数据的乘客异常行为快速识别。实验结果表明,该方法不仅展现了应用数字孪生技术创建异常数据的便捷性、高效性以及安全性,还验证了使用孪生数据进行模型训练的可行性、可靠性以及准确性。

基于图卷积的3D骨架数据的双人交互行为识别

针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络(DHI-STGCN)用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架数据生成一种双人交互动作的空间动作图用于空间信息的表示,图中根据关节点位置信息对双人之间的连接边赋予不同的权重。时间信息处理中,在构造的邻接矩阵中增加了上下文时间信息的联系,图中关节点与其一定时间范围内的节点增加连接。将生成的时空图数据送入空间图卷积网络模块,结合时间图卷积网络模块增强帧间运动特征连续性进行时序建模。该模型充分考虑了双人交互动作的紧密关系,具有较强的鲁棒性,获得了比现有模型更好的交互动作识别效果。

基于Kinect V2的肢体动作识别方法设计与实现

在计算机视觉、模式识别等领域,肢体动作识别一直是一个热门课题。肢体动作识别技术已被广泛地应用于各个行业。本文采用Kinect设备,采集人体20个关键部位的三维坐标,并将其应用于肢体动作的分析和辨识;在此基础上,分析了基于人体骨骼的三维深度信息,并进一步深入地分析了人体运动特征的辨识与表达。通过系统仿真,分析识别结果,得到识别准确率均在92%以上,同时对不同形态的人物进行了识别分析,均可正常识别,验证了系统的可行性。

骨架数据增强和双重最近邻检索自监督动作识别

传统基于骨架数据的自监督方法常将某一样本的不同增强作为正例,将其余样本均视为负例,这使得正负样本的比例严重失衡,限制了相同语义信息的样本发挥作用。针对上述问题,提出了一种正样本不受数据增强限制的双重最近邻检索动作识别算法DNNCLR。首先,基于人体关节的物理连接设计了一个新的关节级空间数据增强,即Bodypart增强,对输入的骨架序列用正态分布数组随机替换,以获得高级语义嵌入;其次,为避免正样本受数据增强的限制,提出了一种更合理的双重最近邻检索(DNN)正样本扩充策略,进一步提出了双重最近邻检索对比损失DNN Loss。具体为利用支撑集进行全局检索,将正样本集的寻找范围扩展到普通数据增强无法覆盖的新数据点;而负样本集中存在被误判的正样本,其是来自不同视频但语义信息相同的骨架样本。为此,再一次利用最近邻检索,从负样本集中寻找这种潜在的正例,二次扩展正样本集,并进一步提出双重最近邻检索对比损失,迫使模型学习更多的一般特征表示,使得模型优化更加合理。最后,将DNNCLR算法应用在AimCLR模型上,得到AimDNNCLR模型,并在NTU-RGB+D数据集上对该模型进行了线性评估,与前沿模型相比,所提方法在精度上平均提升了3.6%。

基于ANSYS Workbench的一种提取结构骨架的新方法

针对结构重构过程中会遇到的难加工或加工成本过高等问题,提出了一种提取三维数字模型骨架的新方法,该骨架结构能有效地描述原本的实体结构,为后续数据的再利用和结构的参数化重建提供了基础。提取的骨架不仅包含结构的几何拓扑结构和空间形貌特征,还包含结构的物理特征。在提取过程中,三维模型被划分为若干区块,计算这些区块中心点的坐标,并将距离中心点最近的网格节点作为关键节点,计算这些关键节点的相对位置和距离并连接形成骨架。编写APDL代码以提取节点的物理属性并进行储存。然后,运用一个数值算例以及ANSYS Workbench软件来解释说明该方法,该算例证明该骨架提取方法可以提出结构中的各关键节点,对各关键节点按顺序进行连接后可以得到结构内部反映其几何形貌特征的骨架,并且可以获得刚度矩阵和变形坐标等物理特征,从而实现基于数据的结构特征的表征和存储。

基于Kinect骨骼数据的静态三维手势识别

手势作为一种自然、直观的交流方式,在人机交互领域得到越来越广泛的应用。研究的手势是指手与臂形成的一种空间三维姿势,现有方法对该种手势识别的准确性不高且实时性不强。在Kinect体感摄像机获取的人体手部关节点三维坐标基础上,提出一种计算手部角度进行静态三维手势识别的新方法。该方法通过计算手部多个位置的夹角来获取手部形态特征,然后与参考的静态手势特征做匹配识别。实验表明,该方法能够判断和识别当前静态手势与参考手势是否匹配,比现有方法具有更好的识别准确性和更强的实时性。

基于Kinect骨骼数据的人体动作姿势识别方法

针对现有的复杂背景下人体动作姿势训练与识别中存在识别准确率不高和实时性不强等问题,提出一种基于Kinect骨骼数据的人体动作姿势识别方法。从Kinect获取骨骼姿势特征点数据,计算姿势特征矢量;将当前的实时姿势特征矢量与预设的标准姿势特征矢量进行匹配比较,实时反馈两者姿势的匹配度,达到姿势识别的目的。实验结果表明,该方法能有效地进行人体动作姿势的匹配识别,识别准确率较高、实时性较强,具有良好的可扩展性。

基于Kinect的人体动作识别算法研究

针对现有的复杂背景下人体动作识别中存在识别准确率不高和实时性不强等问题,提出基于Kinect骨骼数据的改进动作识别算法。通过Kinect获取骨骼数据,提取出人体关节的特征向量,然后用模板匹配的方法对人体动作进行识别。通过搭建机器人体感控制系统验证了算法的可行性。在相同实验条件下测得算法的平均识别率为95.2%,平均识别时间为32.5 ms。与其他动作识别算法比较,证明了算法的识别率较高、实时性较好。

基于Kinect深度信息与骨骼信息的手指尖识别方法

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。

基于Kinect骨架信息的交通警察手势识别

针对现有的手势识别算法识别率低、鲁棒性弱的问题,提出一种基于Kinect骨架信息的交通警察手势识别方法。从Kinect深度图像中预测人体骨架节点的坐标位置,将节点的运动轨迹作为训练和测试的特征,结合距离加权动态时间规整算法和K-最近邻分类器进行识别。实验表明,在参数最优的情况下,该方法对八种交通警察手势的平均识别率达到98.5%,可应用于智能交通等领域。