融合人体骨架和姿势信息特征的轻量级人体动作识别方法

针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特征融合,对人体动作进行深度学习分类识别;最后,为验证此方法的有效性,在公开数据集WISDM、UCIHAR、HASC和自建的人体动作数据集上进行实验验证,并使用改进的目标引导注意力机制(target-guided attention,TGA)–长短期记忆(long short term memory,LSTM)网络输出最终的分类结果。实验结果表明,在自建数据集下融合姿势和骨架特征达到99.87%准确率,相比于只使用姿势信息特征,识别准确率提高了约5.31个百分点;相比于只使用人体骨架特征,识别准确率提高了约1.87个百分点;在识别时间上相比于只使用姿势信息,识别时间降低了约29.73 s;相比于只使用人体骨架数据,识别时间降低了约9 s。使用该方法能及时有效地反映人体的运动意图,有助于提高人体动作和行为的识别准确率和训练效率。

基于人体骨架的扶梯乘客异常行为识别方法

为准确识别乘客搭乘自动扶梯时的异常行为,避免安全事故的发生,提出了一种基于人体骨架的扶梯乘客异常行为识别方法。首先使用YOLOX-Tiny对视频中乘客位置进行检测,通过Alphapose算法提取骨骼关键点坐标,降低复杂背景的干扰;再使用多流膨胀3D卷积模块增强时空特征提取能力,聚合乘客骨架的全局特征;然后将其输入改进后的时空图卷积网络中提取乘客骨架信息,通过MS-TCN模块扩大接受域以增强时间特征的提取,联合人体关键点注意力模块(Key Point Attention Module,KPAM)提升网络对相似动作的关键骨架的关注度;最后通过Softmax对异常动作进行分类。采集扶梯运行现场视频制作数据集,试验结果表明,本文算法对乘客异常行为的识别精度达到96.1%,可应用于扶梯现场的视频监控系统,提高安全管理信息化水平。

基于人体骨架和深度学习的教师体态语言智能测评

深度学习技术与教师教育融合创新,可赋能教师教学体态语言行为精准测评。针对教师体态语言人工视频分析技术滞后问题,本研究采用人物目标检测、目标追踪和体态骨架图生成三种方法,创建真实教学情境下基于人体骨架图的专家型教师标准体态语言数据集,使用金字塔卷积模块优化ResNet50残差网络,构建金字塔残差神经网络模型,并基于数据集开展识别模型的训练、验证和测试实验。结果显示,体态语言识别模型的准确率、精确率和召回率均达到95%以上,识别准确率由高到低依次为工具性体态语言、巡视性体态语言、指示性体态语言、常规性体态语言、描述性体态语言。本研究基于上述训练良好的模型,开发教师体态语言智能感知测评系统,提出教师体态语言特征的人体骨架表征方法、教师体态语言数据集创建方法及智能识别神经网络模型构建方法,构建了大数据驱动的教师课堂体态语言智能测评方法体系。

基于跨尺度图对比学习的人体骨架动作识别方法

传统基于人体骨架的自监督学习方法常用对比学习模块进行表征学习,而现有对比学习模块使用数据增强方法来构建相似的正样本,其余样本皆为负样本,这限制了同类样本的语义信息表达。针对上述问题,提出一种图对比学习与跨尺度一致性知识挖掘的动作识别算法。首先,基于骨架图结构设计了一种新的数据增强方法,对输入的骨架序列进行随机边裁剪,得到两个不同的扩增视图,加强了同一骨架序列不同视图间的语义相关性表达;其次,为缓解同类样本嵌入相似度较低的问题,引入自监督协同训练网络模型,利用同一骨架数据源的不同尺度间的互补信息,从一个骨架尺度获取另一个骨架尺度的正类样本,实现了单尺度内关联及多尺度间语义协同交互;最后,基于线性评估协议对模型效果进行评估,在NTURGB+D60与NTURGB+D120数据集的实验结果表明,本文所提方法在识别精度上较前沿主流方法平均提升了2%~3.5%。

基于时空张量融合的人体骨架行为自适应识别方法

针对人体行为的空间复杂性和时间差异性问题,提出了一种基于时空张量融合的人体骨架行为自适应识别方法。首先充分利用人体行为骨架序列的帧内空间关系和帧间时间关系,构建相邻帧时空特征张量;其次通过计算相邻帧时空特征张量的差异性获取关键相邻帧时空特征张量并组成行为时空特征张量;之后利用行为时空特征张量的空间特征差异和多尺度时间卷积构建行为时空特征张量自适应注意力机制,完成行为时空特征融合;最后,使用深度随机配置网络根据行为时空特征融合张量识别人体行为。使用NTU RGB-D数据集进行实验仿真,识别准确率达到84.57%,并且设计相应的系统进行实际应用验证,结果表明本文所提方法是一种适合应对人体行为空间复杂性和时间差异性问题的人体行为识别方法。

基于人体骨架的国标舞蹈动作相似度计算研究

针对目前传统舞蹈教学过程中基本通过专业舞蹈教师对舞蹈动作的标准与否进行主观判断,缺少客观评价指标的现状,采用人体骨架模型分别对图像中国标舞学习者的舞蹈动作和标准舞蹈动作计算人体关键点坐标,再计算学习者舞蹈动作和标准舞蹈动作之间的相对偏移角度,根据得到的相对偏移角度设计评估学习者舞蹈动作是否标准的客观评估指标,通过该客观评估指标的量化数据判断学习者舞蹈动作的标准程度,并提出最终的舞蹈动作修正建议。在实拍舞蹈动作图像上的仿真结果表明,该方法所得客观评价结果与主观评价结果相一致,对于实时判断国标舞学习者动作标准程度有着良好的效果。

ECA_SB:一种轻量级人体骨架点提取网络

SB(Simple Baseline)网络提取人体骨架点具有较高精度,但SB网络存在参数量和计算量大、学习效率低的问题,限制了其部署和应用。通过设置SB网络中Bottleneck组件的expansion参数为1,在Bottleneck组件的最后一个卷积层后引入一个高效通道注意力(efficient channel attention, ECA)模块,并设置ResNet骨干网络的最后三个Bottleneck的卷积步长为1,采用反卷积组代替ResNet之后的转置卷积,从而提出一种轻量级的人体骨架点提取网络:ECA_SB。在COCO2017数据集上的对比实验结果表明,ECA_SB网络在保留较高人体骨架点提取精度的同时,参数量和计算量均有明显降低。

K2MP二维人体骨架关键点检测方法设计

针对使用Kinect 2.0检测人体骨架关键点时存在的三个问题:因为自遮挡而造成的关键点检测结果错误;在人转身后错误区分左右关键点;当人手持形状类似于手臂的物品时错误的检测手臂的关键点。本文设计了一种二维人体骨架关键点检测方法K2MP,其将Kinect 2.0与Mediapipe Pose检测出的人体骨架关键点进行结合得到最终结果。该方法首先将Kinect 2.0采集到的红外图像转换成RGB格式并传送给MediaPipe Pose进行处理,然后将Kinect 2.0与MediaPipe Pose检测出的人体骨架关键点进行筛选整合得到最终关键点检测结果。经过实验验证,该方法在二维层面上解决了Kinect 2.0在检测关键点时存在的前述问题。该方法即便在无光照环境下仍能工作。

基于人体骨架和深度学习的学生课堂行为识别

学生课堂行为表现是课堂教学评价的重要组成部分,而进行学生课堂行为识别对课堂教学评价有重要意义。文章提出了基于人体骨架和深度学习的学生课堂行为识别方法,即通过提取学生行为图像的人体骨架关键信息,结合一个10层的深度卷积神经网络(CNN-10)来识别学生的课堂行为。为验证此方法的有效性,文章使用CNN-10和学生课堂行为识别方法,在学生课堂行为数据集上进行了对比实验。实验结果表明,学生课堂行为识别方法可有效排除学生体态、着装、教室背景等无关信息的干扰,突出关键有效信息,具有更高的识别准确率与泛化能力。使用基于人体骨架和深度学习的学生课堂行为识别方法识别学生典型的课堂行为,能及时、有效地反映学生的学习状态,并帮助教师精准掌握学生的课堂学情,从而助力智能化课堂教学。

基于人体骨架序列的手扶电梯乘客异常行为识别

手扶电梯(简称扶梯)乘客异常行为识别研究具有重要意义.针对传统行为识别算法易受环境影响、不能实时并准确对多目标进行识别的问题,提出一种基于人体骨架序列的扶梯乘客异常行为识别算法.该算法首先通过结合可变形组件模型特征的支持向量机检测乘客人脸,并用改进的核相关滤波器对其进行跟踪,从而得到乘客在扶梯中的运动轨迹;接着利用卷积神经网络提取轨迹中乘客的人体骨架序列,并通过模板匹配从乘客人体骨架序列中检测异常行为骨架序列;最后利用动态时间规整将其与各类异常行为骨架序列匹配,基于k近邻方法识别异常行为.对10段扶梯视频的实验结果表明,文中所提的异常行为识别算法处理速度达到10帧/秒,识别准确率为93.2%,能够实时、准确地识别多种乘客异常行为.

基于3D人体骨架的动作识别

本文提出了一种基于3D人体骨架的动作识别方法.该方法以3D人体骨架为基础,将骨架中关节点的位置重新定义,形成简化的立体骨架模型,进而采用改进的动态时间规整算法(Reformative Dynamic Time Warping,RDTW)对齐动作序列并进行识别.由于人体大小、形状、动作方式等差异,任意两个人表达同一动作都不尽相同,简化的立体骨架模型能有效缓解这种类内差异性.传统的DTW算法存在计算复杂性高,效率低的问题,本文在传统算法的基础上设计了"一次规划,二次细化"的方法,有效降低计算量,提高计算效率.该算法在MSR 3D Action数据库上的实验验证了其有效性.

基于动态拓扑图的人体骨架动作识别算法

传统的人体骨架动作识别算法采用手动构建拓扑图的方式来建模包含在多个视频帧中的动作序列,并针对性地学习每个视频帧以反映数据变化,这容易造成计算代价大、网络泛化性低和灾难性遗忘等问题。针对上述问题,提出了基于动态拓扑图的人体骨架动作识别算法,使用持续学习思想动态构建人体骨架拓扑图。将具有多关系特性的人体骨架序列数据重新编码为关系三元组,并基于长短期记忆网络,通过解耦合的方式学习特征嵌入。当处理新骨架关系三元组时,使用部分更新机制动态构建人体骨架拓扑图,并采用基于时空图卷积网络的骨架动作识别算法来实现动作识别。实验结果表明,所提方法在Kinetics-Skeleton,NTU-RGB+D(X-Sub)和NTU-RGB+D(X-View)基准数据集上分别取得了40%,85%和90%的识别准确率,提高了人体骨架动作识别的准确率。

基于残差独立循环神经网络的空间增强人体骨架行为识别

为解决循环神经网络缺乏空间信息且在训练中易出现的梯度消失和爆炸的问题,提出了一种增强空间尺度特征的残差独立循环神经网络人体骨架行为识别算法。研究了人体骨架的空间表达能力增强方法,将原始骨架关节三维坐标转移到人体坐标系后进行尺度变换,进而输入到改进的残差独立循环神经网络对人体骨架序列行为进行识别。改进后的人体骨架能有效缓解人体骨架大小、形状,摄像机的位置等差异带来的影响,提高模型的鲁棒性。残差独立循环神经网络具有独立的神经元,通过约束递归权值解决了梯度问题,具有较好的性能。在NTU RGB+D数据集上取得跨受试者80.1%的识别率,结果证实该算法的有效性。

基于时空注意力图卷积网络模型的人体骨架动作识别算法

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络(STA-GCN)模型的人体骨架动作识别算法。该模型包含空间注意力机制和时间注意力机制:空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关注到具有判别力的非运动区域;时间注意力机制则自动地从长时复杂视频中挖掘出具有判别力的时域片段。将这二者融合到统一的图卷积网络(GCN)框架中,实现了端到端的训练。在Kinetics和NTU RGB+D两个公开数据集的对比实验结果表明,基于STA-GCN模型的人体骨架动作识别算法具有很强的鲁棒性与稳定性,与基于时空图卷积网络(ST-GCN)模型的识别算法相比,在Kinetics数据集上的Top-1和Top-5分别提升5.0和4.5个百分点,在NTURGB+D数据集的CS和CV上的Top-1分别提升6.2和6.7个百分点;也优于当前行为识别领域最先进(SOA)方法,如Res-TCN、STA-LSTM和动作-结构图卷积网络(AS-GCN)。结果表示,所提算法可以更好地满足人体行为识别的实际应用需求。

浅析人体骨架跟踪技术在室内监控中的应用

人体骨架的跟踪技术在计算机视觉和图像处理的领域得到了很多学者的广泛关注，并且在室内监控之中具有十分广泛的应用，能够进行人体运动的分析，可以进行高端智能监控。广阔的前景使得人体骨架跟踪技术的研究更具有先进意义，要通过国内外的研究，不断深入分析优劣，才能寻找更好的人体骨架跟踪技术，让室内监控变得更加高效。防止出现实时性的局限，要提高跟踪的准确度，加强问题的分析研究，因此提出本课题。

多模态轻量级图卷积人体骨架行为识别方法

与传统的基于RGB视频的行为识别任务相比,基于人体骨架的行为识别方法由于其具有受光照、视角和背景复杂度等诸多因素影响非常小的特点,使其成为近几年来计算机视觉领域的主要研究方向之一。但是目前主流的基于人体骨架的行为识别方法都或多或少地存在参数量过大,运算时间过长,计算复杂度过高等问题,从而导致这些方法难以同时满足时效性和准确度这两个要求。针对上述问题,提出了一种融合多模态数据的轻量级图卷积神经网络。首先通过多模态数据融合的方法将多种信息流数据进行融合;其次通过空间流模块和时间流模块分别获得融合后数据的空间信息和时间信息;最后通过全连接层获得最终的分类结果。在行为识别数据集NTU60 RGB+D和NTU120 RGB+D上的测试结果表明该网络不仅在识别精度上优于近两年内的一些主流方法,同时在参数量的比较上也远小于其他主流方法,从而验证了该网络在兼顾时效性和计算成本的同时,准确度上的表现也十分优异。

基于深度学习的人体骨架动作识别

基于人体骨架的动作识别具有鲁棒性和视点不变性的优点,为进一步提高骨架动作识别的识别率,打破以往大部分基于深度学习的方法的输入内容为人体关节坐标的局限性,文中提出一种将几何特征与LSTM网络结合的人体骨架动作识别算法。该算法选择基于关节与选定直线之间距离的几何特征作为网络的输入,引入了一种时间选择LSTM网络进行训练。利用时间选择LSTM网络拥有选出最具识别性时间段特征的能力,在SBU Interaction数据集和UT Kinect数据集上分别取得了99.36%和99.20%的识别率。实验结果证明了该方法对人体骨架动作识别的有效性。

基于高斯噪声与ST-GCN的人体骨架动作识别

针对基于ST-GCN的骨架动作识别中人工预定义的邻接矩阵结构单一、难以捕捉到非相邻关节点之间的相关性这一问题,提出了一种基于高斯噪声的扰动机制.在人工预定义的骨架图邻接矩阵上引入高斯噪声,利用该噪声扰动ST-GCN中固定的邻接矩阵,捕捉非相邻关节点之间的相关性,运用该方法在具挑战性的NTURGB+D和Kinetics-Skeleton两个大规模数据集上进行了分类识别实验,结果表明:该方法在两大数据集上的识别精度高达95.34%和36.43%,在节约计算量的前提下有效地提高了动作识别的性能.