Study on Virtual Human Skeleton System

A solution of virtual human skeleton system is proposed. Some issues on integration of anatomical geometry, biodynamics and computer animation are studied. The detailed skeleton system model that incorporates the biodynamic and geometric characteristics of a human skeleton system allows some performance studies in greater detail than that performed before. It may provide an effective and convenient way to analyze and evaluate the movement performance of a human body when the personalized anatomical data are used in the models. An example shows that the proposed solution is effective for the stated problems.

3D Vector Reconstruction of the Neck Skeleton from the Anatomical Sections of Korean Visible Human at the Anatomical Laboratory of Paris Descartes

Aim: To perform a vector 3D reconstruction of the neck skeleton from the anatomical sections of the “Korean Visible Human” for educational purposes. Material and Methods: The anatomical subject was a 33-year-old Korean male who died of leukemia. It measured 164 cm and weighed 55 kgs. The anatomical cuts were made in 2010 after an MRI and a CT scan. A special saw (cryomacrotome) made it possible to make cuts on the frozen body of 0.2 mm thick or 5960 slices. Sections numbered 1500 to 2000 (500 neck sections) were used for this study. Manual contouring segmentation of each anatomical element of the anterior neck area was done using Winsurf software version 3.5 on a PC. Results: Our vector 3D neck model includes the following: cervical vertebrae, hyoid bone, sternum manubrium and clavicles. This vector model has been integrated into the virtual dissection table Diva3d, a new educational tool used by universities and medical schools to learn anatomy. This model was also put online on the Sketchfab website and printed in 3D using an ENDER 3 printer. Conclusion: This original work is a remarkable educational tool for the study of the skeleton of the neck and can also serve as a 3D atlas for simulation purposes for training therapeutic gestures.

融合人体骨架和姿势信息特征的轻量级人体动作识别方法

针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特征融合,对人体动作进行深度学习分类识别;最后,为验证此方法的有效性,在公开数据集WISDM、UCIHAR、HASC和自建的人体动作数据集上进行实验验证,并使用改进的目标引导注意力机制(target-guided attention,TGA)–长短期记忆(long short term memory,LSTM)网络输出最终的分类结果。实验结果表明,在自建数据集下融合姿势和骨架特征达到99.87%准确率,相比于只使用姿势信息特征,识别准确率提高了约5.31个百分点;相比于只使用人体骨架特征,识别准确率提高了约1.87个百分点;在识别时间上相比于只使用姿势信息,识别时间降低了约29.73 s;相比于只使用人体骨架数据,识别时间降低了约9 s。使用该方法能及时有效地反映人体的运动意图,有助于提高人体动作和行为的识别准确率和训练效率。

基于人体骨架的扶梯乘客异常行为识别方法

为准确识别乘客搭乘自动扶梯时的异常行为,避免安全事故的发生,提出了一种基于人体骨架的扶梯乘客异常行为识别方法。首先使用YOLOX-Tiny对视频中乘客位置进行检测,通过Alphapose算法提取骨骼关键点坐标,降低复杂背景的干扰;再使用多流膨胀3D卷积模块增强时空特征提取能力,聚合乘客骨架的全局特征;然后将其输入改进后的时空图卷积网络中提取乘客骨架信息,通过MS-TCN模块扩大接受域以增强时间特征的提取,联合人体关键点注意力模块(Key Point Attention Module,KPAM)提升网络对相似动作的关键骨架的关注度;最后通过Softmax对异常动作进行分类。采集扶梯运行现场视频制作数据集,试验结果表明,本文算法对乘客异常行为的识别精度达到96.1%,可应用于扶梯现场的视频监控系统,提高安全管理信息化水平。

时空关联的Transformer骨架行为识别

目前主流的骨架行为识别方法采取关节流、骨骼流及其对应的运动流作为多流网络分别进行训练,造成训练成本高,另外,在特征提取过程中,忽略了对复杂时空依赖关系的建模,以及在时域上的信息交流采取大尺度卷积,导致聚合大量冗余信息。针对以上问题,提出一种时空关联的Transformer骨架行为识别方法。首先,构建运动融合模块,以关节流和骨骼流作为双流输入,在特征级别将各自的运动信息进行融合,减少单独训练运动流的成本;其次,提出移位Transformer模块,利用时间移位操作混合时空信息的特性,配合Transformer低成本地捕获短期时空依赖关系;然后,设计多尺度时间卷积进行时域长期信息交流;最后,融合双流得分获得最终分类预测。在大规模数据集NTU RGB+D以及NTU RGB+D 120上进行实验,结果表明,该模型在NTU RGB+D数据集的两种评价标准X-Sub和X-View上分别达到了91.5%和96.3%的识别准确率,在NTU RGB+D 120数据集两种评价标准X-Sub和X-Set上分别达到了87.2%和89.3%的识别准确率,本文所提方法的识别准确率相对主流骨架行为识别方法有明显提升,验证了模型的有效性和通用性。

用于骨架行为识别的时空卷积Transformer网络

针对基于图卷积的骨架行为识别方法在建模关节特征时严重依赖手工设计图形拓扑,缺乏建模全局关节间依赖关系的缺点,设计了一种时空卷积Transformer实现对空间和时间关节特征的建模。空间关节特征建模中,提出一种动态分组解耦Transformer,通过将输入骨架序列在通道维度进行分组并为每个组动态生成不同的注意力矩阵,允许建模关节之间的全局空间依赖关系,无需事先知道人体拓扑结构。时间关节特征建模中,通过多尺度时间卷积实现对不同时间尺度行为特征的提取。最后,提出一种时空-通道联合注意力模块,进一步对所提取到的时空特征进行修正。在NTU-RGB+D和NTU-RGB+D 120数据集的跨主体评估标准上达到了92.5%和89.3%的Top1识别准确率,实验结果表明了所提方法的有效性。

基于骨架平衡的3D人体异常行为识别方法仿真

为提高对人体异常行为的识别精准度,提出基于3D骨架的人体异常行为识别算法优化方法。根据3D骨架结构信息,建立人体3D骨架模型,依据关节点的运动速度及坐标变化,提取各动作的相关运动特征。通过搭建概率协作分类器,完成对3D骨架对应行为的分类。针对动作行为识别表征向量建立对应分类识别模型,设定人体骨架平衡参数,在先验信息的基础上训练最优系数向量,建立异常行为模型库。根据任意运动特征分布特点,排除异常干扰数据,建立隶属度函数集合确定动作主次结构,计算出每个运动特征权重值,识别异常行为。实验结果表明,所提方法具备良好的识别性能,识别准确度高,延迟小。

基于关节点连接广度矩阵的颈椎康复运动识别

为提高颈椎康复动作识别的准确率与实时性,提出一种基于关节点连接广度矩阵的颈椎康复运动识别方法。在预处理阶段,首先从人体实时视频流数据中进行骨架提取;然后根据人体骨骼运动特点准确提取运动时人体骨架的特征信息,获取局部空间上的变化信息,利用广度优先搜索算法遍历骨架图内关节点,建立关节点连接广度矩阵,根据连接广度信息划分三角子图并为关节点分配权重,提高模型的识别效率;最后提取关节点连接广度矩阵的时空特征,通过SVM分类器完成识别。在颈椎康复运动数据集CRED和MSR Action 3D公开数据集上对该识别方法进行验证,实验结果表明,基于关节点连接广度矩阵的颈椎康复运动识别方法平均耗时为1.20 s,平均帧率为27,平均识别准确率为92.72%,与现有方法相比有一定优势。

基于关键点运动轨迹建模的步态识别

步态信息作为一个新兴的生物特征,在医疗、刑侦等方面具有广泛的应用前景.研究者已经提出了很多种步态识别方法,但普遍存在适应性不强、特征描述过于复杂或缺乏可解释性等问题.针对此问题,首先,通过改进三帧差分完成对视频图像中人体轮廓的提取;然后,基于人体轮廓图获取人体骨架模型,通过骨架模型得到所需的人体关键点位置,并对视频图像中同一关键点的位置轨迹进行曲线建模;最后依据关键点轨迹曲线模型建立一种以模型参数作为步态特征向量的步态特征描述方法,并在此基础上选取合适的分类方法进行步态识别.实验结果表明,基于关键点运动轨迹模型的步态特征表达能够很好地描述步态信息,识别率也相对较高.

基于骨架关键关节构建时空金字塔模型的人体行为识别

针对当前骨骼数据信噪比低及特征信息不足的问题,提出人体关键关节构建时空金字塔模型的动作识别方法。该算法利用人体骨架关键关节构建空间域金字塔特征,保留骨架铰链系统的空间结构;利用多层级叠加协方差,构建时序金字塔特征,解决需要预处理视频序列长度的问题。在MSR-Action3D和UTKinect数据集上的实验结果表明,该方法准确率高、实时性好,可广泛应用于行为识别的各个领域。

融合球空间下旋转角度编码的人体动作识别

针对现有的人体动作识别方法较多考虑骨架结构的坐标和位移等平移信息,较少关注代表骨架结构的运动趋势以及代表关节、骨骼运动方向的旋转信息,提出一种融合球空间下旋转角度编码的时空卷积神经网络方法。通过人体动作在三维球空间中的映射,获取具有尺度不变性的角度信息,提取其动态角速度信息作为角度编码,表征动作轨迹中关节点和骨骼边的旋转信息;构建了时空特征提取与共现模块来更好地捕获数据的时空特征;用合适的融合策略对平移特征和旋转特征进行运动特征融合。实验结果证明了旋转角度编码有利于提升运动表征的准确性,以及时空特征提取与共现模块的有效性。

基于CNN-LSTM双流融合网络的危险行为识别

针对目前人体危险行为识别过程中由于时空特征挖掘不充分导致精度不够的问题,对传统双流卷积模型进行改进,提出了一种基于CNN-LSTM的双流卷积危险行为识别模型。该模型将CNN网络与LSTM网络并联,其中CNN网络作为空间流,将人体骨架空间运动姿态分为静态与动态特征进行分别提取,两者融合作为空间流的输出;在时间流中采用改进的可滑动长短时记忆网络,以增加人体骨架时序特征的提取能力;最后将两个分支进行时空融合,利用Softmax对危险动作做出分类识别。在公开的NTU-RGB+D数据集和Kinetics数据集上的实验结果表明,改进后模型的平均跨角度(Cross view,CV)精度达到92.5%,平均跨视角(Cross subject,CS)精度为87.9%。所提方法优于改进前及其他方法,可以有效地对人体危险动作做出识别,同时对于模糊动作也有较好的区分效果。

基于改进时空图卷积神经网络的钻杆计数方法

针对现有钻杆计数方法存在劳动重复、计数误差较大、未考虑动作的时序信息等问题,提出了一种基于改进时空图卷积神经网络(MST-GCN)模型的钻杆计数方法。首先,通过矿用监控摄像头获取井下打钻视频数据,采用Alphapose算法在图像序列中提取人体的关键点信息,得到单帧图像上的人体骨架和连续图像序列上的骨架序列数据,进而构建表征人体动作的骨架序列;然后,在时空图卷积神经网络(ST-GCN)模型的基础上设计了MST-GCN模型,采用远空间分区策略关注骨架上距离较远的关键点运动信息,通过注意力机制网络SENet融合原空间特征与远空间特征,从而有效识别骨架序列上的动作类别;最后,在打钻视频上利用支持向量机辨识打钻姿势来决定是否保存骨架序列,若骨架序列长度保存到150帧则使用MST-GCN模型识别动作类别,并根据实际打钻时间设置相邻动作的识别间隔,从而记录动作数量,实现钻杆计数。实验结果表明:在自建的数据集上,MST-GCN模型的识别准确率为91.1%,比ST-GCN、Alphapose-LSTM和NST-GCN动作识别模型的准确率分别提升了6.2%,19.0%和4.8%,模型的损失值收敛在0.2以下,学习能力更强。在相同条件的打钻视频上,MST-GCN模型、人工方法和改进ResNet方法的平均误差依次为0.25,0.75,21次,说明MST-GCN模型的计数效果更好。在真实打钻1300根的现场应用中,MST-GCN模型的平均误差为9根,误计数结果低,能够满足实际需求。

Building Indoor Dangerous Behavior Recognition Based on LSTM-GCN with Attention Mechanism

Building indoor dangerous behavior recognition is a specific application in the field of abnormal human recognition.A human dangerous behavior recognition method based on LSTM-GCN with attention mechanism(GLA)model was proposed aiming at the problem that the existing human skeleton-based action recognition methods cannot fully extract the temporal and spatial features.The network connects GCN and LSTMnetwork in series,and inputs the skeleton sequence extracted by GCN that contains spatial information into the LSTM layer for time sequence feature extraction,which fully excavates the temporal and spatial features of the skeleton sequence.Finally,an attention layer is designed to enhance the features of key bone points,and Softmax is used to classify and identify dangerous behaviors.The dangerous behavior datasets are derived from NTU-RGB+D and Kinetics data sets.Experimental results show that the proposed method can effectively identify some dangerous behaviors in the building,and its accuracy is higher than those of other similar methods.

基于人体骨架和深度学习的教师体态语言智能测评

深度学习技术与教师教育融合创新,可赋能教师教学体态语言行为精准测评。针对教师体态语言人工视频分析技术滞后问题,本研究采用人物目标检测、目标追踪和体态骨架图生成三种方法,创建真实教学情境下基于人体骨架图的专家型教师标准体态语言数据集,使用金字塔卷积模块优化ResNet50残差网络,构建金字塔残差神经网络模型,并基于数据集开展识别模型的训练、验证和测试实验。结果显示,体态语言识别模型的准确率、精确率和召回率均达到95%以上,识别准确率由高到低依次为工具性体态语言、巡视性体态语言、指示性体态语言、常规性体态语言、描述性体态语言。本研究基于上述训练良好的模型,开发教师体态语言智能感知测评系统,提出教师体态语言特征的人体骨架表征方法、教师体态语言数据集创建方法及智能识别神经网络模型构建方法,构建了大数据驱动的教师课堂体态语言智能测评方法体系。

融合注意力机制的通道拓扑细化改进的图卷积网络

针对目前骨架动作识别网络数据处理的处理方式、不同动作肢体的动态表述以及时间特征提取的不足,本文提出AA-SGN网络模型,将原始的关键点特征转换成骨骼特征,将动态的非拓扑网络,改进为动态拓扑细化的图卷积网络,在充分利用语义信息的基础上,在时间尺度上融合注意力机制,关联空间和时间信息,使网络充分利用骨骼位置信息和时间流的运动信息,在NTU60 RGB+D的CS和CV设定上提高了1%和0.4%,在NTU120 RGB+D的CSub和CSet分别提高了5.7%和4.6%,证明本文提出的AA-GCN能有效识别骨架动作。

基于单模态的多尺度特征融合人体行为识别方法

针对人体行为识别任务中未能充分挖掘超距关节点之间潜在关联的问题,以及使用多模态数据带来的高昂训练成本的问题,提出一种单模态条件下的多尺度特征融合人体行为识别方法。首先,将人体的原始骨架图进行全局特征关联,并利用粗尺度的全局特征捕获远距离关节点间的联系;其次,对全局特征关联图进行局部划分以得到融合了全局特征的互补子图(CSGF),利用细尺度特征建立强关联,并形成多尺度特征的互补;最后,将CSGF输入时空图卷积模块中提取特征,并聚合提取后的结果以输出最终的分类结果。实验结果表明,在行为识别权威数据集NTU RGB+D60上,所提方法的准确率分别为89.0%(X-sub)和94.2%(X-view);在具有挑战性的大规模数据集NTU RGB+D120上,所提方法的准确率分别为83.3%(X-sub)和85.0%(X-setup),与单模态下的ST-TR(Spatial-Temporal TRansformer)相比,分别提升1.4和0.9个百分点,与轻量级SGN(Semantics-Guided Network)相比,分别提升4.1和3.5个百分点。可见,所提方法能够充分挖掘多尺度特征的协同互补性,并有效提高单模态条件下模型的识别准确率和训练效率。

基于多流融合网络的3D骨架人体行为识别

当前大多基于卷积神经网络的3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN)。在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息。最后,在NTU RGB+D 60数据集上进行消融实验,分别在NTU RGB+D 60数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8个行为识别模型进行对比实验。消融实验结果表明:MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高。对比实验结果表明:MS-CNN模型在2个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型)。

多流融合的轻量级图卷积行为识别算法

传统的基于RGB视频的行为识别容易受到光线强度、观察视角等问题的影响。基于骨骼的行为识别受这些问题的影响较小,成为现在的主流方法之一。但目前基于骨骼信息的行为识别方法参数量较大,运算速度较慢。为了解决这些问题,提出一种多流融合的轻量级图卷积行为识别框架。首先,将融合人体关节、骨骼边、关节速度和骨骼速度的多种信息的数据输入到空间图卷积模块中;其次,在空间图卷积模块中加入了空间注意力机制来更好地提取各个关节之间的关系;最后,在时间卷积模块中使用了深度卷积和逐点卷积减少参数量。提出的网络与基线网络SGN相比,在NTU-RGB+D120数据集中,交叉视角评估下提高了2.3%,交叉设置评估下提高了1.9%,参数量减少了0.12×106个,从而验证了提出网络的有效性。

Key Pose Frame Extraction Method of Human Motion Based on 3D Framework and X-Means

The key pose frames of a human motion pose sequence,play an important role in the compression,retrieval and semantic analysis of continuous human motion.The current available clustering methods in literatures are difficult to determine the number of key pose frames automatically,and may destroy the postures’ temporal relationships while extracting key frames.To deal with this problem,this paper proposes a new key pose frames extraction method on the basis of 3D space distances of joint points and the improved X-means clustering algorithm.According to the proposed extraction method,the final key pose frame sequence could be obtained by describing the posture of human body with space distance of particular joint points and then the time-constraint X-mean algorithm is applied to cluster and filtrate the posture sequence.The experimental results show that the proposed method can automatically determine the number of key frames and save the temporal characteristics of motion frames according to the motion pose sequence.