Study on Virtual Human Skeleton System

A solution of virtual human skeleton system is proposed. Some issues on integration of anatomical geometry, biodynamics and computer animation are studied. The detailed skeleton system model that incorporates the biodynamic and geometric characteristics of a human skeleton system allows some performance studies in greater detail than that performed before. It may provide an effective and convenient way to analyze and evaluate the movement performance of a human body when the personalized anatomical data are used in the models. An example shows that the proposed solution is effective for the stated problems.

基于多流语义图卷积网络的人体行为识别

与基于图像的行为识别方法相比,利用人体骨架信息进行识别能有效克服复杂背景、光照变化以及外貌变化等因素影响。但是,目前主流的基于人体骨架的行为识别方法存在参数量过大、运算速度慢等问题。对此,提出一种多流轻量级语义图卷积的行为识别方法。设计多流语义引导的图卷积网络(MS-SGN),将骨架信息分别表达为骨长流、关节流和细粒度流3种数据流形式,再对嵌入语义信息的数据流通过自适应图卷积提取空间特征,并采用不同内核和膨胀率的多尺度时域卷积提取时域特征,最后对各流分类结果进行加权融合。实验结果表明,该方法在NTU60 RGB+D数据集上的识别精度分别为90.0%(X-Sub)和95.83%(X-View),在NTU120 RGB+D数据集上的识别精度分别为83.4%(X-Sub)和84.0%(X-View),优于SGN、Logsin-RNN等主流方法,且网络框架更为轻量化。

3D Vector Reconstruction of the Neck Skeleton from the Anatomical Sections of Korean Visible Human at the Anatomical Laboratory of Paris Descartes

Aim: To perform a vector 3D reconstruction of the neck skeleton from the anatomical sections of the “Korean Visible Human” for educational purposes. Material and Methods: The anatomical subject was a 33-year-old Korean male who died of leukemia. It measured 164 cm and weighed 55 kgs. The anatomical cuts were made in 2010 after an MRI and a CT scan. A special saw (cryomacrotome) made it possible to make cuts on the frozen body of 0.2 mm thick or 5960 slices. Sections numbered 1500 to 2000 (500 neck sections) were used for this study. Manual contouring segmentation of each anatomical element of the anterior neck area was done using Winsurf software version 3.5 on a PC. Results: Our vector 3D neck model includes the following: cervical vertebrae, hyoid bone, sternum manubrium and clavicles. This vector model has been integrated into the virtual dissection table Diva3d, a new educational tool used by universities and medical schools to learn anatomy. This model was also put online on the Sketchfab website and printed in 3D using an ENDER 3 printer. Conclusion: This original work is a remarkable educational tool for the study of the skeleton of the neck and can also serve as a 3D atlas for simulation purposes for training therapeutic gestures.

融合人体骨架和姿势信息特征的轻量级人体动作识别方法

针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特征融合,对人体动作进行深度学习分类识别;最后,为验证此方法的有效性,在公开数据集WISDM、UCIHAR、HASC和自建的人体动作数据集上进行实验验证,并使用改进的目标引导注意力机制(target-guided attention,TGA)–长短期记忆(long short term memory,LSTM)网络输出最终的分类结果。实验结果表明,在自建数据集下融合姿势和骨架特征达到99.87%准确率,相比于只使用姿势信息特征,识别准确率提高了约5.31个百分点;相比于只使用人体骨架特征,识别准确率提高了约1.87个百分点;在识别时间上相比于只使用姿势信息,识别时间降低了约29.73 s;相比于只使用人体骨架数据,识别时间降低了约9 s。使用该方法能及时有效地反映人体的运动意图,有助于提高人体动作和行为的识别准确率和训练效率。

基于人体骨架的扶梯乘客异常行为识别方法

为准确识别乘客搭乘自动扶梯时的异常行为,避免安全事故的发生,提出了一种基于人体骨架的扶梯乘客异常行为识别方法。首先使用YOLOX-Tiny对视频中乘客位置进行检测,通过Alphapose算法提取骨骼关键点坐标,降低复杂背景的干扰;再使用多流膨胀3D卷积模块增强时空特征提取能力,聚合乘客骨架的全局特征;然后将其输入改进后的时空图卷积网络中提取乘客骨架信息,通过MS-TCN模块扩大接受域以增强时间特征的提取,联合人体关键点注意力模块(Key Point Attention Module,KPAM)提升网络对相似动作的关键骨架的关注度;最后通过Softmax对异常动作进行分类。采集扶梯运行现场视频制作数据集,试验结果表明,本文算法对乘客异常行为的识别精度达到96.1%,可应用于扶梯现场的视频监控系统,提高安全管理信息化水平。

时空图卷积网络的骨架识别硬件加速器设计

随着人工智能技术的不断发展,神经网络的数据规模逐渐扩大,神经网络的计算量也迅速攀升。为了减少时空图卷积神经网络的计算量,降低硬件实现的资源消耗,提升人体骨架识别时空图卷积神经网络(ST-GCN)实际应用系统的处理速度,利用现场可编程门阵列(FPGA),设计开发了一个基于时空图卷积神经网络的骨架识别硬件加速器。通过对原网络模型进行结构优化与数据量化,减少了FPGA实现约75%的计算量;利用邻接矩阵稀疏性的特点,提出了一种稀疏性矩阵乘加运算的优化方法,减少了约60%的乘法器资源消耗。经过对人体骨架识别实验验证,结果表明,在时钟频率100 MHz下,相较于CPU,FPGA加速ST-GCN单元,加速比达到30.53;FPGA加速人体骨架识别,加速比达到6.86。

基于骨架序列的工序动作识别与分析

为了解决工业工程领域传统制造过程中工序动作分析方法存在的耗时耗力与依赖经验的问题,运用动作识别技术替代传统的人工分解动作方法,提出一种基于骨架序列的工序动作智能检测方案。使用2D相机与MediaPipe框架搭建人体姿态估计模型以获取骨架序列,引入相关评估指标进行工序动作量化分析。利用骨架数据构建基于卷积门控循环单元CNN-GRU的动作分类模型,面向自建工序动作数据集进行实验验证。结果表明,所提出的CNN-GRU模型在参数量更少的情况下具有更高的准确率,相较于LSTM模型和GRU模型表现更优。在动作识别的基础上,将所得推理结果与标准作业程序进行对比得出异常动作,为工序动作识别与分析提供有效的解决方案,有助于规范生产操作和提升生产效率。

时空关联的Transformer骨架行为识别

目前主流的骨架行为识别方法采取关节流、骨骼流及其对应的运动流作为多流网络分别进行训练,造成训练成本高,另外,在特征提取过程中,忽略了对复杂时空依赖关系的建模,以及在时域上的信息交流采取大尺度卷积,导致聚合大量冗余信息。针对以上问题,提出一种时空关联的Transformer骨架行为识别方法。首先,构建运动融合模块,以关节流和骨骼流作为双流输入,在特征级别将各自的运动信息进行融合,减少单独训练运动流的成本;其次,提出移位Transformer模块,利用时间移位操作混合时空信息的特性,配合Transformer低成本地捕获短期时空依赖关系;然后,设计多尺度时间卷积进行时域长期信息交流;最后,融合双流得分获得最终分类预测。在大规模数据集NTU RGB+D以及NTU RGB+D 120上进行实验,结果表明,该模型在NTU RGB+D数据集的两种评价标准X-Sub和X-View上分别达到了91.5%和96.3%的识别准确率,在NTU RGB+D 120数据集两种评价标准X-Sub和X-Set上分别达到了87.2%和89.3%的识别准确率,本文所提方法的识别准确率相对主流骨架行为识别方法有明显提升,验证了模型的有效性和通用性。

用于骨架行为识别的时空卷积Transformer网络

针对基于图卷积的骨架行为识别方法在建模关节特征时严重依赖手工设计图形拓扑,缺乏建模全局关节间依赖关系的缺点,设计了一种时空卷积Transformer实现对空间和时间关节特征的建模。空间关节特征建模中,提出一种动态分组解耦Transformer,通过将输入骨架序列在通道维度进行分组并为每个组动态生成不同的注意力矩阵,允许建模关节之间的全局空间依赖关系,无需事先知道人体拓扑结构。时间关节特征建模中,通过多尺度时间卷积实现对不同时间尺度行为特征的提取。最后,提出一种时空-通道联合注意力模块,进一步对所提取到的时空特征进行修正。在NTU-RGB+D和NTU-RGB+D 120数据集的跨主体评估标准上达到了92.5%和89.3%的Top1识别准确率,实验结果表明了所提方法的有效性。

基于骨架图与混合注意力的视频行人异常检测方法

近些年,许多利用人体骨架图检测视频异常的研究在描述人体骨架连接强弱时,只考虑到直接相连的节点,关注的运动区域较小且忽略了局部特征,很难准确检测行人异常事件。为解决以上问题,提出一种基于骨架图与混合注意力的视频行人异常检测方法(PAD-SGMA)。首先,扩展骨架点之间的关联,连接根节点与未直接相连的节点,并划分人体骨架图,获取人体骨架局部特征,在图卷积模块中利用静态全局骨架、局部区域骨架和基于注意的邻接矩阵来捕获层次表示;其次,提出新的时空通道混合注意图卷积网络,增加混合注意力模块,关注空间和通道关系,帮助模型增强区分特征且不同程度地关注每个关节。为了验证所提模型,在大规模的公开标准数据集ShanghaiTech Campus上进行实验,结果表明,与GEPC(Graph Embedded Pose Clustering)相比,PAD-SGMA的AUC(Area Under Curve)提高了0.018。

基于运动引导图卷积网络的人体动作识别

针对当前基于骨架的人体动作识别方法无法建模关节点之间依赖关系随时间的变化,以及难以实现跨时空信息交互的问题,提出基于运动引导图卷积网络的人体动作识别方法.首先根据骨架序列提取其高级运动特征;然后在时间维度上学习运动相关图,并通过对预定义图和可学习图优化建模不同时期的关节依赖关系,即运动引导拓扑图;再利用运动引导拓扑图进行空间图卷积,将运动信息融合到空间图卷积以实现跨时空信息交互;最后交替使用时空图卷积,实现人体动作识别.在数据集NTU-RGB+D和NTU-RGB+D120上与MS-G3D等图卷积网络进行对比实验的结果表明,所提方法在NTU-RGB+D的跨对象和跨视角上的准确率分别提升到92.3%和96.7%,在NTU-RGB+D 120的跨对象和跨场景上的准确率分别提升到88.8%和90.2%.

基于STGCN算法的视频图像人体动作轮廓动态识别

人体动作轮廓在视频中的呈现具有多样性和连续性。人体动作不仅涉及到时间上的变化,还包括空间上的位置关系,受其姿势、速度、方向等影响。人体动作时空信息之间的关联难以充分捕捉,导致动作轮廓识别精度较低。为此,引入时空图卷积网络(STGCN)算法,提出一种视频图像人体动作轮廓动态识别方法。文中采用OpenPose模型从视频图像中提取描述关节点位置的置信图和描述人体关节间连接情况的二维矢量场,构建人体动作骨架图。结合视频帧时间序列组建人体动作骨架时空图,将其作为STGCN模型的输入,通过时空图卷积操作充分捕捉人体动作的时空特征后,采用Softmax层获取动态识别到的视频图像人体动作轮廓;并在STGCN模型中引入两种注意力模块,强化网络特征提取能力,提高动作轮廓识别精度。实验结果表明,所提方法可以有效实现视频图像人体动作轮廓的动态识别,引入的两种注意力模块对STGCN模型进行改进,可提升其动作轮廓识别效果。

基于骨架平衡的3D人体异常行为识别方法仿真

为提高对人体异常行为的识别精准度,提出基于3D骨架的人体异常行为识别算法优化方法。根据3D骨架结构信息,建立人体3D骨架模型,依据关节点的运动速度及坐标变化,提取各动作的相关运动特征。通过搭建概率协作分类器,完成对3D骨架对应行为的分类。针对动作行为识别表征向量建立对应分类识别模型,设定人体骨架平衡参数,在先验信息的基础上训练最优系数向量,建立异常行为模型库。根据任意运动特征分布特点,排除异常干扰数据,建立隶属度函数集合确定动作主次结构,计算出每个运动特征权重值,识别异常行为。实验结果表明,所提方法具备良好的识别性能,识别准确度高,延迟小。

基于关节点连接广度矩阵的颈椎康复运动识别

为提高颈椎康复动作识别的准确率与实时性,提出一种基于关节点连接广度矩阵的颈椎康复运动识别方法。在预处理阶段,首先从人体实时视频流数据中进行骨架提取;然后根据人体骨骼运动特点准确提取运动时人体骨架的特征信息,获取局部空间上的变化信息,利用广度优先搜索算法遍历骨架图内关节点,建立关节点连接广度矩阵,根据连接广度信息划分三角子图并为关节点分配权重,提高模型的识别效率;最后提取关节点连接广度矩阵的时空特征,通过SVM分类器完成识别。在颈椎康复运动数据集CRED和MSR Action 3D公开数据集上对该识别方法进行验证,实验结果表明,基于关节点连接广度矩阵的颈椎康复运动识别方法平均耗时为1.20 s,平均帧率为27,平均识别准确率为92.72%,与现有方法相比有一定优势。

基于骨架关键关节构建时空金字塔模型的人体行为识别

针对当前骨骼数据信噪比低及特征信息不足的问题,提出人体关键关节构建时空金字塔模型的动作识别方法。该算法利用人体骨架关键关节构建空间域金字塔特征,保留骨架铰链系统的空间结构;利用多层级叠加协方差,构建时序金字塔特征,解决需要预处理视频序列长度的问题。在MSR-Action3D和UTKinect数据集上的实验结果表明,该方法准确率高、实时性好,可广泛应用于行为识别的各个领域。

基于关键点运动轨迹建模的步态识别

步态信息作为一个新兴的生物特征,在医疗、刑侦等方面具有广泛的应用前景.研究者已经提出了很多种步态识别方法,但普遍存在适应性不强、特征描述过于复杂或缺乏可解释性等问题.针对此问题,首先,通过改进三帧差分完成对视频图像中人体轮廓的提取;然后,基于人体轮廓图获取人体骨架模型,通过骨架模型得到所需的人体关键点位置,并对视频图像中同一关键点的位置轨迹进行曲线建模;最后依据关键点轨迹曲线模型建立一种以模型参数作为步态特征向量的步态特征描述方法,并在此基础上选取合适的分类方法进行步态识别.实验结果表明,基于关键点运动轨迹模型的步态特征表达能够很好地描述步态信息,识别率也相对较高.

基于人-物交互关系检测的带电作业人员行为识别方法研究

为解决现有视频行为识别方法难以区分带电作业过程中某些相似行为、可识别行为种类少、未高效利用人员与物品间交互关系等问题,提出1种基于人-物交互关系检测的配网带电作业人员行为识别方法。利用轻量化姿态估计算法识别人员骨架序列,然后通过时空图卷积网络(spatial temporal graph convolutional networks,ST-GCN)提取人体运动的时空间特征并进行初步分类。对于由骨骼姿态无法有效区分的相似行为,采用目标检测算法识别人员所用工器具及使用状态,并通过融合人体动作与作业工器具所含行为信息,实现视频行为的精确识别。研究结果表明:该方法能有效识别带电作业行为,对相似行为的识别准确率约为88.9%,相较于现有基于骨架序列的带电作业人员行为方法提升约53个百分点。研究结果可为提高现场安全管控水平提供参考思路。

融合球空间下旋转角度编码的人体动作识别

针对现有的人体动作识别方法较多考虑骨架结构的坐标和位移等平移信息,较少关注代表骨架结构的运动趋势以及代表关节、骨骼运动方向的旋转信息,提出一种融合球空间下旋转角度编码的时空卷积神经网络方法。通过人体动作在三维球空间中的映射,获取具有尺度不变性的角度信息,提取其动态角速度信息作为角度编码,表征动作轨迹中关节点和骨骼边的旋转信息;构建了时空特征提取与共现模块来更好地捕获数据的时空特征;用合适的融合策略对平移特征和旋转特征进行运动特征融合。实验结果证明了旋转角度编码有利于提升运动表征的准确性,以及时空特征提取与共现模块的有效性。

基于时空注意图卷积的人体动作识别

针对基于骨骼数据的人体动作识别中关键节点及特征应用度不高的问题,构建一种基于时空图卷积和通道-空间联合注意力模块融合改进的人体动作识别系统。算法首先通过空间图卷积获得结构化特征,由通道-空间联合注意力模块强化关键节点和关键结构信息,再由时间图卷积获取高级时空特征,最后用全局池化层和softmax分类器得出识别结果。实验结果表明,在关键节点和结构特征得以强化的同时,也保留了原始特征信息。该算法在基于骨骼数据的人体动作识别上具有更高的精度。

基于自注意力图卷积网络的人体骨架行为识别

目前基于普通图卷积网络的方法主要依赖局部性的图卷积操作,限制了其对远距离关节间复杂关联的灵活捕捉能力。提出一种自注意力增强图卷积网络(Self-Attention Enhanced Graph Convolutional Network,SGNet),根据骨架数据的特性,对每个关节点的通道进行独立的全局性建模,即通道特定的全局空间建模(Channel-Specific Global Spatial Modeling,C-GSM),并行于局部空间建模(Local Spatial Modeling,LSM),以提取局部和全局的空间特征表示。在两个大型且具有挑战性的基准数据集NTU RGB+D和NTU RGB+D120上进行了广泛的实验研究。与最新相关方法的比较,SGNet表现得非常有竞争性,在NTU RGB+D X-Sub和NTU RGB+D120 X-Set上分别取得了92.9%和90.7%的最高准确率。