3D Vector Reconstruction of the Neck Skeleton from the Anatomical Sections of Korean Visible Human at the Anatomical Laboratory of Paris Descartes

Aim: To perform a vector 3D reconstruction of the neck skeleton from the anatomical sections of the “Korean Visible Human” for educational purposes. Material and Methods: The anatomical subject was a 33-year-old Korean male who died of leukemia. It measured 164 cm and weighed 55 kgs. The anatomical cuts were made in 2010 after an MRI and a CT scan. A special saw (cryomacrotome) made it possible to make cuts on the frozen body of 0.2 mm thick or 5960 slices. Sections numbered 1500 to 2000 (500 neck sections) were used for this study. Manual contouring segmentation of each anatomical element of the anterior neck area was done using Winsurf software version 3.5 on a PC. Results: Our vector 3D neck model includes the following: cervical vertebrae, hyoid bone, sternum manubrium and clavicles. This vector model has been integrated into the virtual dissection table Diva3d, a new educational tool used by universities and medical schools to learn anatomy. This model was also put online on the Sketchfab website and printed in 3D using an ENDER 3 printer. Conclusion: This original work is a remarkable educational tool for the study of the skeleton of the neck and can also serve as a 3D atlas for simulation purposes for training therapeutic gestures.

基于人体骨架和深度学习的教师体态语言智能测评

深度学习技术与教师教育融合创新,可赋能教师教学体态语言行为精准测评。针对教师体态语言人工视频分析技术滞后问题,本研究采用人物目标检测、目标追踪和体态骨架图生成三种方法,创建真实教学情境下基于人体骨架图的专家型教师标准体态语言数据集,使用金字塔卷积模块优化ResNet50残差网络,构建金字塔残差神经网络模型,并基于数据集开展识别模型的训练、验证和测试实验。结果显示,体态语言识别模型的准确率、精确率和召回率均达到95%以上,识别准确率由高到低依次为工具性体态语言、巡视性体态语言、指示性体态语言、常规性体态语言、描述性体态语言。本研究基于上述训练良好的模型,开发教师体态语言智能感知测评系统,提出教师体态语言特征的人体骨架表征方法、教师体态语言数据集创建方法及智能识别神经网络模型构建方法,构建了大数据驱动的教师课堂体态语言智能测评方法体系。

基于改进时空图卷积神经网络的钻杆计数方法

针对现有钻杆计数方法存在劳动重复、计数误差较大、未考虑动作的时序信息等问题,提出了一种基于改进时空图卷积神经网络(MST-GCN)模型的钻杆计数方法。首先,通过矿用监控摄像头获取井下打钻视频数据,采用Alphapose算法在图像序列中提取人体的关键点信息,得到单帧图像上的人体骨架和连续图像序列上的骨架序列数据,进而构建表征人体动作的骨架序列;然后,在时空图卷积神经网络(ST-GCN)模型的基础上设计了MST-GCN模型,采用远空间分区策略关注骨架上距离较远的关键点运动信息,通过注意力机制网络SENet融合原空间特征与远空间特征,从而有效识别骨架序列上的动作类别;最后,在打钻视频上利用支持向量机辨识打钻姿势来决定是否保存骨架序列,若骨架序列长度保存到150帧则使用MST-GCN模型识别动作类别,并根据实际打钻时间设置相邻动作的识别间隔,从而记录动作数量,实现钻杆计数。实验结果表明:在自建的数据集上,MST-GCN模型的识别准确率为91.1%,比ST-GCN、Alphapose-LSTM和NST-GCN动作识别模型的准确率分别提升了6.2%,19.0%和4.8%,模型的损失值收敛在0.2以下,学习能力更强。在相同条件的打钻视频上,MST-GCN模型、人工方法和改进ResNet方法的平均误差依次为0.25,0.75,21次,说明MST-GCN模型的计数效果更好。在真实打钻1300根的现场应用中,MST-GCN模型的平均误差为9根,误计数结果低,能够满足实际需求。

基于人体骨架的国标舞蹈动作相似度计算研究

针对目前传统舞蹈教学过程中基本通过专业舞蹈教师对舞蹈动作的标准与否进行主观判断,缺少客观评价指标的现状,采用人体骨架模型分别对图像中国标舞学习者的舞蹈动作和标准舞蹈动作计算人体关键点坐标,再计算学习者舞蹈动作和标准舞蹈动作之间的相对偏移角度,根据得到的相对偏移角度设计评估学习者舞蹈动作是否标准的客观评估指标,通过该客观评估指标的量化数据判断学习者舞蹈动作的标准程度,并提出最终的舞蹈动作修正建议。在实拍舞蹈动作图像上的仿真结果表明,该方法所得客观评价结果与主观评价结果相一致,对于实时判断国标舞学习者动作标准程度有着良好的效果。

Compound Hidden Markov Model for Activity Labelling

This research presents a novel way of labelling human activities from the skeleton output computed from RGB-D data from vision-based motion capture systems. The activities are labelled by means of a Compound Hidden Markov Model. The linkage of several Linear Hidden Markov Models to common states, makes a Compound Hidden Markov Model. Each separate Linear Hidden Markov Model has motion information of a human activity. The sequence of most likely states, from a sequence of observations, indicates which activities are performed by a person in an interval of time. The purpose of this research is to provide a service robot with the capability of human activity awareness, which can be used for action planning with implicit and indirect Human-Robot Interaction. The proposed Compound Hidden Markov Model, made of Linear Hidden Markov Models per activity, labels activities from unknown subjects with an average accuracy of 59.37%, which is higher than the average labelling accuracy for activities of unknown subjects of an Ergodic Hidden Markov Model (6.25%), and a Compound Hidden Markov Model with activities modelled by a single state (18.75%).

应用于增材制造的连续运动捕捉方法

针对增材制造中出现的三维模型连续运动高速捕捉情况下丢帧的问题,本文提出了一种连续运动捕捉的新方法。该方法的主要内容是:首先基于多视点视频序列得到两个非同构的静态模型,用联合骨架优化方法自动提取两个模型的骨架结构;然后在最短测地线路径约束下插值出中间动作骨架;接着建立变形距离场DDF来调整表面细节过渡;最后对插值点云进行双边滤波和泊松重建。该方法能自然并准确地捕捉快速和大跨度的动作,速度快,精度高。实验的结果表明,采用该方法基本满足各种运动序列高速捕捉时的有效性和实用性。

结合自适应图卷积与时态建模的骨架动作识别

图卷积神经网络在基于三维骨架数据的人体动作识别中得到了广泛的应用,自适应图卷积可以有效地学习和反映不同动作数据内部的相对位置关系,用于提取空间特征。在时间特征方面,多数方法通过叠加多层一维局部卷积来提取相邻时间步长之间的时间关系,而忽略了非相邻时间步长的关键时间信息。因此,提出一种结合自适应图卷积与多尺度时态建模的动作识别模型。其中,自适应图卷积以端到端的方式学习不同卷积层和数据样本的图拓扑结构,增加了图建模的灵活性;多尺度时态建模构建相邻时间步长和非相邻时间步长之间的时态关系,充分提取了骨架序列的时间动态特征。结果表明,与主流算法相比,该模型在NTU RGB+D和NTU RGB+D 120基准数据集上的准确率均有较大提升。

适用于单目视频的无标记三维人体运动跟踪

在无标记人体运动跟踪过程中,由于被跟踪目标缺乏明显的特征以及背景复杂而使得跟踪到的人体运动姿态与真实值偏差较大,不能进行长序列视频跟踪.针对这一现象,提出一种基于形变外观模板匹配进行单目视频的三维人体运动跟踪算法,其中所用的人体外观模型由三维人体骨骼模型及二维纸板模型组成.首先根据人体骨骼比例约束采用逆运动学计算出关节旋转欧拉角;然后利用正向运动学求得纸板模型中像素在三维空间中的坐标,将这些像素根据摄像机成像模型投影到二维图像中得到形变外观模板;最后采用直方图匹配得到人体运动跟踪结果.实验结果表明,该算法对于一些复杂的长序列人体运动能够得到较为理想的跟踪结果,可应用于人机交互和动画制作等领域.

虚拟人骨骼结构的多刚体系统建模方法研究

提出了一种虚拟人骨骼结构的多刚体系统模型,可有效地克服DH表示法只能适用于单链结构的缺陷.首先通过合理的简化与假设,给出了一种16关节、39自由度的虚拟人简化模型;然后将该虚拟人模型抽象成为一个各肢体间通过机械转动铰相连的多刚体系统;最后引入树模型与低序体阵列来表达虚拟人的骨骼结构.分析结果表明,文中方法除能够自然地表达虚拟人的复杂分支结构外,还可以容易地实现虚拟人模型的任意分辨率扩展,并具备递归计算的优点,具有广泛的适用性.

基于人体特征三维人体模型的骨架提取算法

实现骨骼动画的一个前提是获取人体模型的骨架,现有的骨架提取算法不是计算复杂度高,就是提取准确度不高,或者需要手工干预。提出一种基于人体特点和黄金比例律的人体模型骨架提取算法,首先对模型进行精简,然后根据人体的特点与黄金比例律确定模型关节点的大概位置,在此基础上对模型进行分割。由于人体存在个体差异且姿势也可能不一致,采用测地距离方法对关节点的位置进行修正,确定其位置。与现有的算法相比,本方法效率高,同时实验显示本算法具有更好的骨架提取效果。

个性化虚拟人体模型骨架生成方法

采用基于自动化骨架匹配和可视化骨架编辑的方法 ,可以方便地完成个性化的骨架建模 首先定义一个标准的虚拟人骨架模板 ,通过骨架模板与人的几何模型的自动匹配 ,得到初始的骨架模型 ;然后利用可视化的骨架编辑工具 ,就可以很容易地生成个性化的虚拟人骨架 实验表明 :该方法可以快速、简单地生成精确的个性化的骨架模型 。

人体运动捕捉及运动控制的研究

在论述了几种方式的人体运动捕捉的基础上,介绍了光学运动捕捉的关键技术,包括摄像机标定、标记点跟踪和三维重建技术。无标记点的运动捕捉是新兴的技术,它将捕获的图像进行分割并分析,然后用多种约束算法进行三维重建。基于运动捕捉的人体运动控制相关文献很少,文中列举了现有各种应用运动捕捉数据的方式,包括基于关键帧、运动学和物理模型等的应用。论文对运动捕捉及运动控制技术进行了总结,可为此领域的研究提供有用的信息。

人体运动数据重构方法进展

运动捕捉系统产生的人体运动数据是标记点在运动序列中的位置数据,用于驱动人体模型产生真实感的动画。在对近几年有关人体运动数据重构的文献进行综合和分析的基础上,首先对人体运动数据重构进行了问题描述,并对人体运动数据在重构过程中难以避免的噪声问题和特征点(虚拟空间中的标记点)缺失问题的研究分别进行了总结和分析;然后对人体运动数据获取的光学式原型捕捉系统开发的研究进行了讨论,评述了人体运动数据驱动人体几何模型的相关研究;最后对未来研究提出了一些展望。

三维人体模型的个性化调节及平滑处理研究

针对网上虚拟试衣系统的应用特点,基于模型重用的思想,通过调节标准人体模型关键人体参数获得具有个性化特征的人体模型。提出了基于偏移量的骨架调节算法,提高了个性化调节的灵活性。对于调节过程中可能产生的突变噪声及局部异常变形问题,提出了一种比例差异边界查找法和改进的中值滤波算法对其进行平滑处理,最后的实验结果验证了调节算法及平滑处理的有效性,生成的模型,符合虚拟试衣系统应用要求,具有较大应用前景。

基于CT图像建立人体足部骨骼三维有限元模型的研究

讨论了建立人体足部骨骼有限元模型的必要性;针对其形状复杂、数量多、体积小和关节多的特点,分析探讨了基于2 mm层厚的CT图像建立人体足部骨骼三维有限元模型的主要途径。介绍了从CT扫描图像提取骨骼边缘轮廓数据,再分别采用不同的CAD软件建立骨骼轮廓线模型和三维实体模型,最后在ANSYS中建立完整的三维人体足部骨骼有限元模型的过程和结果,并且讨论了利用IGES文件实现不同软件之间的模型转换的有关问题。

一种姿态无关的人体模型骨骼提取方法

随着三维扫描技术的逐渐成熟,三维人体扫描模型的骨骼提取逐渐成为虚拟人建模研究领域的热点之一.现有的三维人体模型骨骼提取方法,存在手工标注任务繁重、对模型姿态过于敏感、计算结果不准确等问题.提出了一种新的三维人体模型的骨骼提取算法:首先,根据Morse原理,将测地距离作为Morse函数的要素,实现姿态无关的人体模型特征点以及拓扑结构的提取;其次,将测地距离等值面作为基础数据,采用截面似圆性判别准则提取模型关节中心所在等值面,从而获得关节中心的准确结果.实验结果表明,与已有算法相比,该方法具有模型姿态无关、计算结果准确等特性,并且能够完全自动地提取三维人体扫描模型的骨骼.

基于Poser的个性化人体模型运动仿真技术研究

根据服装工业对数字化动态人体模型的需要,提出了一种建立人体动态模型的新方法。该方法针对特定人体的三维扫描数据,用逆向工程软件GeomagicStudio实现个性化的三维人体NURBS曲面模型的构建,将完成后的人体曲面模型导入Poser软件,利用人体特征点确定关节位置,建立相应的人体骨骼模型,并将人体表面模型与骨骼模型相匹配,实现人体运动仿真。实验证明,所建立的人体动态模型在外观形状和运动姿态上具有较高的真实性,操作简便,易于掌握。

一种人体运动骨骼提取和动画自动生成方法

现有的动画生成方法存在手工操作繁琐、模型姿态受局限等问题.提出了一种新的人体模型动画自动生成方法,首先自动提取和识别位于人体四肢和头顶末端的5个特征点,以特征点为起点,计算模型等测地线的中心线.在中心线上根据人体测量学知识,确定关节点的近似位置,然后根据人体骨骼刚性运动特征和运动数据文件提供的骨骼信息,进行关节点精确定位,再通过热力学扩散方程计算顶点权重最后将提取的骨骼采用局部坐标架对齐的方法实现与运动数据匹配,并以运动数据驱动皮肤产生人体动画实验结果表明,与现有算法相比,具有与模型姿态无关、全自动、产生动画效果好等特点.

基于矢状面和神经网络的三维人体骨架提取

不同姿态的人体模型易对骨架提取算法产生干扰。为此,提出一种新的骨架提取算法。该算法通过将人体模型矢状面深度信息和改进Hopfield神经网络相结合的方式,引入一种网络输入输出函数,对传统的人体骨架提取算法进行改进,使网络收敛速度明显加快。通过特征点的深度信息决定点对差异的方式,使网络成功地避免局部极小点,同时减少网络的运行时间。实验结果表明,该算法在定位骨架特征点处的误差明显小于传统算法,且缩短了算法的运行时间。该算法对人体骨架提取的效果更好。

一种虚拟人动作及面部表情的驱动机制

骨骼驱动变形是一种保持皮肤和骨骼无缝连接的仿真方法,本文基于人体几何模型和动作数据,采用骨骼变形技术和姿态变形方法,研究建立了一种实时驱动虚拟人运动以及生成面部表情的方法。以开源三维渲染引擎O-GRE为平台,开发了基于参数控制的人体运动仿真平台,实现了人体运动的建模和实时可视化仿真。