基于Transformer的三维人体姿态估计及其动作达成度评估

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了一个基于Transformer的三维人体姿态估计模型(TPEM),Transformer的引入能够更好的提取人体姿态的长时序特征;其次,利用TPEM模型对三维人体姿态估计结果,设计了基于加权3D关节角的动态时间规整算法,在时序上对不同人物同一动作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据集上进行实验验证,TPEM在Human3.6 M数据集上实现了平均关节点误差为37.3 mm,而基于加权3D关节角的动态时间规整算法在Fit3D数据集上的平均误差帧数为5.08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性和有效性。

预加权调制密集图卷积网络三维人体姿态估计

图卷积网络(GCN)日益成为三维人体姿态估计(3D HPE)的主要研究热点之一,使用GCN对人体关节点之间的关系建模的方法使三维人体姿态估计获得了良好的性能。然而,基于GCN的三维人体姿态估计方法存在过平滑和未区分关节点与相邻关节点重要性的问题。为解决这些问题,设计了调制密集连接模块(MDC)和预加权图卷积模块,并基于这两个模块提出了预加权调制密集图卷积网络的三维人体姿态估计方法(WMDGCN)。针对过平滑问题,调制密集连接通过超参数α和β更好地实现特征重用(超参数α表示第l层和之前各层总特征的权重比例,超参数β表示之前各层特征到第l层的传播策略),从而有效地提高特征的表达能力。针对未区分关节点与相邻关节点重要性的问题,使用预加权图卷积为当前关节点赋予更高的权重,并对当前关节点及其相邻关节点使用不同的权重矩阵,更有效地捕获人体关节点特征。Human3.6M数据集上的对比实验结果表明,该方法在参数量和性能上均取得了最佳性能,WMDGCN的参数量、MPJPE和P-MPJPE值分别为0.27 MB、37.46 mm和28.85 mm。

基于多层空间特征融合的三维人体姿态估计

在三维人体姿态估计任务当中,人体关节之间的连接关系形成了一种复杂的拓扑结构,利用图卷积网络对该结构进行建模,可以有效捕捉局部关节间的联系;尽管不相邻关节之间没有直接的物理连接,但由于人体的运动和姿态受到生物力学约束以及人体关节之间的协同作用,利用Transformer编码器建立关节之间的上下文关系,可以更好地推断出人体姿态;在大模型的背景下,如何在保证模型性能的同时,降低参数量,也显得尤为重要.针对上述问题,设计了一个基于图卷积和Transformer的多层空间特征融合网络模型(MLSFFN),在使用相对少量的参数基础上,有效地融合了局部和全局空间特征.实验结果表明,本文提出的方法在仅需2.1M参数量的情况下,在Human3.6M数据集上达到了49.9 mm的平均每关节误差(MPJPE).此外,模型在MPI-INF-3DHP数据集上也展示出了较强的泛化能力.

基于双循环Transformer的三维人体姿态估计

针对视觉传感器采集到的图像进行三维人体姿态估计,提出一种双循环Transformer网络模型,有效地从二维关键关节点中提取时空维度高相关性特征,增大感受野,从而提高三维姿态估计的精度。通过在视觉传感器采集得到的公开数据集Human3.6M上的仿真实验,验证了双循环Transformer算法的性能。分析结果表明,最终估计得到的三维人体关节点的平均关节点位置偏差MPJPE(Mean Per Joint Position Error)为41.6 mm,相比于现有方法有一定提升,可以应用到许多下游相关工作中,有着较强的应用价值。

空间注意力与位置优化的三维人体姿态估计域适应算法

现有三维人体姿态估计器在单个数据集上表现较好,但受限于训练数据姿态结构的单一,其在跨域实验上的泛化性不足。现有方法通过增加姿态多样性来弥补该缺陷,然而这些方法生成的新姿态缺乏真实有效性且姿态全局位置的分布与目标数据集仍存在显著差距。针对上述问题,提出一种基于生成对抗网络(GAN)的空间注意力与全局位置优化的三维人体姿态估计域适应算法。算法引入空间节点注意力模块约束生成器产生更自然的人体姿态,并结合姿态位置修正模块促使生成姿态向目标数据域对齐,从而解决以上域适应问题。此外,为了提升估计器训练的稳定性,提出一种端到端随机混合的训练策略,使姿态估计器可兼顾新旧数据信息的学习。作为一种生成式的域适应方法,该算法可以高效地应用于各种二阶段三维人体姿态估计器。通过跨场景实验与跨数据集实验,结果表明所提算法在多个基准数据集上的表现均达到当前最佳。其中在3DHP数据集中,该方法MPJPE与AUC指标相比最优工作优化了1.7%和1.4%,验证了所提算法可有效提高三维人体姿态估计器的泛化性。

融合Transformer和语义图卷积的三维人体姿态估计方法

为了进一步提升从单目二维人体姿态预测三维人体姿态的方法性能,提出一种融合Transformer和语义图卷积的三维人体姿态估计模型,模型由4个部分组成,Transformer编码网络、语义图卷积编码网络、姿态坐标预测模块和姿态坐标错误回归模块。首先,Transformer编码网络对关节特征进行全局特征编码,以增强人体姿态的全局关联性。其次,语义图卷积编码网络专注于局部关节特征提取,以加强局部关节特征之间的关联性。接下来,姿态坐标预测模块和姿态坐标错误回归模块将关节全局和局部编码特征融合,以增强对三维姿态的准确建模能力。通过在Human3.6M数据集上进行实验表明,方法在估计性能方面取得了较好的改进,以真实的二维人体姿态作为输入,在MPJPE和PA-MPJPE值分别为32.7和25.9 mm,与实验对照方法相比,性能分别提升了3.82%和1.14%。

基于TM-Net网络估计的三维人体姿态运动监测算法

针对三维人体姿态估计的便捷性与准确性提升需求,提出一种基于TM-Net网络估计算法。该算法以MediaPipe为中心,融合帧率计算、动作检测、动作计数和真实坐标解析等多功能模块,实现对人体运动的精准检测与计数。针对公共数据集LSP(Leeds Sports Pose)和自建校园健身房运动数据集使用关键点的正确性概率(Probability of Correct Keypoint,PCK)、关节位置误差平均值(Mean Per Joint Position Error,MPJPE)和普罗克鲁斯对齐后的平均关节位置误差(Procrustes-Aligned Mean Per Joint Position Error,PA-MPJPE)等指标对该算法进行评估,并与目前先进的TP-3D网络估计算法进行对比。结果表明,TM-Net具有更高的准确率。此外,以开合跳为例进行消融实验,结果表明,TM-Net具有更强的泛化能力,能适应不同个体及拍摄角度的变化,满足了运动监测的实际需求。

改进的三维人体姿态估计算法

针对目前三维人体姿态由于遮挡、姿态复杂等预测不准确的问题,提出了一种改进的三维人体姿态估计算法以获得准确的三维人体姿态,提高人体姿态估计性能.本文采用时空图注意力卷积网络中的图注意力块来构建整个网络,在此基础上对全局多头图注意力部分的网络结构进行改进,使节点间更好传播和融合信息,捕获图中没有显式表示的语义信息.同时引入运动学约束,在MPJPE损失的基础上,加上骨骼长度损失.通过对局部和全局的空间节点信息建模,实现对局部运动学连接、对称性和全局姿态的人体骨骼运动学约束的学习.通过实验证明,本文改进后的模型有效地提高了人体姿态估计性能,在Human3.6M数据集上相较于原始模型,实现了1.8%的平均关节位置误差(MPJPE)提升和1.3%的预测关节与真值关节刚性对齐后的平均关节位置误差(P-MPJPE)提升.

融合图卷积与Transformer的三维人体姿态估计网络

两阶段的3D人体姿态估计方法因先进的2D姿态检测器而取得了显著进步,但深度信息的歧义性仍使这项任务极具挑战性。为解决此难题,提出了MGCNTrans的3D人体姿态估计网络。该方法采用2D-3D的提升策略。MGCNTrans网络融合了Transformer网络和空间通道图卷积网络的优势。该模型以多帧数据为输入,利用周围帧的信息来约束当前帧的姿态估计。在特征学习方面,图卷积网络被用于学习人体关节之间的物理连接关系,捕捉局部的空间特征。而Transformer网络则挖掘关节之间的隐式关系,提供全局的上下文信息。为提升模型性能,图卷积层融合了空间层和通道层,促使节点在局部和全局范围内更好地进行交互,增加特征多样性,并更准确地估计人体姿态。结果表明,MGCNTrans网络在3D人体姿态估计任务上取得了优越性能,证明了其有效性和先进性。

基于全连接神经网络的三维人体姿态估计

人体姿态估计是计算机视觉领域的重要分支,在实践中有广泛应用,例如:智能交通、安防监控、影视娱乐、司法分析等。现有的三维人体姿态估计算法大多来源于二维人体姿态估计算法的扩展,其识别结果是以三维关节点、线的形式来体现,无法展示更多的人体细节信息,且表达形式比较抽象,难于理解。为解决这个问题,本文引入了参数化人体模型(SMPL),该模型可以实体化的展示三维人体姿态。本文通过二维图像预测人体的三维姿态,该过程分为3个阶段,首先从多角度二维图像中预测人体关节点的二维坐标,然后基于全连接神经网络实现二维关节点到SMPL模型参数的映射,最后根据这些参数构建三维SMPL模型,以展示三维人体姿态。实验表明,本文通过从图像中提取二维关节点坐标,并以此为全连接神经网络的输入,可以快速、准确的估计出人体三维姿态。相比从二维图像直接估计三维人体姿态的方法,本文的模型降低了训练参数,简化了网络结构,加快了模型训练的速度,节约了训练成本。

三维人体姿态估计研究综述

三维人体姿态估计在本质上是一个分类问题和回归问题,主要通过图像估计人体的三维姿态。基于传统方法和深度学习方法的三维人体姿态估计是当前研究的主流方法。按照传统方法到深度学习方法的顺序对近年来三维人体姿态估计方法进行系统介绍,从而了解传统方法通过生成和判别等方法得到人体姿态的众多要素完成三维人体姿态的估计。基于深度学习的三维人体姿态估计方法主要通过构建神经网络,从图像特征中回归出人体姿态信息,大致可以分为基于直接回归方法、基于2D信息方法和基于混合方法的三维人体姿态估计这三类。最后对当前三维人体姿态估计研究所面临的困难与挑战进行阐述,并对未来的研究趋势做出展望。

基于双Kinect传感器的三维人体姿态跟踪方法

三维人体姿态估计与跟踪是机器视觉中的热点问题。为了提高人体姿态跟踪的稳定性,以人体关节点自由度向量的方法表示人体运动姿态,使用无迹卡尔曼滤波方法对人体姿态进行跟踪,并搭建了一套基于双Kinect传感器的人体姿态跟踪系统。对比于传统的人体运动捕捉系统,该系统可实现在简单动作下准确稳定的三维人体姿态跟踪,在复杂动作下反映运动过程的特殊性质,并用于运动生物力学的性能评估。

深度学习的三维人体姿态估计综述

三维人体姿态估计的目的是预测出人体关节点的三维坐标位置和角度等信息,构建人体表示(如人体骨骼),以便进一步分析人体姿态。随着深度学习方法的不断推进,越来越多的基于深度学习的高性能三维人体姿态估计方法被提出。然而由于图片的人体遮挡、训练规模需求较大等原因,三维人体姿态估计仍然存在挑战。该研究目的是通过对近年来的多篇研究论文进行回顾,分析和比较这些方法的推理过程和核心要素,从不同输入的角度入手,全面阐述近年来基于深度学习的三维人体姿态估计方法。此外,还介绍了相关数据集和评价指标,在Human3.6M、Campus和Shelf数据集上对部分模型进行实验数据比对,分析对比实验结果。最后,根据本次调查的结果,讨论目前三维人体姿态估计所面临的困难和挑战,对三维人体姿态估计的未来发展进行了探讨。

基于视频的三维人体姿态估计

已有的三维人体姿态估计方法侧重于通过单帧图像来估计人体的三维姿态,忽略了视频中前后帧之间的相关性,因此,通过挖掘视频在时间维度上的信息可以进一步提高三维人体姿态估计的准确率。基于此,设计了一种可以充分提取视频时序信息的卷积神经网络结构,在获得高精度的同时也具有消耗计算资源小的优点,仅仅使用二维关节点的坐标为输入即可恢复完整的三维人体姿态。然后提出了一种新的损失函数利用相邻帧间人体姿态的连续性,来改进视频序列中三维姿态估计的平滑性,同时也解决了因缺少帧间信息而导致准确率下降的问题。通过在公开数据集Human3.6M上进行测试,实验结果表明本文方法相比目前的基准三维姿态估计算法的平均测试误差降低了1.2 mm,对于视频序列的三维人体姿态估计有着较高的准确率。

基于CNN的三维人体姿态估计方法

针对传统三维人体姿态估计受遮挡限制的问题,提出一种基于卷积神经网络(CNN)的三维人体姿态估计方法。首先,实验模型系统采用了几段单目视频为输入源进行人体姿态识别。相对于传统的人体姿态估计方法,改进了一种顺序化的卷积神经网络用于提取人体空间信息和纹理信息。并通过对视频中人体的二维姿态估计,找出了人体头部和四肢关节点的精确位置。最后,通过投影关节点到三维空间,估计出每个人的三维姿态。实验结果表明,本文方法相比传统的姿态估计算法在人体行为上的测试平均误差从98.53 mm降低至92.88 mm,对于视频中的人体三维姿态估计有更优的精度。

基于深度学习的三维人体姿态估计技术

基于视觉的人机交互技术通过捕捉识别身体语言为人们提供更加灵活便捷的交互方式,是人工智能与自然人机交互领域极具价值的研究内容。基于深度学习的三维人体姿态估计技术作为底层基础技术,对基于视觉的人机交互技术的快速发展与广泛应用起到了重要的推动作用。本文首先概述三维人体姿态估计技术的基本概念与主要挑战,并对不同方法进行分类,随后分别介绍使用RGB图像以及RGB-D图像进行三维姿态估计的深度学习技术,最后介绍这些技术的典型应用及未来的发展趋势展望。

基于语义图卷积神经网络的三维人体姿态估计

三维人体姿态估计是计算机视觉领域的重要分支,由于深度模糊和自遮挡等问题,现有的三维人体姿态估计方法的准确率较低。因此,在适用于处理人体骨架数据的语义图卷积的基础上,提出了改进的语义图卷积算法,为了提高网络的信息处理能力,提出了一种使用改进的语义图卷积层将特征映射到高维度潜空间并融合不同特征通道信息的网络结构,并在网络末尾添加姿势细化层提高网络的鲁棒性。通过在公开的三维姿态估计数据集Human3.6M上进行实验,并与目前流行的三维姿态估计方法进行对比,验证上述算法有着较高的准确率。

基于3D heatmap的人体三维姿态估计方法

针对肢体间自遮挡和物体遮挡造成的关节位置信息缺失问题,提出了一种基于3D heatmap的三维姿态估计方法。首先,采用卷积神经网络对人体二维关节点热图heatmap进行提取,并根据各摄像头间的外参数构建人体各关节点的初始3D heatmap;然后,利用人体扫描与建模获得的人体模型先验信息,采用期望最大化算法,迭代优化获得最符合人体模型的关节点在空间的位置分布。最后利用Human3.6M数据集进行验证。结果表明:在部分视图存在遮挡的情况下,可获得高精度的三维关节点位置。

基于时空多特征融合网络的三维人体姿态估计

目前,常见的三维(3D)人体姿态估计算法在表征学习上取得很好的效果,但是在人体骨架关节点处依然存在估计精度不佳等问题,因此,如何从单目RGB图像中利用冗余的二维(2D)姿态序列时空信息来估计人体姿态的有效方式是一个研究的难点。本文提出一种基于时空多特征融合网络的三维人体姿态估计算法,具体是结合一种图像外观信息和运动时序信息时空多特征融合层级方法,该方法利用一种紧凑的卷积神经网络(convolutional neural network, CNN)学习时空信息将二维关节点位置信息建模为三维关节点位置。实验结果表明,本文所提出的方法能实现较为先进的端对端姿态估计精度,而且不需要任何后处理阶段的姿态优化方法,本文得到的姿态估计在平均精度上得到有效的提升,证明本文方法能够有效提高人体姿态估计的准确性。

基于骨架的三维人体姿态估计研究综述

基于骨架的三维人体姿态估计近年来已成为计算机视觉领域的热点问题,旨在从图片或视频中估计人体的三维姿态。得益于深度学习的迅猛发展,大大推动了三维人体姿态估计的研究发展。目前,主要通过构建不同的深度神经网络,从图像和视频中回归得到三维人体姿态,根据表示方法的不同,大致可分为:基于直接回归的方法、基于二维姿态的方法和基于混合方法的三维人体姿态估计。随着研究深入,对缺少自然场景数据和深度模糊等问题的研究也越来越多,本文也对该方面研究进行了归纳总结。