基于三维姿态估计的虚拟角色运动控制方法

随着虚拟制作在电影、游戏、直播等各个领域的广泛应用,虚拟角色控制方法成为当前研究热点之一。本文将人工智能动作提取与游戏引擎实时交互相结合,研究一种更加高效的虚拟角色运动控制方法,借助三维姿态估计算法,基于视频影像提取动作数据,将其与虚拟角色绑定,实现实时动作驱动,并通过实验梳理了使用流程及操作要点。该方法不依赖于价格高昂的动作捕捉设备,操作便捷、成本低廉,能够有效服务于虚拟预演等应用场景。

激光雷达目标三维姿态估计

针对现有激光雷达目标姿态估计算法对遮挡较为敏感的问题,提出了一种新的三维姿态估计算法。分析了现有算法的内在本质和地面装甲目标固有的表面结构特性,提出了投影点云密度熵(PDE)特征,研究了PDE特征与目标姿态的内在关系,给出了对目标点云迭代地进行旋转投影并寻找PDE最小值以实现三维姿态估计的方法。采用25类地面装甲目标的激光雷达点云数据进行仿真实验,分析了自遮挡、遮挡以及噪声下的估计性能,讨论了参数选择对估算结果的影响。实验结果表明,本文方法在自遮挡下的估计误差小于3°,在遮挡率达到80%时的估计误差小于10°。实验显示,本文方法对遮挡和噪声具有很强的稳健性,且收敛迅速,能很好地实现激光雷达目标三维姿态估计。

基于栅格粒子滤波的人体头肩三维姿态估计

为了实现单目视频中人体头部和肩部位置的自动跟踪,并估算出人体头肩部的三维姿态.提出了一种新的基于头-肩三维模型的栅格粒子滤波方法,使用Chamfer距离进行边缘相似性度量.算法使用一个预先生成的离散化的栅格状态空间,在每一个时间步将该状态空间的一个较小的子空间作为粒子的搜索空间,有效地限制了所用粒子数量,提高了粒子滤波过程的执行效率.由于三维信息的缺失,单目视频中人体三维姿态估计一直是一个难点问题.而实验结果表明,本方法能够有效并准确地估计出人体头肩部的三维姿态,为人体姿态分析和行为理解的研究提供了一个新的基础.

基于3D heatmap的人体三维姿态估计方法

针对肢体间自遮挡和物体遮挡造成的关节位置信息缺失问题,提出了一种基于3D heatmap的三维姿态估计方法。首先,采用卷积神经网络对人体二维关节点热图heatmap进行提取,并根据各摄像头间的外参数构建人体各关节点的初始3D heatmap;然后,利用人体扫描与建模获得的人体模型先验信息,采用期望最大化算法,迭代优化获得最符合人体模型的关节点在空间的位置分布。最后利用Human3.6M数据集进行验证。结果表明:在部分视图存在遮挡的情况下,可获得高精度的三维关节点位置。

基于距离感知自上而下的多人三维姿态估计

人体姿态估计是计算机视觉领域的一个热门研究方向。人体姿态估计的技术发展已有一段时间,相关的方法已经提出比较多,这些方法基本都局限于单人的三维姿态处理。在大多场景下,三维运动形态呈现多人交互的情况,所以多人姿态估计的问题需要处理。随着深度学习的理论发展,该文提出基于距离感知自上而下深度学习,处理多人三维姿态估计的问题。

基于加权局部梯度直方图的头部三维姿态估计

在实时估计人的头部三维姿态时,基于局部梯度方向直方图的面部特征表示方法容易受到背景和环境的影响,其检测精度无法满足实际需求。为了减少图像或视频序列中背景和环境的影响,提出了一种新的对面部特征进行描述的方法,即基于肤色权值和高斯权值加权的局部梯度方向直方图特征表示方法。在具体计算时,首先进行人脸检测并将人脸区域缩放到统一大小,然后计算人脸区域每个像素点对应的梯度方向,接着计算肤色权值并利用肤色权值和高斯权值对梯度方向进行加权得到加权局部梯度方向直方图,从而强化面部特征在直方图中的比重,有效减小背景对头部三维姿态估计的影响,最后利用非线性支持向量回归机求解加权局部梯度方向直方图与头部三维姿态之间的关系。实验结果表明:该特征表示方法具有更高的检测精度。

基于Transformer的三维人体姿态估计及其动作达成度评估

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了一个基于Transformer的三维人体姿态估计模型(TPEM),Transformer的引入能够更好的提取人体姿态的长时序特征;其次,利用TPEM模型对三维人体姿态估计结果,设计了基于加权3D关节角的动态时间规整算法,在时序上对不同人物同一动作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据集上进行实验验证,TPEM在Human3.6 M数据集上实现了平均关节点误差为37.3 mm,而基于加权3D关节角的动态时间规整算法在Fit3D数据集上的平均误差帧数为5.08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性和有效性。

基于单-多视图优化的足球球员三维姿态和体型估计

足球比赛场景的三维重建有助于观众自由切换视角,增加了互动性和沉浸感。针对足球比赛场景中的足球球员,提出一种三维姿态和体型估计方法。对球员的多视图图像使用训练好的部分注意力回归的三维人体估计(PARE)模型生成初始的三维姿态和体型估计,并使用人工标注的二维关节点作为优化目标。单-多视图优化操作利用蒙皮多人线性模型(SMPL)和正交投影的可微性,将球员的三维姿态和体型参数映射到二维关节点,计算其与人工标注之间的差异,再使用神经网络的反向传播算法更新三维姿态和体型参数,持续这些过程直到差异最小化。在自建的足球球员多视图数据集上的实验结果表明,该方法能够有效估计足球球员的三维姿态和体型,与人体网格恢复、在循环中优化SMPL、PARE等方法相比,二维关节点精度在单视图上提高了9.2%~37.5%,在多视图交叉验证中提高了34.9%~54.1%。

基于RGB图像的三维人手姿态估计技术综述

鉴于RGB相机在虚拟现实头盔等移动计算设备中的普遍性,基于RGB图像的三维人手姿态估计技术具有广阔的应用前景和研究价值,近年来已成为计算机视觉领域的一个研究热点.得益于深度学习技术的快速发展,与之相关的三维人手姿态估计算法层出不穷.文中回顾和总结了三维人手姿态估计技术.首先简述了三维人手姿态估计的相关工作,指出了其当前面临的挑战;然后梳理了基于RGB图像的三维人手姿态估计算法,对现有的基于参数模型方法和非参数模型方法进行了讨论,分析了每类算法包含的技术方法以及优缺点;之后总结了相关的三维手数据集与评价标准,并比较了每类算法在常用数据集上的表现;最后探讨了该技术的发展前景.

基于多层空间特征融合的三维人体姿态估计

在三维人体姿态估计任务当中,人体关节之间的连接关系形成了一种复杂的拓扑结构,利用图卷积网络对该结构进行建模,可以有效捕捉局部关节间的联系;尽管不相邻关节之间没有直接的物理连接,但由于人体的运动和姿态受到生物力学约束以及人体关节之间的协同作用,利用Transformer编码器建立关节之间的上下文关系,可以更好地推断出人体姿态;在大模型的背景下,如何在保证模型性能的同时,降低参数量,也显得尤为重要.针对上述问题,设计了一个基于图卷积和Transformer的多层空间特征融合网络模型(MLSFFN),在使用相对少量的参数基础上,有效地融合了局部和全局空间特征.实验结果表明,本文提出的方法在仅需2.1M参数量的情况下,在Human3.6M数据集上达到了49.9 mm的平均每关节误差(MPJPE).此外,模型在MPI-INF-3DHP数据集上也展示出了较强的泛化能力.

预加权调制密集图卷积网络三维人体姿态估计

图卷积网络(GCN)日益成为三维人体姿态估计(3D HPE)的主要研究热点之一,使用GCN对人体关节点之间的关系建模的方法使三维人体姿态估计获得了良好的性能。然而,基于GCN的三维人体姿态估计方法存在过平滑和未区分关节点与相邻关节点重要性的问题。为解决这些问题,设计了调制密集连接模块(MDC)和预加权图卷积模块,并基于这两个模块提出了预加权调制密集图卷积网络的三维人体姿态估计方法(WMDGCN)。针对过平滑问题,调制密集连接通过超参数α和β更好地实现特征重用(超参数α表示第l层和之前各层总特征的权重比例,超参数β表示之前各层特征到第l层的传播策略),从而有效地提高特征的表达能力。针对未区分关节点与相邻关节点重要性的问题,使用预加权图卷积为当前关节点赋予更高的权重,并对当前关节点及其相邻关节点使用不同的权重矩阵,更有效地捕获人体关节点特征。Human3.6M数据集上的对比实验结果表明,该方法在参数量和性能上均取得了最佳性能,WMDGCN的参数量、MPJPE和P-MPJPE值分别为0.27 MB、37.46 mm和28.85 mm。

基于双循环Transformer的三维人体姿态估计

针对视觉传感器采集到的图像进行三维人体姿态估计,提出一种双循环Transformer网络模型,有效地从二维关键关节点中提取时空维度高相关性特征,增大感受野,从而提高三维姿态估计的精度。通过在视觉传感器采集得到的公开数据集Human3.6M上的仿真实验,验证了双循环Transformer算法的性能。分析结果表明,最终估计得到的三维人体关节点的平均关节点位置偏差MPJPE(Mean Per Joint Position Error)为41.6 mm,相比于现有方法有一定提升,可以应用到许多下游相关工作中,有着较强的应用价值。

空间注意力与位置优化的三维人体姿态估计域适应算法

现有三维人体姿态估计器在单个数据集上表现较好,但受限于训练数据姿态结构的单一,其在跨域实验上的泛化性不足。现有方法通过增加姿态多样性来弥补该缺陷,然而这些方法生成的新姿态缺乏真实有效性且姿态全局位置的分布与目标数据集仍存在显著差距。针对上述问题,提出一种基于生成对抗网络(GAN)的空间注意力与全局位置优化的三维人体姿态估计域适应算法。算法引入空间节点注意力模块约束生成器产生更自然的人体姿态,并结合姿态位置修正模块促使生成姿态向目标数据域对齐,从而解决以上域适应问题。此外,为了提升估计器训练的稳定性,提出一种端到端随机混合的训练策略,使姿态估计器可兼顾新旧数据信息的学习。作为一种生成式的域适应方法,该算法可以高效地应用于各种二阶段三维人体姿态估计器。通过跨场景实验与跨数据集实验,结果表明所提算法在多个基准数据集上的表现均达到当前最佳。其中在3DHP数据集中,该方法MPJPE与AUC指标相比最优工作优化了1.7%和1.4%,验证了所提算法可有效提高三维人体姿态估计器的泛化性。

基于TM-Net网络估计的三维人体姿态运动监测算法

针对三维人体姿态估计的便捷性与准确性提升需求,提出一种基于TM-Net网络估计算法。该算法以MediaPipe为中心,融合帧率计算、动作检测、动作计数和真实坐标解析等多功能模块,实现对人体运动的精准检测与计数。针对公共数据集LSP(Leeds Sports Pose)和自建校园健身房运动数据集使用关键点的正确性概率(Probability of Correct Keypoint,PCK)、关节位置误差平均值(Mean Per Joint Position Error,MPJPE)和普罗克鲁斯对齐后的平均关节位置误差(Procrustes-Aligned Mean Per Joint Position Error,PA-MPJPE)等指标对该算法进行评估,并与目前先进的TP-3D网络估计算法进行对比。结果表明,TM-Net具有更高的准确率。此外,以开合跳为例进行消融实验,结果表明,TM-Net具有更强的泛化能力,能适应不同个体及拍摄角度的变化,满足了运动监测的实际需求。

改进的三维人体姿态估计算法

针对目前三维人体姿态由于遮挡、姿态复杂等预测不准确的问题,提出了一种改进的三维人体姿态估计算法以获得准确的三维人体姿态,提高人体姿态估计性能.本文采用时空图注意力卷积网络中的图注意力块来构建整个网络,在此基础上对全局多头图注意力部分的网络结构进行改进,使节点间更好传播和融合信息,捕获图中没有显式表示的语义信息.同时引入运动学约束,在MPJPE损失的基础上,加上骨骼长度损失.通过对局部和全局的空间节点信息建模,实现对局部运动学连接、对称性和全局姿态的人体骨骼运动学约束的学习.通过实验证明,本文改进后的模型有效地提高了人体姿态估计性能,在Human3.6M数据集上相较于原始模型,实现了1.8%的平均关节位置误差(MPJPE)提升和1.3%的预测关节与真值关节刚性对齐后的平均关节位置误差(P-MPJPE)提升.

一种基于Transformer的三维人体姿态估计方法

三维人体姿态估计是人类行为理解的基础,但是预测出合理的三维人体姿态序列仍然是具有挑战性的问题。为了解决这个问题,提出一种基于Transformer的三维人体姿态估计方法,利用多层长短期记忆(LSTM)单元和多尺度Transformer结构增强人体姿态序列预测的准确性。首先,设计基于时间序列的生成器,通过ResNet预训练神经网络提取图像特征;其次,采用多层LSTM单元学习时间连续性的图像序列中人体姿态之间的关系,输出合理的SMPL人体参数模型序列;最后,构建基于多尺度Transformer的判别器,利用多尺度Transformer结构对多个分割粒度进行细节特征学习,尤其是Transformerblock对相对位置进行编码增强局部特征学习能力。实验结果表明,该方法相对于VIBE方法具有更好地预测精度,在3DPW数据集上比VIBE的平均(每)关节位置误差(MPJPE)低了7.5%;在MP-INF-3DHP数据集上比VIBE的MPJPE降低了1.8%。

融合图卷积与Transformer的三维人体姿态估计网络

两阶段的3D人体姿态估计方法因先进的2D姿态检测器而取得了显著进步,但深度信息的歧义性仍使这项任务极具挑战性。为解决此难题,提出了MGCNTrans的3D人体姿态估计网络。该方法采用2D-3D的提升策略。MGCNTrans网络融合了Transformer网络和空间通道图卷积网络的优势。该模型以多帧数据为输入,利用周围帧的信息来约束当前帧的姿态估计。在特征学习方面,图卷积网络被用于学习人体关节之间的物理连接关系,捕捉局部的空间特征。而Transformer网络则挖掘关节之间的隐式关系,提供全局的上下文信息。为提升模型性能,图卷积层融合了空间层和通道层,促使节点在局部和全局范围内更好地进行交互,增加特征多样性,并更准确地估计人体姿态。结果表明,MGCNTrans网络在3D人体姿态估计任务上取得了优越性能,证明了其有效性和先进性。

基于特征分离的复杂环境三维手部姿态估计算法研究

基于视觉的三维手部姿态估计是实现人机交互的重要技术手段。目前,视觉手部姿态估计算法易受光照变化、遮挡和环境噪声等复杂环境因素干扰,导致模型的鲁棒性无法得到保障。这些多变的环境因素使得传统的深度学习方法在真实场景中难以取得令人满意的结果。针对这一难题,本文提出了一种基于特征分离的手部姿态估计算法,通过对手部图像中的关键特征进行精炼来提升模型在不同环境中的鲁棒性。首先,对编码器进行基于频域增强的预训练,从而减少环境噪声对于底层视觉特征提取的影响;其次,在解码阶段提出了一种用于分离因果特征和非因果特征的双分支结构,通过减少非因果特征对于姿态估计任务的影响以提高模型应对复杂环境的能力;最后,通过融合全局姿态信息和局部关节信息,实现了不同尺度的统一优化,并基于两个公开数据集的定量分析和定性分析,验证了本文所提出方法的准确性和鲁棒性。

面向智能体能检测系统的三维姿态估计方法研究及应用

为了提升体能检测中的计数效率,研究提出一种结合堆叠沙漏模型(Stacked Hourglass Model,Hourglass)和超轻量级神经网络的三维人体姿态估计模型,并引入了K邻近算法(K Nearest Neighbors,KNN)来实现动作分类与计数。实验结果显示,所提模型的计数精度可达99.66%,实际测试的帧速在27.41 FPS左右。对不同体能姿态估计的平均召回率在99.33%。与传统的计数方式相比,本智能计数模型具有更高的计算精度和更低的成本。由此,本次实验所构建的模型具有较强的适用性。

深度学习的三维人体姿态估计综述

三维人体姿态估计的目的是预测出人体关节点的三维坐标位置和角度等信息,构建人体表示(如人体骨骼),以便进一步分析人体姿态。随着深度学习方法的不断推进,越来越多的基于深度学习的高性能三维人体姿态估计方法被提出。然而由于图片的人体遮挡、训练规模需求较大等原因,三维人体姿态估计仍然存在挑战。该研究目的是通过对近年来的多篇研究论文进行回顾,分析和比较这些方法的推理过程和核心要素,从不同输入的角度入手,全面阐述近年来基于深度学习的三维人体姿态估计方法。此外,还介绍了相关数据集和评价指标,在Human3.6M、Campus和Shelf数据集上对部分模型进行实验数据比对,分析对比实验结果。最后,根据本次调查的结果,讨论目前三维人体姿态估计所面临的困难和挑战,对三维人体姿态估计的未来发展进行了探讨。