基于深度学习的二维人体姿态估计研究进展

人体姿态估计在人体行为识别、人机交互、体育运动分析等方面有着广泛的应用前景,是计算机视觉领域的一个研究热点。在最近的十年中,得益于深度学习技术,大量的研究工作极大地推动了人体姿态估计技术的发展,但由于受训练样本不足、人体姿态的多变性、遮挡、环境的复杂性等因素影响,人体姿态估计仍然面临着诸多的挑战。文中对近年来基于深度学习的2D人体姿态估计方法进行归纳和总结,着重分析一些有代表性的人体姿态估计方法的思路及工作原理,以便研究人员了解当前的研究现状、面临的挑战以及今后的研究方向,拓展研究思路。

基于深度学习的二维人体姿态估计:现状及展望

二维人体姿态估计旨在从摄像机拍摄的图像中识别并定位每个行人的人体关键点.作为行人分析和理解领域的基础任务之一,人体姿态估计能够为多个下游任务和应用提供支持.近年来,随着深度学习技术的进步,人体姿态估计的研究迎来快速发展.基于图像包含的行人数量,人体姿态估计可以分为单人姿态估计和多人姿态估计两大类.本文首先介绍人体姿态估计的研究背景、问题定义、任务难点以及当前方法中的关键点表示方法.在此基础上,本文进一步总结和介绍了具有代表性的单人姿态估计和多人姿态估计方法.单人姿态估计方法包括回归法和检测法,主要关注于网络结构设计、热力图编解码、多任务学习等.对于多人姿态估计,本文分别介绍了基于热力图预测的方法和基于向量场回归的方法.随后,本文总结了当前常用的代表性数据集和性能度量方法,总结了代表性方法在几个常用数据集上的性能,对它们的预测错误的场景进行了详细分析和对比.最终,本文分析了现有二维人体姿态估计算法仍未有效解决的难题,对未来研究进行了展望.

基于深度学习的二维人体姿态估计综述

人体姿态估计是近年来计算机视觉问题中的一个热门话题,它在改善人类生活方面具有巨大的益处和潜在的应用。近年来深度神经网络得到快速发展,相较于传统方法而言,采用深度学习的方法更能提取图像表征信息。综合分析近年来人体姿态估计的进展,根据检测人数分为单人和多人人体姿态估计。针对单人姿态估计,介绍了基于直接预测人体坐标点的坐标回归方法及基于预测人体关键点高斯分布的热图检测方法;针对多人姿态估计,采用解决多人到解决单人过程的自顶向下方法和直接处理多人关键点的自底向上方法。总结了各方法网络结构的特点和优缺点,并阐述当前面临的问题及未来发展趋势。

基于Transformer的三维人体姿态估计及其动作达成度评估

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了一个基于Transformer的三维人体姿态估计模型(TPEM),Transformer的引入能够更好的提取人体姿态的长时序特征;其次,利用TPEM模型对三维人体姿态估计结果,设计了基于加权3D关节角的动态时间规整算法,在时序上对不同人物同一动作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据集上进行实验验证,TPEM在Human3.6 M数据集上实现了平均关节点误差为37.3 mm,而基于加权3D关节角的动态时间规整算法在Fit3D数据集上的平均误差帧数为5.08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性和有效性。

基于渐进高斯滤波融合的多视角人体姿态估计

针对视觉遮挡引起的人体姿态估计(Human pose estimation, HPE)性能下降问题,提出基于渐进高斯滤波(Progressive Gaussian filtering, PGF)融合的人体姿态估计方法.首先,设计分层性能评估方法对多视觉量测进行分类处理,以适应视觉遮挡引起的量测不确定性问题.其次,构建分布式渐进贝叶斯滤波融合框架,以及设计一种分层分类融合估计方法来提升复杂量测融合的鲁棒性和准确性.特别地,针对量测统计特性变化问题,利用局部估计间的交互信息来引导渐进量测更新,从而隐式地补偿量测不确定性.最后,仿真与实验结果表明,相比于现有的方法,所提的人体姿态估计方法具有更高的准确性和鲁棒性.

基于改进HopeNet的头部姿态估计方法

针对基于无需先验知识的头部姿态估计算法在复杂背景图像和多尺度图像场景下精度较差的问题,提出了一种基于改进HopeNet的头部姿态估计方法。首先在主干网络结构上增加特征融合结构使得模型能够充分利用网络的深层特征信息与浅层特征信息,提升模型的特征解析力;然后在主干网络的残差结构中增加特征压缩激励模块,使得网络能够自适应学习不同特征层重要程度的权重信息,让模型更加关注目标信息。实验结果表明,相较于HopeNet,本文方法在AFLW2000数据集上精度提升了31.15%,平均误差降到4.20°,同时在复杂背景图像场景下有较好的鲁棒性。

基于姿态估计的粮仓作业人员摔倒检测研究

近些年时常发生粮仓作业人员因意外跌入粮堆无法自救、熏蒸作业中毒晕倒等安全问题。为了及时获取有效信息,减少对工人的伤害,提出一种自下而上的人体姿态估计方法,建立对粮仓工作人员状态检测模型。首先制作不同角度的粮仓作业视频和摔倒状态公共数据集;接着改进轻量级OpenPose算法,数据集引入算法生成骨骼图像;最后设计摔倒检测算法,得到一种基于姿态估计的粮仓作业人员摔倒检测模型。实验结果表明,检测摔倒状态准确率有所提高,轻量级OpenPose算法计算量较少,内存占用小,可以实时地检测粮仓作业人员摔倒状态。

基于改进YOLO-Pose轻量模型的多人姿态估计

YOLO-Pose作为人体姿态估计算法模型,在精度和速度上有着不错的表现,但其在复杂和有遮挡的场景下存在误检率较大的问题,并且模型的复杂度仍然有优化的空间.针对这几个问题,通过选取Slim-neck模块和Res2Net模块,重新设计其特征融合层,减少其计算量和参数量,提高特征提取能力,在提升精度的同时,使模型轻量化;引入EIoU损失函数,加快边框检测的收敛速度,并提高定位的准确性.在压缩的OC_Human数据集上进行测试,改进后的模型与YOLO-Pose相比,P值、mAP@0.5和mAP@.5:95分别提高了10.6,3.1和2.9个百分点.此外,参数量和计算量也分别减少了16.7%和19.3%,在精度和轻量化方面均有所提升,为其应用在资源有限的边缘计算设备提供了可能性.

结合坐标Transformer的轻量级人体姿态估计算法

针对现有的大多数自底向上人体姿态估计算法存在模型规模大、计算成本高及对边缘设备不友好等问题,提出了一种基于YOLOv5s6-Pose的轻量级多人姿态估计网络模型YOLOv5s6-Pose-CT。该模型在颈部网络中引入空间和通道重建卷积,以减少空间和通道维度上的特征冗余。同时,提出了一种坐标Transformer嵌入于主干网络中,使模型专注于长距离依赖和拥有高效的局部特征提取能力。其次,通过使用无偏特征位置对齐来解决多尺度融合过程中出现的特征错位问题。最后,使用损失函数MPDIoU对边界框的回归损失重新定义。在COCO 2017数据集上的实验结果表明,本文优化的网络模型与主流的轻量级网络EfficientHRNet-H1模型相比,在保持相同精度的同时,参数量和计算量分别减少16.2%和66.1%。相比于基准模型YOLOv5s6-Pose,参数量减少11.2%,计算量降低5.8%,平均检测精度和平均召回率分别提升2.5%和2.6%。

基于HigherHRNet的煤矿井下人体姿态估计快速网络研究

煤矿井下人体姿态的快速估计是井下作业智慧安全检测的重要前提。为解决煤矿井下多尘多雾、照明不足及颜色相融等问题,提高人体姿态估计关键点分配准确度及网络运行速度,研究新的Optimising HigherHRNet(OH-HRNet)快速网络模型:对HigherHRNet模型的轻量化设计、关键点分配进行深入研究,提出了基于注意力机制的记忆卷积模块及强化骨骼约束的关键点分配算法,并改进了算法的损失函数。在煤矿井下场景数据集和COCO公开数据集上的实验结果表明:OH-HRNet在GPU的速度上是LitePose的1.06倍,平均精度均值mAP提高了7.4%,平均召回率均值mAR提高了14.0%,可以实现更有效的智慧安全检测。

改进YOLO6D的目标姿态估计算法

针对三维空间下被遮挡和弱纹理目标物难以进行精确姿态估计的问题,提出了一种基于改进YOLO6D的目标姿态估计算法。首先,引入残差网络结构,解决了神经网络层数增加带来的梯度问题并加快模型收敛;其次,加入空间金字塔池化(SPP-CSP)模块使网络充分利用多尺度特征图信息来增强对目标物的特征提取。实验结果显示,改进后的网络在自建数据集上整体指标2D重投影上升了6.68%,5 cm5°上升了6.05%,在官方数据集Occlusion LineMOD上整体精度上升了8.74%,有效提高了目标姿态估计的整体检测性能。

融入双注意力和姿态增强的3D人体姿态估计

尽管3D人体姿态估计已经在高速发展,但现有的3D人体姿态估计模型对特征的判别能力较弱,无法有效地获取多通道以及空间特征信息,仿真效果受到影响。对此,以VideoPose3D和PoseAug作为基础网络进行改进得到融入双重注意力以及姿态增强的高效姿态估计网络CSNet。通过在结合了PoseAug的姿态估计器里融入通道注意力和空间注意力,构造CS-Block模块作为基础模块,提升特征的精准度和全面度,以应对遮挡、深度的不确定性等问题。在公开数据集Human 3.6M进行验证和测试,结果显示,相比于原来的模型,上述方法的平均关节位置误差降低了3.4%,提升了3D人体姿态估计模型的精确度,并利用改进后的算法识别人体关键点并驱动虚拟人物仿真,获得更好的仿真效果。

基于DirtNet与惯性测量单元的人体姿态估计

仅使用少量的惯性测量单元(IMU, Inertial Measurement Unit)进行人体姿态估计是一种非侵入性且经济的人体姿态估计方法,该方法主要面临的挑战是从带有噪声的IMU信号中精确估计人体姿态。为此,对人体姿态估计问题提出了一种仅使用6个IMU精确估计人体姿态的方法。1) 提出了一种双重信息保留注意力Transformer网络(DirtNet, Dual information retention transformer Network),它能够有效保留历史信息并通过注意整个序列的信息来获得更好的结果。2) 通过对加速度进行积分了获得了近似变化速度,并将其作为额外的输入通道以提高了人体姿态估计的精确度。3) 使用均匀滤波过滤和白噪声模拟的方法对合成的加速度进行了数据增强,以此来拟合真实的IMU数据并得到更好的训练结果。与之前的研究相比,改进后的方法有效提高了姿态估计的精确度。

基于姿态估计与深度图像的啦啦操运动员动作捕捉方法设计

为了对啦啦操运动员的动作进行有效的捕捉与识别,提出一种基于姿态估计与深度图像(PE-DI)的啦啦操运动员动作捕捉方法 .该方法采用深度摄像头收集啦啦操运动员的运动数据,并通过利用深度图像来增强三维空间的动作重建效果,接着利用姿态估计算法分析运动员的动作精度和稳定性.结果显示,动作识别率对比中,PE-DI算法、NN-BV算法、SPR-DL算法与Multi-Scale Feature算法在五次实验中的平均识别率分别为99.24%、97.18%、94.16%与90.21%.最后PE-DI算法运行下啦啦操运动员起势、跳跃、鞠躬与转身四个动作的均被捕捉划分于正确区域内,显著优于其他算法.实验结果表明,PE-DI算法能够对啦啦操运动员的动作进行较高精度的捕捉,为啦啦操运动员的训练与表演提供有效的技术支持.

基于DeepSportLab的篮球检测及球员姿态估计研究

为了提升团队体育运动中的智能分析效果,提出通过结合部件强度场和空间嵌入原理来训练多任务,同时实现运动场景中的篮球检测、球员姿态预测和球员实例掩码分割的统一框架(DeepSportLab),以解决团队运动场景的复杂性和特殊性,例如强遮挡和运动模糊。首先,部件强度场提供了篮球和球员的位置信息,以及球员关节的位置。然后,采用空间嵌入技术将球员实例像素与球员各自中心点相关联,并将球员的关节点组合成骨架信息。在DeepSport篮球数据集上进行了验证,并取得了与具有独立任务的单个模型相当的良好性能。

基于关键点检测的轻量级人体姿态估计算法分析

以基于关键点检测的轻量级人体姿态估计算法研究为目的,以实验方法分析LCSA-Net-YOLO-Pose算法在经YOLO-Pose算法改进后的性能效果。研究结果显示,LCSA-Net网络结构在人体姿态关键点检测方面的精度较高。结论表明,轻量级人体姿态估计算法——LCSA-Net设计合理,可以更好地服务于人体姿态估计。

健身行为的人体姿态估计及动作识别

人体姿态估计和动作识别在安防、医疗和运动等领域有着重要的应用价值。为了解决不同背景及角度下各类运动动作的人体姿态估计和动作识别问题,本文提出了一种改进的YOLOv7-POSE算法,并自行拍摄制作各种拍摄角度的数据集进行训练。此算法以YOLOv7为基础,对原始网络模型添加了分类的功能,在Backbone主干网络中引入CA卷积注意力机制,提升了网络在对人体骨骼关节点和动作的分类的重要特征的识别能力。用HorNet网络结构代替原模型的CBS卷积核,提高了模型的人体关键点检测精度和动作分类的准确度。将Head层的空间金字塔池化结构替换为空洞空间金字塔池化结构,提升了检测精度并且加快了模型收敛。将目标检测框的回归函数由CIOU替换为EIOU,提高了坐标回归的精度。设计了两组对照实验,实验结果证明,改进后的YOLOv7-POSE在验证集上的mAP为95.7%,相比于原始YOLOv7算法提高了4%,各类运动动作识别准确率显著上升,在实际推理中的关键点错检、漏检等情况明显减少,关键点位置估计误差明显降低。

引入级联通道注意力的轻量化人体姿态估计

针对当前人体姿态估计模型在轻量化过程中精度损失严重的问题,以高分辨率网络(HRNet)为基线提出一种引入级联通道注意力的轻量化人体姿态估计模型。构建一种保持内部高分辨率特征的级联通道注意力,学习输入特征各通道的重要性来提高模型表征能力;通过设计一种基于MetaFormer结构的轻量级深度卷积变换模块来替换HRNet阶段2、3、4中运算复杂度较高的残差模块;设计一种多尺度特征融合方法减少HRNet原融合方法中的多维特征语义信息损失;采用无偏数据处理来消除关键点热力图编码过程中导致的偏移误差。COCO2017验证集的实验结果表明,所提出的模型同基准模型相比,在AP降低2个百分点的情况下,模型参数量和浮点运算量分别减少了90.2%和83.1%,并且以AP为71.4%的表现在轻量化模型中达到精度最优。

基于动态幻影的轻量级人体姿态估计

针对当前轻量级人体姿态估计网络在减少参数量和计算复杂度时未能有效提高检测精度的问题,提出了基于动态幻影的轻量级人体姿态估计网络(dynamic ghost network,DGNet)。DGNet采用一种创新的方法,能够简洁有效地提取上下文信息,实现在不增加参数量和计算复杂度的情况下提高模型的表征能力进而提升性能。具体而言,模型使用动态混洗和幻影操作构建2个全新的轻量级模块——动态幻影瓶颈模块(dynamic ghost neck module,DGNeck)和动态幻影基础模块(dynamic ghost basicblock module,DGBlock)。DGNeck将卷积运算替换为代价较小的线性运算进而降低网络参数和计算复杂度,同时DGBlock动态聚合多个通道并混洗,获取特征图精确位置信息以提高检测精度。同等条件下的实验结果表明,与现有的Lite-HRNet模型相比,DGNet模型在COCO校验集上计算复杂度下降了4.8%,准确率提高了2.3%,而在MPII校验集上计算复杂度降低了3.7%,准确率提高了0.7%。

MIPNet姿态估计技术在高校国际标准舞蹈竞赛中的应用

在当前高校国际标准舞蹈的竞赛与教学中,存在着许多挑战。主要问题在于,传统的教学方法通常需要教师花费大量的时间进行示范和纠错,而学生的学习效率和理解度也受到限制。为了解决这些问题,本研究探讨了MIPNet姿态估计技术在此领域的应用。通过将舞蹈教师的专业知识、学生的学习需求和先进的MIPNet姿态估计技术有机结合,形成了一种全新的“三位一体教学辅助技术”。采用MIPNet姿态估计技术,我们建立了一个全面和详细的国际标准舞蹈教学动作数据库,精确地采集教师示范动作的特征,这些信息与学生的动作进行比较,找出学生动作的不足之处,从而提供更加精准的指导。此外,我们也探索了MIPNet姿态估计技术在高校国际标准舞蹈竞赛中的应用。我们建立了国际标准舞蹈专业竞赛数据库,利用MIPNet姿态估计技术进行人体关键点定位和动作识别,实现对学生表演的客观和精确评估。