基于深度学习的二维人体姿态估计研究进展

人体姿态估计在人体行为识别、人机交互、体育运动分析等方面有着广泛的应用前景,是计算机视觉领域的一个研究热点。在最近的十年中,得益于深度学习技术,大量的研究工作极大地推动了人体姿态估计技术的发展,但由于受训练样本不足、人体姿态的多变性、遮挡、环境的复杂性等因素影响,人体姿态估计仍然面临着诸多的挑战。文中对近年来基于深度学习的2D人体姿态估计方法进行归纳和总结,着重分析一些有代表性的人体姿态估计方法的思路及工作原理,以便研究人员了解当前的研究现状、面临的挑战以及今后的研究方向,拓展研究思路。

基于Transformer的三维人体姿态估计及其动作达成度评估

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了一个基于Transformer的三维人体姿态估计模型(TPEM),Transformer的引入能够更好的提取人体姿态的长时序特征;其次,利用TPEM模型对三维人体姿态估计结果,设计了基于加权3D关节角的动态时间规整算法,在时序上对不同人物同一动作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据集上进行实验验证,TPEM在Human3.6 M数据集上实现了平均关节点误差为37.3 mm,而基于加权3D关节角的动态时间规整算法在Fit3D数据集上的平均误差帧数为5.08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性和有效性。

基于渐进高斯滤波融合的多视角人体姿态估计

针对视觉遮挡引起的人体姿态估计(Human pose estimation, HPE)性能下降问题,提出基于渐进高斯滤波(Progressive Gaussian filtering, PGF)融合的人体姿态估计方法.首先,设计分层性能评估方法对多视觉量测进行分类处理,以适应视觉遮挡引起的量测不确定性问题.其次,构建分布式渐进贝叶斯滤波融合框架,以及设计一种分层分类融合估计方法来提升复杂量测融合的鲁棒性和准确性.特别地,针对量测统计特性变化问题,利用局部估计间的交互信息来引导渐进量测更新,从而隐式地补偿量测不确定性.最后,仿真与实验结果表明,相比于现有的方法,所提的人体姿态估计方法具有更高的准确性和鲁棒性.

结合坐标Transformer的轻量级人体姿态估计算法

针对现有的大多数自底向上人体姿态估计算法存在模型规模大、计算成本高及对边缘设备不友好等问题,提出了一种基于YOLOv5s6-Pose的轻量级多人姿态估计网络模型YOLOv5s6-Pose-CT。该模型在颈部网络中引入空间和通道重建卷积,以减少空间和通道维度上的特征冗余。同时,提出了一种坐标Transformer嵌入于主干网络中,使模型专注于长距离依赖和拥有高效的局部特征提取能力。其次,通过使用无偏特征位置对齐来解决多尺度融合过程中出现的特征错位问题。最后,使用损失函数MPDIoU对边界框的回归损失重新定义。在COCO 2017数据集上的实验结果表明,本文优化的网络模型与主流的轻量级网络EfficientHRNet-H1模型相比,在保持相同精度的同时,参数量和计算量分别减少16.2%和66.1%。相比于基准模型YOLOv5s6-Pose,参数量减少11.2%,计算量降低5.8%,平均检测精度和平均召回率分别提升2.5%和2.6%。

基于深度学习的二维人体姿态估计综述

人体姿态估计是近年来计算机视觉问题中的一个热门话题,它在改善人类生活方面具有巨大的益处和潜在的应用。近年来深度神经网络得到快速发展,相较于传统方法而言,采用深度学习的方法更能提取图像表征信息。综合分析近年来人体姿态估计的进展,根据检测人数分为单人和多人人体姿态估计。针对单人姿态估计,介绍了基于直接预测人体坐标点的坐标回归方法及基于预测人体关键点高斯分布的热图检测方法;针对多人姿态估计,采用解决多人到解决单人过程的自顶向下方法和直接处理多人关键点的自底向上方法。总结了各方法网络结构的特点和优缺点,并阐述当前面临的问题及未来发展趋势。

基于深度学习的人体姿态估计与追踪

随着深度学习技术的发展,基于卷积神经网络的人体姿态估计和追踪的准确率得到大幅提高。但在面对遮挡问题时,还存在人体关键点检测困难、姿态追踪精度偏低和速度较慢等问题。本文针对这些问题,构建了一个ybasTrack多人姿态估计和追踪模型;提出采用一种改进的YOLOv5s网络进行目标检测;采用BCNet分割网络区分遮挡与被遮挡人体,限定人体关键点定位区域;基于Alphapose的SPPE(Single-Person Pose Estimator)进行改进,优化人体关键点检测结果;采用改进的Y-SeqNet网络进行行人重识别,采用MSIM(Multi-Phase Identity Matching)身份特征匹配算法对人体框、人体姿态和人体身份信息进行匹配,实现人体姿态追踪。实验表明,所提算法对遮挡场景下的人体姿态估计和姿态追踪具有较好的效果,模型运行具有较快速度。

基于HigherHRNet的煤矿井下人体姿态估计快速网络研究

煤矿井下人体姿态的快速估计是井下作业智慧安全检测的重要前提。为解决煤矿井下多尘多雾、照明不足及颜色相融等问题,提高人体姿态估计关键点分配准确度及网络运行速度,研究新的Optimising HigherHRNet(OH-HRNet)快速网络模型:对HigherHRNet模型的轻量化设计、关键点分配进行深入研究,提出了基于注意力机制的记忆卷积模块及强化骨骼约束的关键点分配算法,并改进了算法的损失函数。在煤矿井下场景数据集和COCO公开数据集上的实验结果表明:OH-HRNet在GPU的速度上是LitePose的1.06倍,平均精度均值mAP提高了7.4%,平均召回率均值mAR提高了14.0%,可以实现更有效的智慧安全检测。

基于Yolov7_Pose的轻量化人体姿态估计网络

人体姿态估计在计算机视觉、人机交互与运动分析等领域广泛应用。当前人体姿态估计算法往往通过构建复杂的网络来提高精度,但这带来了模型体量和计算量增大,以及检测速度变慢等问题。因此,文中提出一种基于Yolov7_Pose的轻量化人体姿态估计网络。首先,采用轻量化CARAFE模块替换原网络中的上采样模块,完成上采样工作;接着,在特征融合部分引入轻量化Slim-neck模块,以降低模型的计算量和复杂度;最后,提出了RFB-NAM模块,将其添加到主干网络中,用以获取多个不同尺度的特征信息,扩大感受野,提高特征提取能力。实验结果表明,改进后网络模型的GFLOPs和模型大小分别降低了约18.1%、22%,检测速度提升37.93%,并在低光环境、小目标、密集人群和俯视角度下表现出了较好的性能。

融入双注意力和姿态增强的3D人体姿态估计

尽管3D人体姿态估计已经在高速发展,但现有的3D人体姿态估计模型对特征的判别能力较弱,无法有效地获取多通道以及空间特征信息,仿真效果受到影响。对此,以VideoPose3D和PoseAug作为基础网络进行改进得到融入双重注意力以及姿态增强的高效姿态估计网络CSNet。通过在结合了PoseAug的姿态估计器里融入通道注意力和空间注意力,构造CS-Block模块作为基础模块,提升特征的精准度和全面度,以应对遮挡、深度的不确定性等问题。在公开数据集Human 3.6M进行验证和测试,结果显示,相比于原来的模型,上述方法的平均关节位置误差降低了3.4%,提升了3D人体姿态估计模型的精确度,并利用改进后的算法识别人体关键点并驱动虚拟人物仿真,获得更好的仿真效果。

基于DirtNet与惯性测量单元的人体姿态估计

仅使用少量的惯性测量单元(IMU, Inertial Measurement Unit)进行人体姿态估计是一种非侵入性且经济的人体姿态估计方法,该方法主要面临的挑战是从带有噪声的IMU信号中精确估计人体姿态。为此,对人体姿态估计问题提出了一种仅使用6个IMU精确估计人体姿态的方法。1) 提出了一种双重信息保留注意力Transformer网络(DirtNet, Dual information retention transformer Network),它能够有效保留历史信息并通过注意整个序列的信息来获得更好的结果。2) 通过对加速度进行积分了获得了近似变化速度,并将其作为额外的输入通道以提高了人体姿态估计的精确度。3) 使用均匀滤波过滤和白噪声模拟的方法对合成的加速度进行了数据增强,以此来拟合真实的IMU数据并得到更好的训练结果。与之前的研究相比,改进后的方法有效提高了姿态估计的精确度。

引入级联通道注意力的轻量化人体姿态估计

针对当前人体姿态估计模型在轻量化过程中精度损失严重的问题,以高分辨率网络(HRNet)为基线提出一种引入级联通道注意力的轻量化人体姿态估计模型。构建一种保持内部高分辨率特征的级联通道注意力,学习输入特征各通道的重要性来提高模型表征能力;通过设计一种基于MetaFormer结构的轻量级深度卷积变换模块来替换HRNet阶段2、3、4中运算复杂度较高的残差模块;设计一种多尺度特征融合方法减少HRNet原融合方法中的多维特征语义信息损失;采用无偏数据处理来消除关键点热力图编码过程中导致的偏移误差。COCO2017验证集的实验结果表明,所提出的模型同基准模型相比,在AP降低2个百分点的情况下,模型参数量和浮点运算量分别减少了90.2%和83.1%,并且以AP为71.4%的表现在轻量化模型中达到精度最优。

基于关键点检测的轻量级人体姿态估计算法分析

以基于关键点检测的轻量级人体姿态估计算法研究为目的,以实验方法分析LCSA-Net-YOLO-Pose算法在经YOLO-Pose算法改进后的性能效果。研究结果显示,LCSA-Net网络结构在人体姿态关键点检测方面的精度较高。结论表明,轻量级人体姿态估计算法——LCSA-Net设计合理,可以更好地服务于人体姿态估计。

基于动态幻影的轻量级人体姿态估计

针对当前轻量级人体姿态估计网络在减少参数量和计算复杂度时未能有效提高检测精度的问题,提出了基于动态幻影的轻量级人体姿态估计网络(dynamic ghost network,DGNet)。DGNet采用一种创新的方法,能够简洁有效地提取上下文信息,实现在不增加参数量和计算复杂度的情况下提高模型的表征能力进而提升性能。具体而言,模型使用动态混洗和幻影操作构建2个全新的轻量级模块——动态幻影瓶颈模块(dynamic ghost neck module,DGNeck)和动态幻影基础模块(dynamic ghost basicblock module,DGBlock)。DGNeck将卷积运算替换为代价较小的线性运算进而降低网络参数和计算复杂度,同时DGBlock动态聚合多个通道并混洗,获取特征图精确位置信息以提高检测精度。同等条件下的实验结果表明,与现有的Lite-HRNet模型相比,DGNet模型在COCO校验集上计算复杂度下降了4.8%,准确率提高了2.3%,而在MPII校验集上计算复杂度降低了3.7%,准确率提高了0.7%。

联合关键点数据增强和结构先验的遮挡人体姿态估计

人体姿态估计技术在许多领域都有着重要的应用。现有研究主要聚焦于无遮挡情况下的人体关键点精确定位,却忽略了人像采集过程中普遍存在的遮挡问题。针对此问题,提出了一个基于关键点数据增强的人体姿态估计方法。具体地,数据增强策略以训练图像中人体可见关键点为中心,生成特定数量和大小的遮挡区域,模拟人体关键点受遮挡时的场景,提升网络模型对遮挡场景下关键点预测的鲁棒性。为了提高模型对被遮挡关键点与相邻关键点间关联性的感知,进一步设计基于人体结构先验知识的损失函数,根据人体真实结构构建相邻关键点连接关系,约束预测的关键点坐标范围,从而提升被遮挡关键点的坐标精度。在OCHuman测试集和COCO验证集上的预测结果表明,相比于基准网络模型,该方法在不增加网络参数的情况下能够提升遮挡场景中的人体姿态估计性能。

基于空间交叉卷积的轻量级人体姿态估计算法

针对改进轻量级OpenPose网络在预测阶段仍有较大参数量会降低模型推理速度,不利于在边缘设备部署的问题,提出一种基于改进卷积方法的人体姿态估计网络,使用空间交叉卷积来代替部分标准卷积,减少网络预测阶段的参数量。网络的输入为单目摄像头捕获的RGB图像,以MobileNetV3-Large为主干网络,并在其中加入了CBAM注意力模块,提取不同重要程度的空间和通道特征。获取图像特征后,送入两个分支中分别预测关键点位置和关键点组合关系。以空间交叉卷积代替两个分支中的部分标准卷积核,相对标准卷积能够减少80%的参数量。实验结果表明,相较于原方法,所提方法在精度下降较小的情况下,总参数量降低了22%,部署在CPU端的测试结果显示,速度能够达到6 FPS,提升了4倍。

融合自我知识蒸馏和卷积压缩的轻量化人体姿态估计方法

为追求更准确的关键点检测结果,现有许多有关人体姿态估计研究多采用复杂的深度网络架构构建模型,忽略了模型的实际部署成本,导致模型在资源受限的边缘设备上很难实际部署,缺乏实用性.为了解决上述问题,本文设计了一种融合自我知识蒸馏和卷积压缩的轻量化人体姿态估计模型.该模型首先使用改进的EfficientNet网络构建一个编码器,提取图像的多尺度特征;其次,基于深度可分离转置卷积,设计一种轻量化上采样解码器,估计人体姿态;最后,采用轻量化多尺度双向融合与知识自我蒸馏方法,进一步提高人体姿态估计的准确性.在COCO和MPII标准数据集上进行了广泛的定性、定量和消融实验,实验结果表明所提出的模型不仅能获得准确的人体姿态估计,而且能显著降低模型的计算复杂性.

基于特征增强的高分辨率人体姿态估计网络

在轻量级卷积神经网络进行高分辨率人体姿态估计时存在提取特征不充分,针对该问题,提出了一种基于特征增强的高分辨率人体姿态估计网络。首先利用空洞卷积补全操作提取图像特征,以避免特征信息丢失且保持模型参数基本不变;接着利用池化增强模块进行卷积提取特征的选择,以保留重要特征且减轻传统池化模块对提取特征造成的破坏;最后利用加强通道信息交互的深度可分离卷积模块进行特征提取,以保持该模块的参数量较少且能够提高其特征提取能力。在COCO2017数据集进行性能测试,本文算法和DiteHRNet30算法的AR值分别为77.9%和77.2%;在MPII数据集进行性能测试,本文算法和DiteHRNet30算法的PCKh值分别为32.6%和31.7%。实验结果表明,本文算法在人体姿态估计精度和算法复杂度之间能够达到较好的平衡。

强化先验骨架结构的轻量型高效人体姿态估计

为了更好地利用人体姿态关键点特有的分布属性,提出强化先验骨架结构的轻量型高效人体姿态估计方法.利用高分辨率网络较好地保留空间位置信息,为了进一步降低模型参数量,提出轻量倒残差模块.设计体位强化模块,利用全局空间特征和上下文信息强化躯干位置的先验信息及关键点之间的联系.针对多分辨率特征图像融合时,像素位置模糊、卷积核优化方向偏移导致关键点空间特征信息遗失的问题,提出方向强化卷积模块,利用躯干上关键点分布的水平和垂直方向特性,高效融合关键点先验分布.实验结果表明,利用该网络,可以高效地估计人体姿态.与基准网络相比,该模型在COCO测试集上的平均精度达到78.4,参数量减少了17.4×10^(6),兼顾精度与效率.

一种针对视频的人体姿态估计的加速算法

为了解决视频的高性能人体姿态估计算法参数量和计算量庞大导致的推理速度慢的问题,提出了基于高分辨率网络(HRNet)的人体姿态估计改进算法。该算法在检测过程中采用隔帧检测和去抖动的优化处理,优化人体检测流程;针对姿态估计网络,使用ShuffleUnitV2组件对HRNet重新设计得到了S-HRNet,提高网络的利用率。实验结果表明:在公开数据集COCO训练集上,改进算法的总推理时间为356 ms,而原始算法总推理时间为992 ms,有效地提高推理速度。改进后的算法解决了原有的HRNet模型参数量大、推理速度慢的问题,同时也保持了一定的性能,为实际部署提供了一个适合的算法。

基于知识共享的遮挡人体姿态估计网络

现有人体姿态估计方法处理遮挡情况时性能较差,为此提出新的估计网络,包含遮挡区域强化卷积网络(OCNN)和遮挡特征补偿图卷积网络(OGCN).设计高低阶特征匹配注意力以强化遮挡区域特征,由OCNN提取高适配权重,通过少量遮挡数据的方式实现遮挡部位的强化检测.由OGCN消除障碍物特征,通过强化关键点共有及专有属性的方式补偿节点特征;进行邻接矩阵重要性加权以改善遮挡部位特征质量,提升检测精度.所提网络在数据集COCO2017、COCO-Wholebody、CrowdPose上的检测精度分别为78.5%、67.1%、77.8%,优于对比算法.在自建遮挡数据集上所提网络节约了75%的训练数据使用.