基于深度学习的二维人体姿态估计研究进展

人体姿态估计在人体行为识别、人机交互、体育运动分析等方面有着广泛的应用前景,是计算机视觉领域的一个研究热点。在最近的十年中,得益于深度学习技术,大量的研究工作极大地推动了人体姿态估计技术的发展,但由于受训练样本不足、人体姿态的多变性、遮挡、环境的复杂性等因素影响,人体姿态估计仍然面临着诸多的挑战。文中对近年来基于深度学习的2D人体姿态估计方法进行归纳和总结,着重分析一些有代表性的人体姿态估计方法的思路及工作原理,以便研究人员了解当前的研究现状、面临的挑战以及今后的研究方向,拓展研究思路。

基于深度学习的二维人体姿态估计综述

人体姿态估计是近年来计算机视觉问题中的一个热门话题,它在改善人类生活方面具有巨大的益处和潜在的应用。近年来深度神经网络得到快速发展,相较于传统方法而言,采用深度学习的方法更能提取图像表征信息。综合分析近年来人体姿态估计的进展,根据检测人数分为单人和多人人体姿态估计。针对单人姿态估计,介绍了基于直接预测人体坐标点的坐标回归方法及基于预测人体关键点高斯分布的热图检测方法;针对多人姿态估计,采用解决多人到解决单人过程的自顶向下方法和直接处理多人关键点的自底向上方法。总结了各方法网络结构的特点和优缺点,并阐述当前面临的问题及未来发展趋势。

基于Transformer的三维人体姿态估计及其动作达成度评估

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了一个基于Transformer的三维人体姿态估计模型(TPEM),Transformer的引入能够更好的提取人体姿态的长时序特征;其次,利用TPEM模型对三维人体姿态估计结果,设计了基于加权3D关节角的动态时间规整算法,在时序上对不同人物同一动作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据集上进行实验验证,TPEM在Human3.6 M数据集上实现了平均关节点误差为37.3 mm,而基于加权3D关节角的动态时间规整算法在Fit3D数据集上的平均误差帧数为5.08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性和有效性。

基于渐进高斯滤波融合的多视角人体姿态估计

针对视觉遮挡引起的人体姿态估计(Human pose estimation, HPE)性能下降问题,提出基于渐进高斯滤波(Progressive Gaussian filtering, PGF)融合的人体姿态估计方法.首先,设计分层性能评估方法对多视觉量测进行分类处理,以适应视觉遮挡引起的量测不确定性问题.其次,构建分布式渐进贝叶斯滤波融合框架,以及设计一种分层分类融合估计方法来提升复杂量测融合的鲁棒性和准确性.特别地,针对量测统计特性变化问题,利用局部估计间的交互信息来引导渐进量测更新,从而隐式地补偿量测不确定性.最后,仿真与实验结果表明,相比于现有的方法,所提的人体姿态估计方法具有更高的准确性和鲁棒性.

结合坐标Transformer的轻量级人体姿态估计算法

针对现有的大多数自底向上人体姿态估计算法存在模型规模大、计算成本高及对边缘设备不友好等问题,提出了一种基于YOLOv5s6-Pose的轻量级多人姿态估计网络模型YOLOv5s6-Pose-CT。该模型在颈部网络中引入空间和通道重建卷积,以减少空间和通道维度上的特征冗余。同时,提出了一种坐标Transformer嵌入于主干网络中,使模型专注于长距离依赖和拥有高效的局部特征提取能力。其次,通过使用无偏特征位置对齐来解决多尺度融合过程中出现的特征错位问题。最后,使用损失函数MPDIoU对边界框的回归损失重新定义。在COCO 2017数据集上的实验结果表明,本文优化的网络模型与主流的轻量级网络EfficientHRNet-H1模型相比,在保持相同精度的同时,参数量和计算量分别减少16.2%和66.1%。相比于基准模型YOLOv5s6-Pose,参数量减少11.2%,计算量降低5.8%,平均检测精度和平均召回率分别提升2.5%和2.6%。

基于HigherHRNet的煤矿井下人体姿态估计快速网络研究

煤矿井下人体姿态的快速估计是井下作业智慧安全检测的重要前提。为解决煤矿井下多尘多雾、照明不足及颜色相融等问题,提高人体姿态估计关键点分配准确度及网络运行速度,研究新的Optimising HigherHRNet(OH-HRNet)快速网络模型:对HigherHRNet模型的轻量化设计、关键点分配进行深入研究,提出了基于注意力机制的记忆卷积模块及强化骨骼约束的关键点分配算法,并改进了算法的损失函数。在煤矿井下场景数据集和COCO公开数据集上的实验结果表明:OH-HRNet在GPU的速度上是LitePose的1.06倍,平均精度均值mAP提高了7.4%,平均召回率均值mAR提高了14.0%,可以实现更有效的智慧安全检测。

融入双注意力和姿态增强的3D人体姿态估计

尽管3D人体姿态估计已经在高速发展,但现有的3D人体姿态估计模型对特征的判别能力较弱,无法有效地获取多通道以及空间特征信息,仿真效果受到影响。对此,以VideoPose3D和PoseAug作为基础网络进行改进得到融入双重注意力以及姿态增强的高效姿态估计网络CSNet。通过在结合了PoseAug的姿态估计器里融入通道注意力和空间注意力,构造CS-Block模块作为基础模块,提升特征的精准度和全面度,以应对遮挡、深度的不确定性等问题。在公开数据集Human 3.6M进行验证和测试,结果显示,相比于原来的模型,上述方法的平均关节位置误差降低了3.4%,提升了3D人体姿态估计模型的精确度,并利用改进后的算法识别人体关键点并驱动虚拟人物仿真,获得更好的仿真效果。

基于DirtNet与惯性测量单元的人体姿态估计

仅使用少量的惯性测量单元(IMU, Inertial Measurement Unit)进行人体姿态估计是一种非侵入性且经济的人体姿态估计方法,该方法主要面临的挑战是从带有噪声的IMU信号中精确估计人体姿态。为此,对人体姿态估计问题提出了一种仅使用6个IMU精确估计人体姿态的方法。1) 提出了一种双重信息保留注意力Transformer网络(DirtNet, Dual information retention transformer Network),它能够有效保留历史信息并通过注意整个序列的信息来获得更好的结果。2) 通过对加速度进行积分了获得了近似变化速度,并将其作为额外的输入通道以提高了人体姿态估计的精确度。3) 使用均匀滤波过滤和白噪声模拟的方法对合成的加速度进行了数据增强,以此来拟合真实的IMU数据并得到更好的训练结果。与之前的研究相比,改进后的方法有效提高了姿态估计的精确度。

引入级联通道注意力的轻量化人体姿态估计

针对当前人体姿态估计模型在轻量化过程中精度损失严重的问题,以高分辨率网络(HRNet)为基线提出一种引入级联通道注意力的轻量化人体姿态估计模型。构建一种保持内部高分辨率特征的级联通道注意力,学习输入特征各通道的重要性来提高模型表征能力;通过设计一种基于MetaFormer结构的轻量级深度卷积变换模块来替换HRNet阶段2、3、4中运算复杂度较高的残差模块;设计一种多尺度特征融合方法减少HRNet原融合方法中的多维特征语义信息损失;采用无偏数据处理来消除关键点热力图编码过程中导致的偏移误差。COCO2017验证集的实验结果表明,所提出的模型同基准模型相比,在AP降低2个百分点的情况下,模型参数量和浮点运算量分别减少了90.2%和83.1%,并且以AP为71.4%的表现在轻量化模型中达到精度最优。

基于关键点检测的轻量级人体姿态估计算法分析

以基于关键点检测的轻量级人体姿态估计算法研究为目的,以实验方法分析LCSA-Net-YOLO-Pose算法在经YOLO-Pose算法改进后的性能效果。研究结果显示,LCSA-Net网络结构在人体姿态关键点检测方面的精度较高。结论表明,轻量级人体姿态估计算法——LCSA-Net设计合理,可以更好地服务于人体姿态估计。

基于动态幻影的轻量级人体姿态估计

针对当前轻量级人体姿态估计网络在减少参数量和计算复杂度时未能有效提高检测精度的问题,提出了基于动态幻影的轻量级人体姿态估计网络(dynamic ghost network,DGNet)。DGNet采用一种创新的方法,能够简洁有效地提取上下文信息,实现在不增加参数量和计算复杂度的情况下提高模型的表征能力进而提升性能。具体而言,模型使用动态混洗和幻影操作构建2个全新的轻量级模块——动态幻影瓶颈模块(dynamic ghost neck module,DGNeck)和动态幻影基础模块(dynamic ghost basicblock module,DGBlock)。DGNeck将卷积运算替换为代价较小的线性运算进而降低网络参数和计算复杂度,同时DGBlock动态聚合多个通道并混洗,获取特征图精确位置信息以提高检测精度。同等条件下的实验结果表明,与现有的Lite-HRNet模型相比,DGNet模型在COCO校验集上计算复杂度下降了4.8%,准确率提高了2.3%,而在MPII校验集上计算复杂度降低了3.7%,准确率提高了0.7%。

联合关键点数据增强和结构先验的遮挡人体姿态估计

人体姿态估计技术在许多领域都有着重要的应用。现有研究主要聚焦于无遮挡情况下的人体关键点精确定位,却忽略了人像采集过程中普遍存在的遮挡问题。针对此问题,提出了一个基于关键点数据增强的人体姿态估计方法。具体地,数据增强策略以训练图像中人体可见关键点为中心,生成特定数量和大小的遮挡区域,模拟人体关键点受遮挡时的场景,提升网络模型对遮挡场景下关键点预测的鲁棒性。为了提高模型对被遮挡关键点与相邻关键点间关联性的感知,进一步设计基于人体结构先验知识的损失函数,根据人体真实结构构建相邻关键点连接关系,约束预测的关键点坐标范围,从而提升被遮挡关键点的坐标精度。在OCHuman测试集和COCO验证集上的预测结果表明,相比于基准网络模型,该方法在不增加网络参数的情况下能够提升遮挡场景中的人体姿态估计性能。

基于空间交叉卷积的轻量级人体姿态估计算法

针对改进轻量级OpenPose网络在预测阶段仍有较大参数量会降低模型推理速度,不利于在边缘设备部署的问题,提出一种基于改进卷积方法的人体姿态估计网络,使用空间交叉卷积来代替部分标准卷积,减少网络预测阶段的参数量。网络的输入为单目摄像头捕获的RGB图像,以MobileNetV3-Large为主干网络,并在其中加入了CBAM注意力模块,提取不同重要程度的空间和通道特征。获取图像特征后,送入两个分支中分别预测关键点位置和关键点组合关系。以空间交叉卷积代替两个分支中的部分标准卷积核,相对标准卷积能够减少80%的参数量。实验结果表明,相较于原方法,所提方法在精度下降较小的情况下,总参数量降低了22%,部署在CPU端的测试结果显示,速度能够达到6 FPS,提升了4倍。

融合自我知识蒸馏和卷积压缩的轻量化人体姿态估计方法

为追求更准确的关键点检测结果,现有许多有关人体姿态估计研究多采用复杂的深度网络架构构建模型,忽略了模型的实际部署成本,导致模型在资源受限的边缘设备上很难实际部署,缺乏实用性.为了解决上述问题,本文设计了一种融合自我知识蒸馏和卷积压缩的轻量化人体姿态估计模型.该模型首先使用改进的EfficientNet网络构建一个编码器,提取图像的多尺度特征;其次,基于深度可分离转置卷积,设计一种轻量化上采样解码器,估计人体姿态;最后,采用轻量化多尺度双向融合与知识自我蒸馏方法,进一步提高人体姿态估计的准确性.在COCO和MPII标准数据集上进行了广泛的定性、定量和消融实验,实验结果表明所提出的模型不仅能获得准确的人体姿态估计,而且能显著降低模型的计算复杂性.

基于特征增强的高分辨率人体姿态估计网络

在轻量级卷积神经网络进行高分辨率人体姿态估计时存在提取特征不充分,针对该问题,提出了一种基于特征增强的高分辨率人体姿态估计网络。首先利用空洞卷积补全操作提取图像特征,以避免特征信息丢失且保持模型参数基本不变;接着利用池化增强模块进行卷积提取特征的选择,以保留重要特征且减轻传统池化模块对提取特征造成的破坏;最后利用加强通道信息交互的深度可分离卷积模块进行特征提取,以保持该模块的参数量较少且能够提高其特征提取能力。在COCO2017数据集进行性能测试,本文算法和DiteHRNet30算法的AR值分别为77.9%和77.2%;在MPII数据集进行性能测试,本文算法和DiteHRNet30算法的PCKh值分别为32.6%和31.7%。实验结果表明,本文算法在人体姿态估计精度和算法复杂度之间能够达到较好的平衡。

一种针对视频的人体姿态估计的加速算法

为了解决视频的高性能人体姿态估计算法参数量和计算量庞大导致的推理速度慢的问题,提出了基于高分辨率网络(HRNet)的人体姿态估计改进算法。该算法在检测过程中采用隔帧检测和去抖动的优化处理,优化人体检测流程;针对姿态估计网络,使用ShuffleUnitV2组件对HRNet重新设计得到了S-HRNet,提高网络的利用率。实验结果表明:在公开数据集COCO训练集上,改进算法的总推理时间为356 ms,而原始算法总推理时间为992 ms,有效地提高推理速度。改进后的算法解决了原有的HRNet模型参数量大、推理速度慢的问题,同时也保持了一定的性能,为实际部署提供了一个适合的算法。

强化先验骨架结构的轻量型高效人体姿态估计

为了更好地利用人体姿态关键点特有的分布属性,提出强化先验骨架结构的轻量型高效人体姿态估计方法.利用高分辨率网络较好地保留空间位置信息,为了进一步降低模型参数量,提出轻量倒残差模块.设计体位强化模块,利用全局空间特征和上下文信息强化躯干位置的先验信息及关键点之间的联系.针对多分辨率特征图像融合时,像素位置模糊、卷积核优化方向偏移导致关键点空间特征信息遗失的问题,提出方向强化卷积模块,利用躯干上关键点分布的水平和垂直方向特性,高效融合关键点先验分布.实验结果表明,利用该网络,可以高效地估计人体姿态.与基准网络相比,该模型在COCO测试集上的平均精度达到78.4,参数量减少了17.4×10^(6),兼顾精度与效率.

基于知识共享的遮挡人体姿态估计网络

现有人体姿态估计方法处理遮挡情况时性能较差,为此提出新的估计网络,包含遮挡区域强化卷积网络(OCNN)和遮挡特征补偿图卷积网络(OGCN).设计高低阶特征匹配注意力以强化遮挡区域特征,由OCNN提取高适配权重,通过少量遮挡数据的方式实现遮挡部位的强化检测.由OGCN消除障碍物特征,通过强化关键点共有及专有属性的方式补偿节点特征;进行邻接矩阵重要性加权以改善遮挡部位特征质量,提升检测精度.所提网络在数据集COCO2017、COCO-Wholebody、CrowdPose上的检测精度分别为78.5%、67.1%、77.8%,优于对比算法.在自建遮挡数据集上所提网络节约了75%的训练数据使用.

一种结合轻量级注意力机制的人体姿态估计算法

针对现有的人体姿态估计模型存在的模型参数量和计算量大、冗余度高、耗时长等问题,提出一种基于轻量级注意力机制的网络框架。使用轻量级网络MobilenetV3替代了原OpenPose的主干网络VGG-19;对OpenPose的二分支多阶段的卷积神经网络框架进行压缩;引入空间和通道相结合的注意力机制模块CBAM对模型的速度和精度进行权衡。实验结果表明,该方法下的网络模型大小和浮点计算量分别为10.51 MB和22.65 GFlops,相对于原OpenPose减少了79.91%和83.35%;在COCO2017测试集下,能够在保持较高的检测精度和召回率的基础上显著提升检测速度。

基于MobileViT改进的红外人体姿态估计算法

人体姿态估计主要依赖于视觉图像信息捕获关节点从而获得肢体和躯干的全局姿态信息。目前,基于可见光的深度学习方法具备较高的检测精确度,但隐私泄露的风险限制了其实际应用。同成本的红外探测器虽更能突出人体目标,但因成像分辨力较低,图像质量差,导致检测精确度下降。受视觉Transformer的启发,本文引入MobileViT-FPN提取人体关键点,利用MobileViT捕捉局部关节点特征和全局关节点特征关系,然后使用固定模式噪声(FPN)在多尺度上聚合这些表征信息,结合改进的OpenPose对关键点进行聚类,输出估计结果。在关键点级联阶段,注意力机制使模型自适应关注感兴趣区域,增强对遮挡部位的恢复。实验表明,该方法可以实时检测变化尺度和部分遮挡的红外人体目标,准确描绘人体姿态。