复杂人机共融场景中人体姿态识别及避碰策略综述

智能机器人与人类智慧的融合,即人机协作共融,已经实现了将机器人的机械优势和人类的高级认知能力集中于同一个工作架构之中,能够在复杂环境中协同作业,从而提高效率。针对复杂的人机共融场景,特别是机器人在诸如光线条件变化、背景干扰以及运动过程,对比总结了基于机器视觉的人体姿态识别方法和基于机器学习的避碰策略,详细比较各类方法的研究现状及应用,并探讨了基于深度学习的目标识别和避碰方法的发展及应用。

基于Transformer的三维人体姿态估计及其动作达成度评估

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了一个基于Transformer的三维人体姿态估计模型(TPEM),Transformer的引入能够更好的提取人体姿态的长时序特征;其次,利用TPEM模型对三维人体姿态估计结果,设计了基于加权3D关节角的动态时间规整算法,在时序上对不同人物同一动作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据集上进行实验验证,TPEM在Human3.6 M数据集上实现了平均关节点误差为37.3 mm,而基于加权3D关节角的动态时间规整算法在Fit3D数据集上的平均误差帧数为5.08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性和有效性。

基于渐进高斯滤波融合的多视角人体姿态估计

针对视觉遮挡引起的人体姿态估计(Human pose estimation, HPE)性能下降问题,提出基于渐进高斯滤波(Progressive Gaussian filtering, PGF)融合的人体姿态估计方法.首先,设计分层性能评估方法对多视觉量测进行分类处理,以适应视觉遮挡引起的量测不确定性问题.其次,构建分布式渐进贝叶斯滤波融合框架,以及设计一种分层分类融合估计方法来提升复杂量测融合的鲁棒性和准确性.特别地,针对量测统计特性变化问题,利用局部估计间的交互信息来引导渐进量测更新,从而隐式地补偿量测不确定性.最后,仿真与实验结果表明,相比于现有的方法,所提的人体姿态估计方法具有更高的准确性和鲁棒性.

基于深度学习的二维人体姿态估计研究进展

人体姿态估计在人体行为识别、人机交互、体育运动分析等方面有着广泛的应用前景,是计算机视觉领域的一个研究热点。在最近的十年中,得益于深度学习技术,大量的研究工作极大地推动了人体姿态估计技术的发展,但由于受训练样本不足、人体姿态的多变性、遮挡、环境的复杂性等因素影响,人体姿态估计仍然面临着诸多的挑战。文中对近年来基于深度学习的2D人体姿态估计方法进行归纳和总结,着重分析一些有代表性的人体姿态估计方法的思路及工作原理,以便研究人员了解当前的研究现状、面临的挑战以及今后的研究方向,拓展研究思路。

结合坐标Transformer的轻量级人体姿态估计算法

针对现有的大多数自底向上人体姿态估计算法存在模型规模大、计算成本高及对边缘设备不友好等问题,提出了一种基于YOLOv5s6-Pose的轻量级多人姿态估计网络模型YOLOv5s6-Pose-CT。该模型在颈部网络中引入空间和通道重建卷积,以减少空间和通道维度上的特征冗余。同时,提出了一种坐标Transformer嵌入于主干网络中,使模型专注于长距离依赖和拥有高效的局部特征提取能力。其次,通过使用无偏特征位置对齐来解决多尺度融合过程中出现的特征错位问题。最后,使用损失函数MPDIoU对边界框的回归损失重新定义。在COCO 2017数据集上的实验结果表明,本文优化的网络模型与主流的轻量级网络EfficientHRNet-H1模型相比,在保持相同精度的同时,参数量和计算量分别减少16.2%和66.1%。相比于基准模型YOLOv5s6-Pose,参数量减少11.2%,计算量降低5.8%,平均检测精度和平均召回率分别提升2.5%和2.6%。

基于深度学习的二维人体姿态估计综述

人体姿态估计是近年来计算机视觉问题中的一个热门话题,它在改善人类生活方面具有巨大的益处和潜在的应用。近年来深度神经网络得到快速发展,相较于传统方法而言,采用深度学习的方法更能提取图像表征信息。综合分析近年来人体姿态估计的进展,根据检测人数分为单人和多人人体姿态估计。针对单人姿态估计,介绍了基于直接预测人体坐标点的坐标回归方法及基于预测人体关键点高斯分布的热图检测方法;针对多人姿态估计,采用解决多人到解决单人过程的自顶向下方法和直接处理多人关键点的自底向上方法。总结了各方法网络结构的特点和优缺点,并阐述当前面临的问题及未来发展趋势。

基于深度学习的人体姿态估计与追踪

随着深度学习技术的发展,基于卷积神经网络的人体姿态估计和追踪的准确率得到大幅提高。但在面对遮挡问题时,还存在人体关键点检测困难、姿态追踪精度偏低和速度较慢等问题。本文针对这些问题,构建了一个ybasTrack多人姿态估计和追踪模型;提出采用一种改进的YOLOv5s网络进行目标检测;采用BCNet分割网络区分遮挡与被遮挡人体,限定人体关键点定位区域;基于Alphapose的SPPE(Single-Person Pose Estimator)进行改进,优化人体关键点检测结果;采用改进的Y-SeqNet网络进行行人重识别,采用MSIM(Multi-Phase Identity Matching)身份特征匹配算法对人体框、人体姿态和人体身份信息进行匹配,实现人体姿态追踪。实验表明,所提算法对遮挡场景下的人体姿态估计和姿态追踪具有较好的效果,模型运行具有较快速度。

基于HigherHRNet的煤矿井下人体姿态估计快速网络研究

煤矿井下人体姿态的快速估计是井下作业智慧安全检测的重要前提。为解决煤矿井下多尘多雾、照明不足及颜色相融等问题,提高人体姿态估计关键点分配准确度及网络运行速度,研究新的Optimising HigherHRNet(OH-HRNet)快速网络模型:对HigherHRNet模型的轻量化设计、关键点分配进行深入研究,提出了基于注意力机制的记忆卷积模块及强化骨骼约束的关键点分配算法,并改进了算法的损失函数。在煤矿井下场景数据集和COCO公开数据集上的实验结果表明:OH-HRNet在GPU的速度上是LitePose的1.06倍,平均精度均值mAP提高了7.4%,平均召回率均值mAR提高了14.0%,可以实现更有效的智慧安全检测。

基于Yolov7_Pose的轻量化人体姿态估计网络

人体姿态估计在计算机视觉、人机交互与运动分析等领域广泛应用。当前人体姿态估计算法往往通过构建复杂的网络来提高精度,但这带来了模型体量和计算量增大,以及检测速度变慢等问题。因此,文中提出一种基于Yolov7_Pose的轻量化人体姿态估计网络。首先,采用轻量化CARAFE模块替换原网络中的上采样模块,完成上采样工作;接着,在特征融合部分引入轻量化Slim-neck模块,以降低模型的计算量和复杂度;最后,提出了RFB-NAM模块,将其添加到主干网络中,用以获取多个不同尺度的特征信息,扩大感受野,提高特征提取能力。实验结果表明,改进后网络模型的GFLOPs和模型大小分别降低了约18.1%、22%,检测速度提升37.93%,并在低光环境、小目标、密集人群和俯视角度下表现出了较好的性能。

融入双注意力和姿态增强的3D人体姿态估计

尽管3D人体姿态估计已经在高速发展,但现有的3D人体姿态估计模型对特征的判别能力较弱,无法有效地获取多通道以及空间特征信息,仿真效果受到影响。对此,以VideoPose3D和PoseAug作为基础网络进行改进得到融入双重注意力以及姿态增强的高效姿态估计网络CSNet。通过在结合了PoseAug的姿态估计器里融入通道注意力和空间注意力,构造CS-Block模块作为基础模块,提升特征的精准度和全面度,以应对遮挡、深度的不确定性等问题。在公开数据集Human 3.6M进行验证和测试,结果显示,相比于原来的模型,上述方法的平均关节位置误差降低了3.4%,提升了3D人体姿态估计模型的精确度,并利用改进后的算法识别人体关键点并驱动虚拟人物仿真,获得更好的仿真效果。

融合改进RF算法的人体姿态识别方法在运动训练领域的应用

对人体姿态识别及现代智能化工程设计成为人机交互领域的重要研究方向进行了研究;在实现更高效、智能的人体姿态识别中,采用了基于DBSCAN-RF算法的分类训练器,同时对RF算法加以改进,引入了HD-SMOTE方法;该方法的技术创新和独特之处在于结合了密度聚类和随机森林的优点,能够有效地处理带有噪声的数据集,并具有较高的计算效率和可扩展性;通过实验测试,DBSCAN-RF算法的识别召回率最高达到了98.64%,相比于传统的RF算法、K-means-RF以及Mean-shift-RF算法,其数值分别增加了6.37%、4.28%、3.95%;同时,DBSCAN-RF算法在跌倒和正常走路的识别召回率分别达到了95.31%和96.48%;此外,DBSCAN-RF算法的测试时间均低于62 ms;经实际应用满足了现代智能化的人体姿态识别工程上的应用,为现代智能化的人体姿态识别提供了可靠的技术支持。

面向人体姿态图像关键点检测的深度学习算法

传统人体姿态检测方法提取图像信息能力弱,易受背景环境干扰,在图像辨识上具有一定的局限性。为解决由于背景干扰而导致的人体姿态识别准确率低、计算效率差的问题,提出了一种基于人体关键点骨架合成与上深度学习姿态识别算法相结合的框架体系。首先采用MobileNet残差网络优化Open Pose网络结构,降低人体骨骼关键点识别的计算复杂度,提高计算效率;然后通过PAF算法预测骨架的最优连通域,构建出最优人体骨架信息,并基于最优骨架信息生成人体骨架辅助框提取法则,提取人体姿态的相对位置,解决环干扰的问题;接着将人体关键点特征与HOG特征有机融合,基于深度学习网络构建出OP-GAN人体姿态识别模型。仿真结果表明,与传统SVM模型相比,OP-GAN模型的F1综合性能指标提升了6.85%;与其它深度学习算法相比,关键点特征的融合以及GAN网络的使用均与模型的性能指标呈正相关关系。因此,新构建的OP-GAN人体姿态识别模型通过解决背景干扰的同时,提高了人体姿态识别的准确率与效率。

基于DirtNet与惯性测量单元的人体姿态估计

仅使用少量的惯性测量单元(IMU, Inertial Measurement Unit)进行人体姿态估计是一种非侵入性且经济的人体姿态估计方法,该方法主要面临的挑战是从带有噪声的IMU信号中精确估计人体姿态。为此,对人体姿态估计问题提出了一种仅使用6个IMU精确估计人体姿态的方法。1) 提出了一种双重信息保留注意力Transformer网络(DirtNet, Dual information retention transformer Network),它能够有效保留历史信息并通过注意整个序列的信息来获得更好的结果。2) 通过对加速度进行积分了获得了近似变化速度,并将其作为额外的输入通道以提高了人体姿态估计的精确度。3) 使用均匀滤波过滤和白噪声模拟的方法对合成的加速度进行了数据增强,以此来拟合真实的IMU数据并得到更好的训练结果。与之前的研究相比,改进后的方法有效提高了姿态估计的精确度。

引入级联通道注意力的轻量化人体姿态估计

针对当前人体姿态估计模型在轻量化过程中精度损失严重的问题,以高分辨率网络(HRNet)为基线提出一种引入级联通道注意力的轻量化人体姿态估计模型。构建一种保持内部高分辨率特征的级联通道注意力,学习输入特征各通道的重要性来提高模型表征能力;通过设计一种基于MetaFormer结构的轻量级深度卷积变换模块来替换HRNet阶段2、3、4中运算复杂度较高的残差模块;设计一种多尺度特征融合方法减少HRNet原融合方法中的多维特征语义信息损失;采用无偏数据处理来消除关键点热力图编码过程中导致的偏移误差。COCO2017验证集的实验结果表明,所提出的模型同基准模型相比,在AP降低2个百分点的情况下,模型参数量和浮点运算量分别减少了90.2%和83.1%,并且以AP为71.4%的表现在轻量化模型中达到精度最优。

基于关键点检测的轻量级人体姿态估计算法分析

以基于关键点检测的轻量级人体姿态估计算法研究为目的,以实验方法分析LCSA-Net-YOLO-Pose算法在经YOLO-Pose算法改进后的性能效果。研究结果显示,LCSA-Net网络结构在人体姿态关键点检测方面的精度较高。结论表明,轻量级人体姿态估计算法——LCSA-Net设计合理,可以更好地服务于人体姿态估计。

联合关键点数据增强和结构先验的遮挡人体姿态估计

人体姿态估计技术在许多领域都有着重要的应用。现有研究主要聚焦于无遮挡情况下的人体关键点精确定位,却忽略了人像采集过程中普遍存在的遮挡问题。针对此问题,提出了一个基于关键点数据增强的人体姿态估计方法。具体地,数据增强策略以训练图像中人体可见关键点为中心,生成特定数量和大小的遮挡区域,模拟人体关键点受遮挡时的场景,提升网络模型对遮挡场景下关键点预测的鲁棒性。为了提高模型对被遮挡关键点与相邻关键点间关联性的感知,进一步设计基于人体结构先验知识的损失函数,根据人体真实结构构建相邻关键点连接关系,约束预测的关键点坐标范围,从而提升被遮挡关键点的坐标精度。在OCHuman测试集和COCO验证集上的预测结果表明,相比于基准网络模型,该方法在不增加网络参数的情况下能够提升遮挡场景中的人体姿态估计性能。

基于动态幻影的轻量级人体姿态估计

针对当前轻量级人体姿态估计网络在减少参数量和计算复杂度时未能有效提高检测精度的问题,提出了基于动态幻影的轻量级人体姿态估计网络(dynamic ghost network,DGNet)。DGNet采用一种创新的方法,能够简洁有效地提取上下文信息,实现在不增加参数量和计算复杂度的情况下提高模型的表征能力进而提升性能。具体而言,模型使用动态混洗和幻影操作构建2个全新的轻量级模块——动态幻影瓶颈模块(dynamic ghost neck module,DGNeck)和动态幻影基础模块(dynamic ghost basicblock module,DGBlock)。DGNeck将卷积运算替换为代价较小的线性运算进而降低网络参数和计算复杂度,同时DGBlock动态聚合多个通道并混洗,获取特征图精确位置信息以提高检测精度。同等条件下的实验结果表明,与现有的Lite-HRNet模型相比,DGNet模型在COCO校验集上计算复杂度下降了4.8%,准确率提高了2.3%,而在MPII校验集上计算复杂度降低了3.7%,准确率提高了0.7%。

基于空间交叉卷积的轻量级人体姿态估计算法

针对改进轻量级OpenPose网络在预测阶段仍有较大参数量会降低模型推理速度,不利于在边缘设备部署的问题,提出一种基于改进卷积方法的人体姿态估计网络,使用空间交叉卷积来代替部分标准卷积,减少网络预测阶段的参数量。网络的输入为单目摄像头捕获的RGB图像,以MobileNetV3-Large为主干网络,并在其中加入了CBAM注意力模块,提取不同重要程度的空间和通道特征。获取图像特征后,送入两个分支中分别预测关键点位置和关键点组合关系。以空间交叉卷积代替两个分支中的部分标准卷积核,相对标准卷积能够减少80%的参数量。实验结果表明,相较于原方法,所提方法在精度下降较小的情况下,总参数量降低了22%,部署在CPU端的测试结果显示,速度能够达到6 FPS,提升了4倍。

融合自我知识蒸馏和卷积压缩的轻量化人体姿态估计方法

为追求更准确的关键点检测结果,现有许多有关人体姿态估计研究多采用复杂的深度网络架构构建模型,忽略了模型的实际部署成本,导致模型在资源受限的边缘设备上很难实际部署,缺乏实用性.为了解决上述问题,本文设计了一种融合自我知识蒸馏和卷积压缩的轻量化人体姿态估计模型.该模型首先使用改进的EfficientNet网络构建一个编码器,提取图像的多尺度特征;其次,基于深度可分离转置卷积,设计一种轻量化上采样解码器,估计人体姿态;最后,采用轻量化多尺度双向融合与知识自我蒸馏方法,进一步提高人体姿态估计的准确性.在COCO和MPII标准数据集上进行了广泛的定性、定量和消融实验,实验结果表明所提出的模型不仅能获得准确的人体姿态估计,而且能显著降低模型的计算复杂性.

联合注意力和条件GAN的被遮挡人体姿态和体形估计方法

基于图像的人体姿态和体形估计常常因人体被遮挡而充满挑战.为此,提出一种基于单幅图像的姿态和体形估计方法.首先提出多尺度的注意力模块策略,输出具有丰富上下文信息的多尺度注意力特征,以有效地获得不受遮挡影响的全局的姿态和体形分布;然后提出基于热图的条件生成对抗网络策略,将由关节热图得到的姿态估计作为约束,实现网格精细调整;最后借助这2个策略得到的姿态和体形估计方法实现全局预测和局部细节求精的结合.在Ubuntu环境下,在3DPW,3DOH50K和Human3.6M公开数据集上的实验结果表明,与SMPLify,GraphCMR和SPIN等方法相比,所提方法在身体部分被遮挡时重建效果更好,并在ACK,AVE和PA-MPJPE等定量评价指标上取得了更好的结果.