基于深度学习的二维人体姿态估计研究进展

人体姿态估计在人体行为识别、人机交互、体育运动分析等方面有着广泛的应用前景,是计算机视觉领域的一个研究热点。在最近的十年中,得益于深度学习技术,大量的研究工作极大地推动了人体姿态估计技术的发展,但由于受训练样本不足、人体姿态的多变性、遮挡、环境的复杂性等因素影响,人体姿态估计仍然面临着诸多的挑战。文中对近年来基于深度学习的2D人体姿态估计方法进行归纳和总结,着重分析一些有代表性的人体姿态估计方法的思路及工作原理,以便研究人员了解当前的研究现状、面临的挑战以及今后的研究方向,拓展研究思路。

基于多源异构信息融合的采摘机械臂驱动控制研究

[目的]为了准确感知采摘机械臂的作业信息,提高驱动控制精度,需要对多自由度采摘机械臂的驱动控制模块进行优化设计。[方法]本研究将采摘机械臂各关节自由度、运动学以及动力学原理融合到设备结构中,完成了多自由度采摘机械臂等效模型的构建。基于构建的等效模型,确定多源传感器设备的安装位置,利用内部安装的传感器设备对机械臂的实时运行信息进行采集,获取位姿信息。同时,根据传感器的空间位置及其相互之间的作用进行信息分群,得出信息级融合结果,以此作为特征级信息融合结果的输入值,提取多源异构信息特征,并通过特征匹配完成融合操作,由此得出任意时刻采摘机械臂运行参数的检测结果。[结果]结合给定的采摘任务,计算采摘机械臂所需的驱动动力以及位姿数据,通过与当前数据的比对确定驱动控制量,利用装设的驱动控制器生成可执行的控制指令,完成驱动控制。与2种对照方法进行的对比试验显示,基于多源异构信息融合的驱动控制方法采摘机械臂的位置控制误差降低约25 mm,姿态角与驱动力控制误差分别降低了0.22°和6.32 mm,得出的控制数据更精准。[结论]由于多源异构信息融合技术能够发挥多种数据的优势,获取到更全面、更准确的位姿信息和控制数据,能够实现对目标果实的精准采摘,从而降低了采摘工作对果实的伤害,具有明显的对比优势和应用价值。

行人重识别模型的多任务损失设计

行人重识别是一项利用计算机视觉技术判断图像中是否存在特定行人的任务。为研究Re-ID模型使用身份标签不能有效地学习不同行人之间的相似局部外观问题,提出了一种基于多任务损失的Re-ID方法。首先,通过主干网络提取全局特征以及局部特征,借助姿态估计算法检测行人身体部位,将身体部位的特征与局部特征组进行融合形成人体姿态引导特征;其次,通过多任务损失方法指导模型对人体姿态引导特征以及全局特征进行优化,从而增强模型对遮挡以及不具有区分性局部外观的鲁棒性。结果表明:多任务损失方法在Occluded-Duke、Market 1501和DukeMTMC-reID数据集上的mAP/Rank-1的精度分别达到了59.7%/67.9%,88.4%/94.9%和80.6%/89.9%。为避免训练集与测试集数据之间分布的差异性导致预训练模型产生次优检索结果的问题,提出了一种基于图卷积网络的重排序方法,该方法利用图卷积算子在图上将行人的最近邻特征传播,从而优化了每个图像的表示,以获得更优的检索结果。

基于单视图的带纹理三维人体网格参数化重建

针对计算机视觉中的三维人体重建问题,文章提出一种端到端的的网络框架,在三维和二维混合监督下,从单幅彩色图像重建带纹理信息的精准三维人体网格。使用4个编码器分别提取形状姿态特征、纹理特征、光照参数和像机参数,得到的图像特征被送入三维回归模块,迭代推断出三维人体参数;纹理参数送入纹理解码器网络得到纹理图;学习到的人体参数可转化为三维人体网格;对于损失函数的设置,预测的人体网格顶点与真实顶点的差值用来进行三维监督;通过预测的像机参数、光照参数和纹理计算二维渲染损失;通过三维关节投射得到的二维关节与图像上的二维关节真值计算二维关节重投影损失;生成对抗网络的鉴别器使得渲染图像更加真实。该文方法与现有的三维人体重建方法相比具有竞争力,而且重建的三维人体网格带有纹理信息。

基于转台的多视角多姿态锁销点云模型重建

集装箱锁销曲面结构复杂,因而建立出一个曲面特征完整度较高的点云模型较为困难.考虑到在大多数场景下,位于固定高度的传感器搭配旋转的转台采集的曲面特征通常会存在一定的缺失.为此,提出了一种基于转台的多视角多姿态点云模型重建算法,还原锁销较完整的曲面特征.首先,利用转台参数标定结果,实现多视角三维点云的拼接,建立一个固定姿态下的点云模型;其次,通过提出的改进球面投影算法,选取锁销置于转台的摆放姿态,建立另一姿态下的点云模型;最后,融合多个姿态下的点云模型,提高其具备的曲面特征.实验结果表明,所提出的算法能建立出曲面特征完整度较高的锁销点云模型.

三通道多姿态面部正面化方法

针对现有面部正面化网络在复杂环境下难以保留面部显著性特征的问题,提出一种三通道(局部、半全局和全局)面部正面化方法。在TP-GAN算法的原有框架基础上设计半全局网络,融合全局网络和局部网络之间的依赖关系,使生成的正面化图像的分布与真实面部图像更接近;在半全局网络中设计多时空深度注意力模块,促进网络学习到更多面部显著性特征;将所提方法应用于CAS-PEAL-R1数据集和自建数据集,采用Rank-1指标进行评估。实验结果表明,所提方法在所有角度下的Rank-1平均准确率为99.40%,验证添加了多时空深度注意力模块的半全局网络可以有效保留面部显著特征,提高面部匹配准确率。

基于深度学习的二维人体姿态估计:现状及展望

二维人体姿态估计旨在从摄像机拍摄的图像中识别并定位每个行人的人体关键点.作为行人分析和理解领域的基础任务之一,人体姿态估计能够为多个下游任务和应用提供支持.近年来,随着深度学习技术的进步,人体姿态估计的研究迎来快速发展.基于图像包含的行人数量,人体姿态估计可以分为单人姿态估计和多人姿态估计两大类.本文首先介绍人体姿态估计的研究背景、问题定义、任务难点以及当前方法中的关键点表示方法.在此基础上,本文进一步总结和介绍了具有代表性的单人姿态估计和多人姿态估计方法.单人姿态估计方法包括回归法和检测法,主要关注于网络结构设计、热力图编解码、多任务学习等.对于多人姿态估计,本文分别介绍了基于热力图预测的方法和基于向量场回归的方法.随后,本文总结了当前常用的代表性数据集和性能度量方法,总结了代表性方法在几个常用数据集上的性能,对它们的预测错误的场景进行了详细分析和对比.最终,本文分析了现有二维人体姿态估计算法仍未有效解决的难题,对未来研究进行了展望.

人体上肢运动姿态多点视觉自动跟踪仿真

由于视觉传感器本身的噪声以及运动模糊等原因,使得采集的运动上肢姿态数据存在噪声和误差,导致多点视觉自动跟踪精度较低。为此,提出人体运动上肢姿态多点视觉自动跟踪方法仿真。布设多维传感器对姿态多点采集,建立传感器加速度误差模型,获取误差修正目标函数,利用蚁群算法(Ant Colony Optimization, ACO)寻优,修正传感器采集过程中的误差;采用卡尔曼滤波算法(Kalman Filtering Algorithm, Kalman),实现人体运动上肢姿态的多点视觉自动跟踪。实验结果表明,所提方法能够在保障跟踪稳定性的用时,提高姿态跟踪的精度和效率,跟踪耗时仅为10ms左右。

引入级联通道注意力的轻量化人体姿态估计

针对当前人体姿态估计模型在轻量化过程中精度损失严重的问题,以高分辨率网络(HRNet)为基线提出一种引入级联通道注意力的轻量化人体姿态估计模型。构建一种保持内部高分辨率特征的级联通道注意力,学习输入特征各通道的重要性来提高模型表征能力;通过设计一种基于MetaFormer结构的轻量级深度卷积变换模块来替换HRNet阶段2、3、4中运算复杂度较高的残差模块;设计一种多尺度特征融合方法减少HRNet原融合方法中的多维特征语义信息损失;采用无偏数据处理来消除关键点热力图编码过程中导致的偏移误差。COCO2017验证集的实验结果表明,所提出的模型同基准模型相比,在AP降低2个百分点的情况下,模型参数量和浮点运算量分别减少了90.2%和83.1%,并且以AP为71.4%的表现在轻量化模型中达到精度最优。

基于多分支架构的目标三维位姿实时估计方法

针对车路协同应用场景中目标尺度与位置值域跨度大导致的位姿实时估计精度低、回归求解模型收敛慢的问题,提出了一种基于多分支架构的目标三维位姿实时估计方法。在目标二维检测算法模型架构基础上,设计位姿估计分支结构,用于输出目标姿态四元数、目标相对相机的三维空间位置及目标长宽高。在训练阶段,为位姿估计分支设计了相应的损失函数,采用向量单位化算子回归姿态四元数、对数重映射算法回归目标尺寸与目标到相机距离;在推理阶段,根据模型输出的四元数和目标到相机距离解算出目标三维位姿,实现精确的位姿估计。在OVRC数据集的位姿精度验证中,位置坐标误差的均方差最大为1.94 m,姿态角误差的均方差最大为3.98°;在Kitti数据集的相对精度测试实验中,相比PVNet方法,检测精度提升了3.22%,相比3DBB方法,推理效率提升一倍。

基于人体和场景上下文的多人3D姿态估计

深度歧义是单帧图像多人3D姿态估计面临的重要挑战,提取图像上下文对缓解深度歧义极具潜力.自顶向下方法大多基于人体检测建模关键点关系,人体包围框粒度粗背景噪声占比较大,极易导致关键点偏移或误匹配,还将影响基于人体尺度因子估计绝对深度的可靠性.自底向上的方法直接检出图像中的人体关键点再逐一恢复3D人体姿态.虽然能够显式获取场景上下文,但在相对深度估计方面处于劣势.提出新的双分支网络,自顶向下分支基于关键点区域提议提取人体上下文,自底向上分支基于三维空间提取场景上下文.提出带噪声抑制的人体上下文提取方法,通过建模“关键点区域提议”描述人体目标,建模姿态关联的动态稀疏关键点关系剔除弱连接减少噪声传播.提出从鸟瞰视角提取场景上下文的方法,通过建模图像深度特征并映射鸟瞰平面获得三维空间人体位置布局;设计人体和场景上下文融合网络预测人体绝对深度.在公开数据集MuPoTS-3D和Human3.6M上的实验结果表明:与同类先进模型相比,所提模型HSC-Pose的相对和绝对3D关键点位置精度至少提高2.2%和0.5%;平均根关键点位置误差至少降低4.2 mm.

基于时变颜色标识的位姿测量方法研究

为实现低照度环境中大范围位置姿态测量,提出了一种基于时变颜色标识的低照度位姿测量方法。首先,采用颜色可编程控制的LED灯珠,构建一种时变颜色、多层嵌套的合作标识;其次,检测、识别与定位LED灯珠,采用EPnP位姿解算方法得到单层姿态测量结果,并基于尺寸置信度加权的信息融合方法,实现多层标识姿态测量结果的融合。实验结果表明,该方法在正常光线环境中,时变颜色标识的测量性能良好,位姿测量有效范围大。在低照度环境中,时变颜色标识的位姿测量精度优于正常光线环境中测量精度。

基于改进YOLOv5s-pose的多人人体姿态估计

为了提高多人人体姿态检测的准确率,本研究采用YOLOv5s模型用于多人人体姿态检测并对模型进行改进。首先,引入坐标注意力(Coordinate Attention)模块改进骨干网络,将注意力资源分配给关键区域,降低复杂环境中的背景干扰,增强模型对多人目标的精准定位能力。其次,使用双向特征金字塔网络改进YOLOv5s的特征融合网络,增强网络的信息表达能力。实验结果表明:在多人人体姿态MS COCO2017验证集上,经改进的YOLOv5s算法的检测平均精度高达61.9%,相比原始YOLOv5s网络,平均精度提升了1.5%。由此可见,改进后的网络能更加精准、有效地检测多人人体姿态。

基于扩展卡尔曼滤波的清仓机器人位姿识别方法

煤矿水仓巷道光照强度不均匀且结构化特征明显,传统基于视觉的机器人位姿识别方法识别不准确,而单一的机器人定位技术如自适应蒙特卡洛(AMCL)方法随着清仓机器人的长时间运行,输出的位姿信息存在较大累计误差,易出现煤泥清理不干净、与两侧巷道发生碰撞的情况。针对上述问题,提出了一种基于扩展卡尔曼滤波的多传感器融合清仓机器人位姿识别方法。首先搭建多传感器融合算法框架,建立里程计、惯性测量装置、激光雷达数据采集模型;其次基于扩展卡尔曼滤波原理,以惯性测量装置角度信息建立观测方程,结合里程计位姿信息,得到第1次融合的清仓机器人位姿矩阵,利用激光雷达的位置信息与之前的位姿矩阵进行迭代,得到第2次融合的清仓机器人位姿矩阵;最后采用互补滤波算法对融合后的清仓机器人位姿矩阵进行处理,输出最终的清仓机器人位姿矩阵。实验结果表明:在直线位姿识别中2次的最大位置误差为0.04 m,最大姿态角误差为0.05 rad;在模拟巷道实验中的最大位置误差为0.1 m,最大姿态角误差为0.085 rad;与AMCL方法相比,基于扩展卡尔曼滤波的清仓机器人位姿识别方法在减少清仓机器人运行过程中的累计误差方面表现出显著的有效性。

基于IMU与激光雷达融合的无人弹药补给车SLAM系统研究

针对单一传感器建图精度低、实时性不足的问题,将IMU融合到激光雷达SLAM算法中。首先,采用手眼标定方法对2种传感器坐标系外参进行标定,实现传感器在时间与空间上的对齐。然后,结合因子图优化模型,解决在建图过程中产生的漂移现象,并将IMU融合到激光雷达LeGO-LOAM算法中。最后,在室外场景下搭建了无人弹药补给车SLAM实验平台,分别进行了LeGO-LOAM算法融合IMU前后的建图和定位试验。结果表明,融合IMU后的SLAM算法建图和定位精度都明显提高,满足了在未知环境下无人弹药补给车建图和定位的性能要求。

基于多特征提取的3D人体姿态估计算法

作为人工智能计算机视觉领域一项重要的任务,3D人体姿态估计受到了广泛的关注,并成功地应用在人机交互、电影游戏制作等领域。然而,3D人体姿态估计仍然面临着很大的挑战,主要是人体遮挡问题和数据集视角冗余问题,这些问题严重影响了3D人体姿态估计结果精度与速度的提升。本文提出了一种基于多特征提取的3D人体姿态估计方法。首先通过采集多个相机视角下的图片数据,将所采图片数据放入2D人体关节点检测网络模型中,得到人体2D关节点。接着将采集到的人体数据输入到关节点置信度计算网络模型,得到视角图片中各个关节点的权重值。随后将2D人体关节点热图通过一个热图权重计算网络计算出热图权重,将各个视角下的权重特征计算融合得到加权后的2D人体关节点热图。最后将所得加权后的2D人体关节点热图和视角图片中各个关节点的权重值输入到三角化算法中,映射得到空间中的3D人体关节点。本文的关键思想是设计一个关节点置信度计算网络从输入图像中学习每个关节的置信度权重,同时提取了反映热图特征质量的权重矩阵,以提高遮挡视图中热图的特征质量。此外,使用感知哈希算法对Occlusion-Person数据集进行去视角实验,在保证结果准确性的同时提高了模型推理速度。本文方法是端到端可微的,可以显著地提高算法效率和鲁棒性。本文在Human3.6M和Occlusion-Person两个公共数据集上使用平均关节位置误差(Mean Per Joint Position Error,MPJPE)指标对该方法进行评估,分别取得27.3 mm和9.7 mm的结果。实验结果表明,该算法与最先进的方法相比,性能有了显著提升。

面向组合光学跟踪测量的多位姿耦合中转标定

全局定位跟踪与终端测量组合的测量系统,是大尺寸工件整体测量的有效解决方案。然而,组合测量系统中,终端测量坐标系到定位靶标坐标系的中转变换是影响全局测量精度的关键因素。针对现有的公共特征点进行中转位姿标定的方法存在的站位制约问题,提出了一种多位姿耦合中转标定求解方法。该方法弱化了全局测量系统与特征点位置摆放要求,利用中转位姿与多个靶标位姿耦合的形式构建方程组进行求解,在此基础上进一步提出了一种多位姿多点耦合中转标定法,将多个局部特征点同时与位姿进行耦合求解,以提高中转位姿解的稳定性,并减少中转标定误差。最后,通过设计中转标定实验和组合测量精度验证实验。比较两种方法得出,多位姿多点耦合中转标定方法的位姿求解结果更加稳定,平均测量误差减少10.13%,验证了该方法的稳定性与有效性。

基于多尺度特征融合的双分支手部姿态估计算法

由于RGB图像的深度歧义性,关节点的深度坐标相对于关节点的二维图像坐标来说更难预测。提出一种基于手部多尺度特征融合的双分支手部姿态估计算法,将手部关节点的二维图像坐标和深度坐标进行分组预测。采用FPN提取手部多尺度特征,提出特征融合模块,对手部多尺度特征进行融合增强,得到手部高层特征和低层特征;提出双分支网络结构,利用融合之后的手部高层特征和低层特征分别预测手部关节点的深度坐标和二维图像坐标。在两个公开的手势数据集上进行了充分实验,与当前最好方法相比,所提方法在平均关节误差指标上取得了当前最好结果。

联合注意力和条件GAN的被遮挡人体姿态和体形估计方法

基于图像的人体姿态和体形估计常常因人体被遮挡而充满挑战.为此,提出一种基于单幅图像的姿态和体形估计方法.首先提出多尺度的注意力模块策略,输出具有丰富上下文信息的多尺度注意力特征,以有效地获得不受遮挡影响的全局的姿态和体形分布;然后提出基于热图的条件生成对抗网络策略,将由关节热图得到的姿态估计作为约束,实现网格精细调整;最后借助这2个策略得到的姿态和体形估计方法实现全局预测和局部细节求精的结合.在Ubuntu环境下,在3DPW,3DOH50K和Human3.6M公开数据集上的实验结果表明,与SMPLify,GraphCMR和SPIN等方法相比,所提方法在身体部分被遮挡时重建效果更好,并在ACK,AVE和PA-MPJPE等定量评价指标上取得了更好的结果.

煤矿井下移动机器人多传感器自适应融合SLAM方法

基于同时定位与建图(SLAM)技术的移动机器人能够快速、准确、自动化地采集空间数据,进行空间智能感知和环境地图构建,是实现煤矿智能化和无人化的关键。针对目前煤矿井下多传感器融合SLAM方法存在机器人前端位姿估计退化失效和后端融合精度不足的问题,提出了一种煤矿井下移动机器人激光雷达(LiDAR)−视觉−惯性(IMU)自适应融合SLAM方法。对LiDAR点云数据进行聚类分割,提取线面特征,利用IMU预积分状态进行畸变校正,采用基于自适应Gamma校正和对比度受限的自适应直方图均衡化(CLAHE)的图像增强算法处理低照度图像,再提取视觉点线特征。用IMU预积分状态为LiDAR特征匹配与视觉特征跟踪提供位姿初始值。根据LiDAR相邻帧的线面特征匹配得到移动机器人位姿,之后进行视觉点线特征跟踪,分别计算LiDAR、视觉、IMU位姿变化值,通过设定动态阈值来检测前端里程计的稳定性,自适应选取最优位姿。对不同传感器构建残差项,包括点云匹配残差、IMU预积分残差、视觉点线残差、边缘化残差。为了兼顾精度与实时性,基于滑动窗口实现激光点云特征、视觉特征、IMU测量的多源数据联合非线性优化,实现煤矿井下连续可用、精确可靠的SLAM。对图像增强前后效果进行试验验证,结果表明,基于自适应Gamma校正和CLAHE的图像增强算法能显著提升背光区和光照区的亮度和对比度,增加图像中的特征信息,大幅提升特征点提取数量和匹配质量,匹配成功率达90.7%。为验证所提方法的性能,在狭长走廊和煤矿巷道场景下进行试验验证,结果表明,所提方法在狭长走廊场景的定位均方根误差为0.15 m,构建的点云地图一致性较高;在煤矿巷道场景中的定位均方根误差为0.19 m,构建的点云地图可真实地反映煤矿井下环境。