面向人体姿态图像关键点检测的深度学习算法

传统人体姿态检测方法提取图像信息能力弱,易受背景环境干扰,在图像辨识上具有一定的局限性。为解决由于背景干扰而导致的人体姿态识别准确率低、计算效率差的问题,提出了一种基于人体关键点骨架合成与上深度学习姿态识别算法相结合的框架体系。首先采用MobileNet残差网络优化Open Pose网络结构,降低人体骨骼关键点识别的计算复杂度,提高计算效率;然后通过PAF算法预测骨架的最优连通域,构建出最优人体骨架信息,并基于最优骨架信息生成人体骨架辅助框提取法则,提取人体姿态的相对位置,解决环干扰的问题;接着将人体关键点特征与HOG特征有机融合,基于深度学习网络构建出OP-GAN人体姿态识别模型。仿真结果表明,与传统SVM模型相比,OP-GAN模型的F1综合性能指标提升了6.85%;与其它深度学习算法相比,关键点特征的融合以及GAN网络的使用均与模型的性能指标呈正相关关系。因此,新构建的OP-GAN人体姿态识别模型通过解决背景干扰的同时,提高了人体姿态识别的准确率与效率。

基于锚点的快速三维手部关键点检测算法

在人机协作任务中,手部关键点检测为机械臂提供目标点坐标,A2J(Anchor-to-Joint)是具有代表性的一种利用锚点进行关键点检测的方法。A2J以深度图为输入,可实现较好的检测效果,但对全局特征获取能力不足。文中设计了全局-局部特征融合模块(Global-Local Feature Fusion,GLFF)对骨干网络浅层和深层的特征进行融合。为了提升检测速度,文中将A2J的骨干网络替换为ShuffleNetv2并对其进行改造,用5×5深度可分离卷积替换3×3深度可分离卷积,增大感受野,有效提升了骨干网络对全局特征的提取能力。文中在锚点权重估计分支引入高效通道注意力模块(Efficient Channel Attention,ECA),提升了网络对重要锚点的关注度。在主流数据集ICVL和NYU上进行的训练和测试结果表明,相比于A2J,文中所提方法的平均误差分别降低了0.09 mm和0.15 mm。在GTX1080Ti显卡上实现了151 frame·s^(-1)的检测速率,满足人机协作任务对于实时性的要求。

基于多尺度增量学习的单人体操动作中关键点检测方法

人体关键点检测是计算机视觉的热点研究领域.目前,对于体操动作关键点检测,仍存在检测精度不足及缺乏细节部位检测能力等问题.为了提升检测精度,本文设计了一种多分辨率网络,该网络在浅层具备较大感受野,同时能够利用高分辨率通道增强细节特征的提取能力.为实现对手部及脚部关键点的检测,设计了一种增量学习网络.该网络融合了多分辨率网络的浅层特征并利用自建数据集计算深层特征以提升网络对手部及脚部关键点的检测能力.最后对两个网络输出结果进行合并.计算机仿真表明,多分辨率网络在COCO2017关键点检测数据集上达到了94.4%的准确率,并且增量学习网络能够在训练数据较少的情况下实现对细节部位关键点的准确检测.

基于扩散模型的ControlNet网络虚拟试衣研究

为快速生成特定服装款式的成衣效果图,采用扩散模型,应用ControlNet网络实现虚拟试衣。首先将人体的关键点检测图与深度图作为扩散模型的控制条件,生成姿态可控的虚拟模特;再通过Canny边缘图生成虚拟试衣效果图。以3款连衣裙为例进行虚拟试衣实验,并优化扩散模型控制条件的参数设置;最后将生成结果与三维建模虚拟试衣结果进行对比和评价。结果表明:结合ControlNet网络的扩散模型能够控制虚拟模特的姿态特征,通过服装Canny边缘图可以生成特定服装款式的虚拟试衣效果。该方法生成的虚拟试衣相较三维建模技术实现的虚拟试衣方法更具表现力,操作更加直观快捷,能够为设计师提供款式图的成衣效果可视化参考,从而提高服装设计效率。

基于关键点检测的坐姿识别方法

针对直接应用深度学习分类算法所得模型泛用性较差的问题,提出了一种分两个步骤完成人体坐姿识别的方法。所提方法首先提取图片中人体上身关键点的坐标信息,在关键点检测环节采用高分辨率主干网络,并进一步改进了模型结构,在下采样环节中引入SE(Squeeze-and-Excitation)注意力机制,加强了空间位置特征的表达,取得了更高的检测平均精准度;然后采用随机森林算法对关键点进行坐姿分类。实验结果表明:所提方法识别准确率可以达到94%以上,并且在陌生场景下有更好的泛用性,能适应实际应用中复杂的人物环境。

基于人体和场景上下文的多人3D姿态估计

深度歧义是单帧图像多人3D姿态估计面临的重要挑战,提取图像上下文对缓解深度歧义极具潜力.自顶向下方法大多基于人体检测建模关键点关系,人体包围框粒度粗背景噪声占比较大,极易导致关键点偏移或误匹配,还将影响基于人体尺度因子估计绝对深度的可靠性.自底向上的方法直接检出图像中的人体关键点再逐一恢复3D人体姿态.虽然能够显式获取场景上下文,但在相对深度估计方面处于劣势.提出新的双分支网络,自顶向下分支基于关键点区域提议提取人体上下文,自底向上分支基于三维空间提取场景上下文.提出带噪声抑制的人体上下文提取方法,通过建模“关键点区域提议”描述人体目标,建模姿态关联的动态稀疏关键点关系剔除弱连接减少噪声传播.提出从鸟瞰视角提取场景上下文的方法,通过建模图像深度特征并映射鸟瞰平面获得三维空间人体位置布局;设计人体和场景上下文融合网络预测人体绝对深度.在公开数据集MuPoTS-3D和Human3.6M上的实验结果表明:与同类先进模型相比,所提模型HSC-Pose的相对和绝对3D关键点位置精度至少提高2.2%和0.5%;平均根关键点位置误差至少降低4.2 mm.

强化先验骨架结构的轻量型高效人体姿态估计

为了更好地利用人体姿态关键点特有的分布属性,提出强化先验骨架结构的轻量型高效人体姿态估计方法.利用高分辨率网络较好地保留空间位置信息,为了进一步降低模型参数量,提出轻量倒残差模块.设计体位强化模块,利用全局空间特征和上下文信息强化躯干位置的先验信息及关键点之间的联系.针对多分辨率特征图像融合时,像素位置模糊、卷积核优化方向偏移导致关键点空间特征信息遗失的问题,提出方向强化卷积模块,利用躯干上关键点分布的水平和垂直方向特性,高效融合关键点先验分布.实验结果表明,利用该网络,可以高效地估计人体姿态.与基准网络相比,该模型在COCO测试集上的平均精度达到78.4,参数量减少了17.4×10^(6),兼顾精度与效率.

基于AlphaPose模型的远距离行人头部姿态估计算法

在公共场所的监控视频中,远距离的行人目标头部区域占比往往较小并且头部区域分辨率较低,仅靠目标检测算法和头部姿态估计模型检测并分类头部特征来判定头部姿态或注视方向存在较大难度.考虑到目前不同分辨率下的人体骨骼关键点估计算法越来越成熟,本研究提出一种利用骨骼关键点和头部姿态之间的关系来进行远距离行人的头部姿态估计算法.该算法首先利用AlphaPose模型检测出二维人体骨骼关键点的全局坐标值,然后根据部分骨骼关键点的坐标值计算出头部朝向象限角度,最后根据预设角度范围计算并可视化出视线落点.目前,尚没有公开发布的可用于远距离行人头部姿态估计的数据集,因此本文建立了一个远距离行人头部姿态系统,以对现有的数据集进行标注,并利用标注的数据集对提出的方法进行测试.结果表明,本文提出的算法可以较精准地判定到远距离行人的头部姿态和注视方向,准确率达到69.7%.

基于全局特征信息感知网络的二维人体姿态估计

针对高分辨率网络(high-resolution network,HRNet)在人体姿态估计任务中全局特征信息获取能力不足导致的人体关键点预测不够准确的问题,提出一种基于全局特征信息感知网络的人体姿态估计模型。该模型采用双分支结构,包括HRNet分支和全局特征信息感知分支,其中全局特征信息感知分支中全局特征信息获取模块将图片分割成多个序列块,再通过编码器获取其全局特征,最后通过全局特征信息融合模块将全局特征信息高效地嵌入HRNet分支中。在COCO数据集和MPII数据集上的实验结果表明,与其他传统的人体姿态估计模型相比,改进后模型的精度有明显提升。

K2MP二维人体骨架关键点检测方法设计

针对使用Kinect 2.0检测人体骨架关键点时存在的三个问题:因为自遮挡而造成的关键点检测结果错误;在人转身后错误区分左右关键点;当人手持形状类似于手臂的物品时错误的检测手臂的关键点。本文设计了一种二维人体骨架关键点检测方法K2MP,其将Kinect 2.0与Mediapipe Pose检测出的人体骨架关键点进行结合得到最终结果。该方法首先将Kinect 2.0采集到的红外图像转换成RGB格式并传送给MediaPipe Pose进行处理,然后将Kinect 2.0与MediaPipe Pose检测出的人体骨架关键点进行筛选整合得到最终关键点检测结果。经过实验验证,该方法在二维层面上解决了Kinect 2.0在检测关键点时存在的前述问题。该方法即便在无光照环境下仍能工作。

人体关键点检测的Mask R-CNN网络模型改进研究

由于在现有的人体关键点检测问题中,深度学习解决方案采用的掩膜区域卷积神经网络Mask R-CNN存在参数量大导致计算成本过高、迭代次数多导致训练时间过长等问题,提出了一种基于重组通道网络ShuffleNet改进Mask R-CNN网络模型。通过引入ShuffleNet的网络结构,使用分组逐点卷积与通道重排的操作与联合边框回归和掩膜分割的计算结果对Mask R-CNN进行轻量化改进。使用该方法改进网络模型在进行单人或多人情况下的人体关键点检测中,在保留精度的前提下,可以加快运行速度,减少检测时间。

热图引导连接的人体姿态估计方法

人体姿态估计是计算机视觉研究领域的重要方向之一,广泛应用于人类活动识别、人机交互等方面,但人体姿态估计方法准确度上通常表现较差。基于上述问题,提出一种基于热图引导连接(heatmap-guided connection,HGC)的人体姿态估计方法,用于在保持低算法复杂度的同时提高回归精度。HGC方法利用关键点热图引导关键点回归,并采用一种尺度自适应热图估计,以处理人体实例在尺度的多样性;然后,通过构建一种联合最终姿态结构和关键点热值的评分网络,实现待估计姿势与数据集中真实姿态良好的拟合效果。实验结果表明,低复杂度情况下,所提出的HGC方法在COCO数据中平均精度得分达到72.9,优于当前主流的算法。

基于图像识别技术的卷烟零售数据采集方法

为了实现卷烟零售数据的自动化采集,提出了一种基于图像识别技术的卷烟零售数据采集方法。首先,基于深度图设计一种人体检测与跟踪算法,稳定跟踪消费者在购买卷烟期间的行动轨迹;其次,实现一种7点式的人体关键点检测算法,检测顶式视角下的人体关键点;然后,构建卷烟的检测与识别算法,检测卷烟在图像中位置与姿态并识别卷烟的牌号;最后,融合人体跟踪信息、人体关键点信息、卷烟位置和牌号信息构建一种消费者行为识别方法,实现卷烟零售数据的采集。结果表明:数据采集方法的准确率达到95.6%,通过图像识别技术实现卷烟零售数据的自动化采集是可行的。

基于RetinaNet-CPN网络的视频人体关键点检测

为解决基于视频流的人体关键点检测效果不佳及视频流切片后可能会发生运动模糊的问题,提出了一种改进的RetinaNet-CPN网络对人体关键点进行检测,有效解决切片后运动模糊图像的干扰并提高了人体关键点的检测准确率.视频流切片后,先用改进的RetinaNet网络检测出图片中的所有人并对每个目标框做模糊检测,对大于阈值的目标框做去模糊处理,最后用引入注意力机制的CPN网络提取关键点.将RetinaNet衡量预测框与真实框差异的IOU函数改成DIOU后,在仿真实验中目标检测AP提高了近3%;对于模糊的图片,利用匀速直线运动频谱特征估算出的模糊核与实际模糊核相差不大,对其做去模糊处理后基本能恢复出原清晰图片;同时引入注意力机制为各通道和特征层分配合理的权重,使得CPN检测AP提高近1%, AR提升0.5%.

基于人体关键点和YOLOv4的吸烟行为检测

基于机器视觉的吸烟行为检测主要利用深度学习对烟头进行目标检测,识别准确率不高。针对此问题,提出了一种基于人体关键点和YOLOv4的吸烟行为检测方法。在利用深度学习对烟头进行目标检测的基础上,加入人体关键点检测,通过计算距离、角度、时间周期判断吸烟动作是否发生。该方法首先利用AlphaPose、RetinaFace获得人体关键点位置信息;然后基于关键点位置信息计算手部与嘴部的距离、手、肘、肩膀之间的角度、吸烟的时间周期,设置吸烟行为规则;最后结合YOLOv4检测图像中是否有烟头,判断是否存在吸烟行为。实验结果表明,在自采集的吸烟数据中,该方法能够及时有效地检测出吸烟行为。

基于深度学习的二维人体姿态估计综述

人体姿态估计是计算机视觉领域的一个基础且具有挑战的任务,人体姿态估计对于描述人体姿态、描述人体行为等至关重要,是行为识别、行为检测等计算机视觉任务的基础.近年来,随着深度学习的发展,基于深度学习的人体姿态估计算法展现出了极其优异的效果.从单人人体姿态估计、自顶向下的多人人体姿态估计和自底向上的多人人体姿态估计这3种主流的人体姿态估计方式,介绍近年来基于深度学习的二维人体姿态估计算法的发展,并讨论目前二维人体姿态估计所面临的困难和挑战.最后,对人体姿态估计未来的发展做出展望.

部位级遮挡感知的人体姿态估计

随着深度学习的快速发展,人体姿态估计技术近年来取得显著进步,但是现有方法仍难以较好地处理普遍存在的遮挡问题.针对此问题,提出一种部位级遮挡感知的人体姿态估计方法.首先,采用基准人体姿态估计网络从含遮挡噪声的图像中获得各人体部位的带噪声特征表达.然后,通过遮挡部位预测模块估计人体被遮挡部位,从而获得可见性向量.遮挡部位预测模块由遮挡部位分类网络和可见性编码器组成,前者预测关节点的遮挡状态,后者利用注意力机制将遮挡状态转换为一组权重.最后,通过通道重加权方式融合可见性向量和带噪声特征,获得部位级遮挡感知的人体部位相关特征,用于计算关节点热图.在MPII和LSP(leeds sports pose)数据集上的实验结果表明,相比基准姿态估计网络,该方法能够在较小的额外计算代价下更好地应对遮挡问题,并且取得了比目前先进方法更佳的结果.

基于高分辨率网络的人体姿态估计方法

人体姿态估计在人机交互和行为识别应用中起着至关重要的作用,但人体姿态估计方法在特征图尺度变化中难以预测正确的人体姿态。为了提高姿态估计的准确性,将并行网络多尺度融合方法和生成高质量特征图的方法结合进行人体姿态估计(RefinedHRNet)。在人体检测基础之上,采用并行网络多尺度融合方法在阶段内采用空洞卷积模块来扩大感受野,以保持上下文信息;在阶段之间采用反卷积模块和上采样模块生成高质量的特征图;然后并行子网络最高分辨率的特征图(输入图像尺寸的1/4)用于姿态估计;最后采用目标关键点相似度OKS来评价关键点识别的准确性。在COCO2017测试集上进行实验,该方法比HRNet网络模型姿态估计的准确度提高了0.4%。

轻量型高分辨率人体关键点检测改进研究

人体关键点检测任务作为一种像素级别的检测任务,深度学习方法通常采用高分辨率特征图表征方法来回归关键点以增强检测效果。针对该方法由于始终采用高分辨率表征导致的参数量过大、运算复杂度要求过高的问题,提出了两种轻量型基础网络模块为Gattneck模块与Gattblock模块,以HRNet(High-Resolution Network)为基础框架,构建出一种轻量型人体关键点检测网络GattNet(Ghost-attention Network)。通过引入线性变换生成冗余特征图与通道注意力机制对通道权重进行重分配对HRNet进行轻量化改进,使用该方法网络参数量下降41.5%,运算复杂度降低36.7%。在MS COCO(Microsoft Common Objects in Context)2017数据集上进行验证,实验结果表明所提出GattNet网络在保留精度的前提下有效降低了参数量与运算复杂度。

基于轻量级网络的实时人体关键点检测算法

为提升人体姿态估计在移动终端设备上的运行速度与实时性,提出一种改进的人体关键点检测算法。通过将MobileNetV2轻量级主干网络与深度可分离卷积模块相结合加速特征提取过程,使用精炼网络进行多尺度人体关键点预测,并利用融合网络整合多个尺度的预测结果得到最终人体关键点检测结果。实验结果表明,与传统CPM算法相比,该算法在网络模型参数量和浮点运算量明显减少的情况下PCKh@0.5仅下降0.1个百分点,具有较高的检测精度和较好的实时性。