基于改进OpenPose的行人关节点检测算法

针对车载图像存在目标行人较小、携带信息较少、无法准确检测行人关节点的问题,提出一种基于改进OpenPose的行人关节点检测算法。首先,通过增大输入图像分辨率和增加图像缩放比例来捕获车载视角下行人关节点的特征信息;其次改进网络结构,卷积核大小以及采用深度可分离卷积代替标准卷积来降低网络模型的参数数量和计算量。实验结果表明:改进网络在检测行人关节点准确率提高了6%,改进网络模型的参数量和计算量比原OpenPose减少69%和39%,提高了检测行人节点的速度。

基于关节点特征的跌倒检测算法

针对跌倒检测算法中存在网络计算量大和类跌倒行为难以区分的问题,提出一种基于关节点特征的跌倒检测算法。首先,在目前先进的CenterNet算法基础上提出了深度可分离卷积CenterNet(DSC-CenterNet)关节点检测算法,从而在减少骨干网络计算量的同时准确检测人体关节点并获取关节点坐标;然后,基于关节点位置和人体先验知识来提取可充分表达跌倒行为的空间特征和时间特征作为关节点特征;最后,把关节点特征向量输入全连接层,并经Sigmoid分类器输出跌倒或非跌倒两种类别,从而实现人体目标的跌倒检测。实验结果表明,所提算法在UR Fall Detection数据集上对不同状态变化下跌倒检测的平均准确率达到98.00%,区分类跌倒行为的准确率达到98.22%,跌倒检测速度为18.6 frame/s。与原CenterNet结合关节点特征跌倒检测的算法相比,DSC-CenterNet结合关节点特征算法的跌倒检测速度提升了22.37%,提高后的速度可有效满足视频监控下人体跌倒检测任务的实时性。该算法能有效提高跌倒检测速度并对人体跌倒状态进行准确检测,且进一步验证了基于关节点特征的跌倒检测算法在视频跌倒行为分析中的可行性与高效性。

基于RPEpose和XJ-GCN的轻量级跌倒检测算法框架

传统的以ViT(Vision Transformer)模型为基准架构的关节点检测模型通常采用二维正弦位置编码,易丢失图像关键的二维形状信息,导致精度下降;而行为分类模型中,传统的时空图卷积网络(ST-GCN)在单标签分区策略中存在非物理连接的关节连接间关联度缺失问题。针对上述问题,设计一种轻量化实时跌倒检测算法框架,以快速准确地检测跌倒行为。该框架包含关节点检测模型RPEpose(Relative Position Encoding pose estimation)和行为分类模型XJ-GCN(Cross-Joint attention Graph Convolutional Network)。一方面,RPEpose模型采用相对位置编码克服原有位置编码的位置不敏感的缺陷,提升ViT架构在关节点检测中的性能;另一方面,提出X-Joint(Cross-Joint)注意力机制,将分区策略重构为XJL(X-Joint Labeling)分区策略后,对所有关节连接之间的依赖关系建模,能获得关节连接潜在相关性,具有分类性能优异且参数量小的优势。实验结果表明,在COCO 2017验证集上,对于分辨率为256×192的图像,RPEpose模型的计算开销仅为8.2 GFLOPs(Giga FLOating Point of operations),测试平均精度(AP)为74.3%;在以交叉目标(X-Sub)为划分标准的NTU RGB+D数据集上,XJ-GCN模型的测试Top-1准确率为89.6%,所提框架RPEpose+XJ-GCN的处理速度为30 frame/s,预测准确率为87.2%,具有较高的实时性和准确性。

姿态检测网络在服装关键点检测中的应用

为了提供全面且精度较高的关键点用于确定服装的具体轮廓,提升服装配准和检索的精度,运用估计人体姿态的深度神经网络卷积姿态机(convolutional pose machine,CPM)建立模型,对数据图片进行色度等增强,利用高斯核函数建立图片真实标签,并且仿照特征金字塔改变前端网络结构,对模型进行训练。实验结果表明:卷积姿态机可以有效地应用于服装关键点检测;与其他模型相比,能够检测单个人全身的穿着及5种不同类别的服装,提升裤子或者衬衫等大种类的检测精度为1%。

基于深度学习和视觉检测的地铁违规行为预警系统研究与应用

近几年随着城市经济的高速增长,城市轨道交通也得到了飞速的发展,然而城市轨道交通运营中存在大量的地铁违规行为现象,己成为当前各种社会矛盾较为集中的热点问题之一。地铁违规行为现象以多种形式存在,例如厢内嬉戏打闹、车内饮食、斗殴、恶意霸占长条椅睡觉等。本文研究了目前最新的人体关节点检测模型,阅读研究了国内外相关领域最先进的文献,并在理论模型的基础上进行了相关的应用创新研究与实验。本文采用了HigherHRNet网络,并在该网络的基础上针对由于图片模糊而无法检测到关节点、错误地检测出镜像中人的关节点、非正常姿势而无法检测出所有关节点这三个问题进行了结构上和应用上的改进。实验结果表明关节点检测的平均精度(AP)是0.841,可视化展示中同时也解决了镜像干扰以及关节点不全的问题。

基于单目视频的跳台滑雪飞行阶段数据提取方法

针对跳台滑雪运动难度系数高,穿戴式传感器等入侵式设备易发生危险且价格昂贵而导致该运动数据提取困难的问题,提出了一种基于单目视频的跳台滑雪飞行阶段的数据提取方法。针对单目视频存在畸变和画面背景杂乱的问题进行预处理,通过标定相机参数对拍摄画面进行畸变矫正,并使用帧间差分法去除背景;利用OpenPose人体姿态识别库对运动员的关节位置进行初步识别,得到每一帧各个关节点的二维像素坐标;结合跳台滑雪运动员的姿态特性,针对识别出现误差的关节点,提出一种迭代拟合算法对其进行修正;根据修正后的关节点对运动员的运动特征进行提取与计算,并应用生成的人体模型与视频中运动员姿态进行动作比对。实验结果表明,迭代拟合算法提高了关节点识别准确率和识别精度,且修正关节点后生成的SMPL(skinned multiperson linear)三维人体模型更加贴合实际,证明了该算法对关节点修正的有效性。

基于卷积与Transformer的人体姿态估计方法对比研究

人体姿态估计是计算机视觉的基础性算法之一,为了探究人体姿态估计领域的研究发展趋势,文章首先介绍了基于卷积的经典人体姿态估计算法,论述各算法的基本原理及算法改进,其次对最新的基于自注意力模型(Transformer)的算法进行梳理,最后介绍了常用的公开数据集和模型评价指标,选取了几个经典算法进行对比分析,平均精度在马克斯·普朗克信息研究所(Max Planck Institute Informatik,MPII)数据集达到80%以上,在微软公共对象上下文(Common Objects in Context,COCO)数据集达到60%以上,得到卷积结构和Transformer结构互有优劣的结论。

深度学习的二维人体姿态估计综述

近年来人体姿态估计作为计算机视觉领域的热点,在视频监控、人机交互、智慧校园等领域具有广泛的应用前景。随着神经网络的快速发展,采用深度学习方法进行二维人体姿态估计,相较于传统需要人工设定特征的方法,更能充分地提取图像信息,获取更具有鲁棒性的特征,因此基于深度学习的方法已成为二维人体姿态估计算法研究的主流方向。然而,深度学习尚在发展中,仍存在训练规模大等问题,研究者们主要从设计网络以及训练方式入手对人体姿态估计算法进行改进。首先,将二维人体姿态估计分为单人与多人两大类进行论述;根据真值类型不同将单人姿态估计分为基于坐标回归与基于热图检测两类,根据算法步骤不同将多人姿态估计分为二步法与一步法两类,对近年来先进的算法进行总结分类介绍,并分析它们的优缺点以及适用范围;然后,介绍了相关的国际标准数据集以及相应的评价指标,并对几种经典算法进行实验数据对比;最后,对当前研究所存在的问题以及未来发展趋势进行了总结概述。

基于多项式拟合的模特走秀动作分类方法

为自动、准确地对模特走秀动作进行评价,提出了一种基于多项式拟合的动作分类方法。该方法首先利用基于局部亲和域的方法进行人体关节点检测,同时为消除相机视角和个体体型差异性,将检测到的关节点通过普氏分析进行数据校准;其次将人体关节点分为脊柱、上肢和下肢三部分,分别从水平和垂直方向进行多项式拟合;再次对得到的多项式系数进行数据降维;最后将降维后的多项式系数作为动作评价的特征,利用SVM分类器实现模特走秀动作分类。实验结果表明:该方法评价准确率为71.9%,初步实现对人体动作的定性评价。该方法为模特走秀的动作评估提供了一种解决方案。

部位级遮挡感知的人体姿态估计

随着深度学习的快速发展,人体姿态估计技术近年来取得显著进步,但是现有方法仍难以较好地处理普遍存在的遮挡问题.针对此问题,提出一种部位级遮挡感知的人体姿态估计方法.首先,采用基准人体姿态估计网络从含遮挡噪声的图像中获得各人体部位的带噪声特征表达.然后,通过遮挡部位预测模块估计人体被遮挡部位,从而获得可见性向量.遮挡部位预测模块由遮挡部位分类网络和可见性编码器组成,前者预测关节点的遮挡状态,后者利用注意力机制将遮挡状态转换为一组权重.最后,通过通道重加权方式融合可见性向量和带噪声特征,获得部位级遮挡感知的人体部位相关特征,用于计算关节点热图.在MPII和LSP(leeds sports pose)数据集上的实验结果表明,相比基准姿态估计网络,该方法能够在较小的额外计算代价下更好地应对遮挡问题,并且取得了比目前先进方法更佳的结果.

基于深度学习的人体姿态估计方法综述

全面综述了基于深度学习的人体姿态估计方法的研究进展。在比较分析各类单人姿态估计方法的基础上,从自上而下和自下而上两个方法角度总结了多人姿态估计算法。在自上而下方法中,着重介绍了局部区域重叠、关节点混淆、人体非典型部位关节点难以检测等问题的解决方案;在自下而上的方法中,重点关注聚类方法对关节点检测的贡献。对目前公共数据集上取得优异性能的代表性方法进行了对比和分析。这样做的目的是使研究者了解和熟悉该领域已有的研究成果,拓展研究思路和方法,并展望未来可能出现的研究方向。