基于骨骼关键点的室外群体情绪识别

本文提出了一种基于骨骼关键点的室外群体情绪识别方法。首先,通过YOLOPose算法对群体中每个人进行跟踪检测和姿态估计;其次,通过姿态估计得到骨架信息,并通过骨架信息计算每个人的情绪特征;最后,将骨架信息和情绪特征输入到建立的双分支姿态情绪识别模型(D-ConvLSTM)中,提取并融合2个分支的多层次时空特征,从而根据融合后的双分支特征进行情绪分类,得到群体中每个人的情绪识别结果。实验结果表明,所提方法具有较高的室外群体情绪识别精度。

基于改进CPMs和SqueezeNet的轻量级人体骨骼关键点检测模型

针对目前的人体骨骼关键点检测模型参数多、训练时间长和检测速度慢的问题,提出了一种将人体骨骼关键点检测模型CPMs与小型卷积神经网络模型SqueezeNet相结合的检测方法。首先,采用4个Stage的CPMs(CPMsStage4)对人物图像进行关键点检测;然后,在CPMs-Stage4中引入SqueezeNet的Fire Module网络结构,利用Fire Module结构大大压缩模型参数,得到一种新的轻量级人体骨骼关键点检测模型SqueezeNet15-CPMs-Stage4。在扩展的LSP数据集上的验证结果显示,与CPMs相比,SqueezeNet15-CPMs-Stage4模型在训练时间上减少86.68%,在单张图像检测时间上减少44.27%,准确率达到90.4%;与改进的VGG-16、DeepCut和DeeperCut三种参照模型相比,SqueezeNet15-CPMs-Stage4模型在训练时间、检测速度和准确率方面均是最优的。实验结果表明,所提模型不仅检测准确率高,而且训练时间短、检测速度快,能够有效降低人体骨骼关键点检测模型的训练成本。

基于骨骼关键点的异常行为识别及异构平台部署

目前对于异常行为检测算法较多,但是存在检测精度低、对环境要求高、部署困难等缺点。针对以上存在的问题,该文提出了一种基于骨骼关键点的异常行为检测方法。首先对视频图像预处理,然后通过Associative Embedding算法进行人体关键点的提取。为准确描述人体运动,提出用运动特征矩阵进行人体运动描述,引入SVM分类器利用运动特征矩阵进行行为识别。在HMDB51数据中选取的12类异常行为达到平均91.2%准确率,最后模型在CPU+FPGA异构平台进行加速,达到32 FPS的处理速度。

基于骨骼关键点检测的多人行为识别

人体行为识别(Human Activity Recognition,HAR)技术是计算机视觉领域的研究热点,目前多人HAR的研究仍存在很多技术难点。针对多人HAR中人数判断不准确、特征提取难度大导致行为识别准确率低的问题,提出了一种基于骨骼关键点检测的多人行为识别系统。该系统将骨骼点提取与动作识别相结合,首先对原始视频进行图像帧提取,然后通过OpenPose算法得到人体骨骼关键点数据来对人体进行检测并标注,最后根据骨骼点的特点提取人体姿态特征。同时,为准确描述特征之间的关系,提出了一种基于帧窗口矩阵的特征描述方法,该方法将支持向量机(Support Vector Machine,SVM)作为分类器以完成多人行为识别。选择UT-Interaction和HMDB51这两个公开的数据集中的10类日常典型行为作为测试对象,实验结果表明,所提方法可以有效提取图像中的多人骨骼关键点信息,且其对10类日常典型行为的平均识别准确率达86.25%,优于对比的其他已有方法。

基于OpenPose-slim模型的人体骨骼关键点检测方法

相较于2017年提出的在当时检测效果近乎最优的RMPE模型与Mask R-CNN模型,原用于人体骨骼关键点检测的OpenPose模型有着在保持精度近乎不变的情况下能大幅缩短检测周期的优势,但同时该模型也存在着参数共享率低、冗余度高、耗时长、模型规模太大等问题。针对上述问题,提出了新的OpenPose-slim模型。该模型减小网络宽度,减少卷积块层数,将原并列式结构改成序列式结构并于内模块加入Dense连接机制,其处理过程主要分为3个模块:1)关键点定位模块,检测出人体骨骼关键点的位置坐标;2)关键点联系模块,把关键点位置连接成肢体;3)肢体匹配模块,进行肢体匹配得到人体轮廓。每一个处理阶段之间关联紧密。在MPII数据集、COCO数据集和AI Challenger数据集上的实验结果表明,所提模型使用4个定位模块和2个联系模块,并于每一个模块内部使用Dense连接机制是最佳结构,与OpenPose模型相比,在保持检测精度基本不变的基础上,测试周期缩短为原来的近1/6,参数量缩小了近50%,模型规模缩小为近1/27。

基于人体骨骼关键点的吸烟行为检测算法

针对公共场所的监控视频中烟头目标较小并且吸烟产生的烟雾易发散,仅依靠目标检测算法检测烟头或者烟雾来判定吸烟行为存在较大难度的问题,考虑到利用骨骼关键点来进行姿态估计的算法越来越成熟,提出一种利用人体骨骼关键点和吸烟行为之间的关系来进行吸烟行为检测的算法。该算法首先利用AlphaPose和RetinaFace分别检测出人体骨骼关键点和脸部关键点信息,根据手腕到两嘴角中点和手腕到同侧眼睛的距离之比,提出一种计算人体的吸烟动作比例(SAR)是否属于吸烟动作黄金比例(GRSA)的方法以区分吸烟与非吸烟行为;再利用YOLOv4检测视频中是否存在烟头;最后结合GRSA判定和YOLOv4的结果来确定视频中存在吸烟行为的可能性高低,作出是否有吸烟行为的判定。经过笔者录制的数据集测试,结果表明所提算法可以准确检测到吸烟行为,准确率达到92%。

基于空洞转置卷积神经网络的人体骨骼关键点检测算法研究

目前对人体姿态骨骼关键点检测存在两个研究难点,一是如何由2D姿态进行3D人体姿态估计,另一个是标准数据库和用户上传的视频动作在时间上不匹配。为此,本文提出基于空洞转置卷积的沙漏结构(Dilated and Transpose Convolutions Hourglass,DTCH)神经网络;然后应用卡尔曼滤波算法进行数据降噪处理,最后利用动态时间规整(Dynamic Time Warping,DTW)算法提高患者运动时姿态匹配的准确性。在仿真实验中,该模型在Human3.6M数据集上的平均每关节位置误差(MPJPE)与相关研究的最佳结果相比减少了11%,可以精确高效地实现3D人体姿态估计。

基于运动检测的人体骨骼关键点检测算法

自底向上的OpenPose人体姿态检测算法在处理每一张图片时,对图片的每一个像素点都需要进行大量的卷积运算,当目标人体在图片中所占的比例非常低时,就会出现大量的无效计算,从而极大地降低了检测速度。针对上述问题,提出一种基于运动检测的OpenPose算法。首先对采集的视频进行运动检测处理,找出所有发生形态变化的区域;然后在所有发生形态变化的区域中找出目标人体的位置;最后在标记的区域内进行自底向上的人体姿态检测。该方法进行图片的卷积运算时,仅对出现目标人体的区域进行运算,极大地减少了无效的卷积运算,从而提高检测速度。

基于改进Slow-Only网络的骨骼点动作识别方法研究

由于存在人体之间相互遮挡、受环境变化影响较大、时序特征提取能力较弱等问题,现有的动作识别方法在精准度方面仍有不足,因此,提出了一种基于改进Slow-Only网络的骨骼点动作识别方法。首先,将骨骼关键点数据进行预处理,分别在时间和空间维度减少冗余信息;其次,基于Slow-Only网络,重新设计了时间卷积模块,以更好地提取视频帧所包含的时序信息;最后,增加了改进的注意力机制模块,以降低遮挡问题带来的影响。在NTU RGB+D数据集上进行了实验,实验结果表明该方法能有效地提升检测精度,并且在实际场景中具有应用价值。

基于树莓派与循环神经网络的坐姿矫正系统

本文对坐姿识别技术采用图像方式进行分析,利用Part-Aware Long Short-Term Memory(P-LSTM,部分感知长短期记忆网络)算法进行坐姿识别,P-LSTM算法的长期记忆特性,解决了信息依赖问题。在树莓派中移植PoseNet(姿态网)模型对图片关键点和坐标进行识别,利用PoseEngine(姿态引擎)对采集到的关键点和关键点置信度进行最终确认,将得到的估计坐标和置信度与健康阈值数据比较,从而判定坐姿姿态是否健康。

基于Alphapose骨骼点和GRU的摔倒检测技术

基于现有的一些人体摔倒检测模型实现复杂,适用性差等缺点,本文提出了一种新的更加简便,适用性更强的人体摔倒检测模型。该模型是一种基于GRU神经网络和人体骨骼关键点的人体摔倒检测模型。该模型中,先通过Alphapose对每一帧图像进行人体骨骼关键点识别与检测,然后将得到的骨骼关键点数据进行归一化数据处理,再分组输入到GRU神经网络中进行时序特征提取,最后将GRU模型中隐含层的输出向量输入到全连接层进行处理并得出检测结果。本文使用的是UR Fall Detection Dataset热舒夫大学摔倒数据集进行测试实验,并与多种检测模型的实验性能进行了横向对比。实验结果表明本文的模型在多场景,多视角和多种摔倒姿势等情况下较其他模型都有较高的检测精度,且实现难度较其他模型而言要低。

结合改进Alphapose和GCN的人体摔倒检测模型研究

为改进当前人体摔倒检测方法场景适应能力弱、易误检等不足,提出了一种基于人体骨骼关键点和GCN结合的人体摔倒检测模型。在CrownHuman、COCO2017、Le2i等数据集上进行对比试验,试验结果表明优化后的YOLOX人体目标检测算法的平均准确率达到了50.66%,较YOLOv3、YOLOv5提高了9.83%和3.97%。人体姿态估计算法的平均准确率达到了71.6%,优于OpenPose、Mask-RCNN等方法。基于图卷积的人体摔倒检测算法准确率达到92.2%,高于YOLOv5-S+pose等方法。一系列的试验结果表明,所提出的摔倒检测方法具有较高的检测精度。

基于AlphaPose模型的远距离行人头部姿态估计算法

在公共场所的监控视频中,远距离的行人目标头部区域占比往往较小并且头部区域分辨率较低,仅靠目标检测算法和头部姿态估计模型检测并分类头部特征来判定头部姿态或注视方向存在较大难度.考虑到目前不同分辨率下的人体骨骼关键点估计算法越来越成熟,本研究提出一种利用骨骼关键点和头部姿态之间的关系来进行远距离行人的头部姿态估计算法.该算法首先利用AlphaPose模型检测出二维人体骨骼关键点的全局坐标值,然后根据部分骨骼关键点的坐标值计算出头部朝向象限角度,最后根据预设角度范围计算并可视化出视线落点.目前,尚没有公开发布的可用于远距离行人头部姿态估计的数据集,因此本文建立了一个远距离行人头部姿态系统,以对现有的数据集进行标注,并利用标注的数据集对提出的方法进行测试.结果表明,本文提出的算法可以较精准地判定到远距离行人的头部姿态和注视方向,准确率达到69.7%.

基于边缘设备轻量化行为识别算法

针对机场加油车等某些生产场景下工作人员的行为得不到实时性监督的问题,提出一种可部署至边缘设备轻量化加油员行为识别算法。该算法首先使用基于YOLOv5s改进的目标检测网络进行快速人体检测;再使用IoU和直方图相似度相结合的跟踪算法对检测到的人体目标进行跟踪,由跟踪得到的序列图像通过轻量级的姿态估计网络预测出人体的骨骼关键点序列数据;最后将骨骼关键点序列数据输入到6层的全连接网络分类器中进行动作分类,判断加油员动作是否规范完成。实验数据表明:该算法大大减少了网络权重和计算量,其中改进后的人体检测网络YOLOv5-mini在边缘设备比特大陆Sophon SE5上单帧检测速度可达18 ms;在实际场景数据集上,算法行为检测准确率可达95.92%。

基于AlphaPose与改进LightGBM算法的触电跌倒检测方法

针对电力应用场景下人员触电跌倒的问题,文章提出了一种基于AlphaPose与自适应特征权重LightGBM算法的触电跌倒检测方法。该方法首先利用AlphaPose对人体骨骼关键点进行检测,接着根据人体骨骼关键点数据和人体检测框数据计算获得8种人体姿态时空特征。进一步对传统LightGBM算法进行改进,根据特征重要性为特征向量加权,然后训练得到自适应特征权重LightGBM分类器,并将8种人体姿态时空特征输入自适应特征权重LightGBM分类器判断是否为跌倒行为。对Le2i公开跌倒数据集和自制数据集进行实验,并与多种检测模型对比,实验结果表明该方法在复杂度、判断准确性等方面较传统检测模型有显著提升。

儿童坐姿检测系统的设计与实现

为了帮助儿童减少由不良坐姿引起近视、脊椎弯曲等健康问题,本文设计了一款实时坐姿检测矫正系统。该系统采用Blazepose骨骼检测模型获取骨骼关键点位置信息,并根据骨骼关键点坐标计算关键点的深度信息。通过设置阈值检测坐姿,系统对坐姿不端的用户进行实时语音播报提醒。对常见的8种不端坐姿进行检测测试,结果表明该系统的检测准确率平均达到95%以上.

基于Alphapose的跑步动作标准化评估

不合理的健身动作可能会带来关节磨损,肌肉拉伤,运动效果下降等负面效果。采用Alphapose人体姿态估计算法,获取标准动作序列和测试动作序列的人体骨骼关键点的位置,并采用DTW算法求解动作相似度。结果表明:在比较标准跑步动作序列与测试跑步动作序列时,结果有较好的区分度,而两条标准序列间的比较时差距较小,从而验证了该算法的有效性。

基于静态图像姿态估计的服务机器人跌倒检测报警系统

本文针对服务移动机器人的视觉传感器所获取到的目标图像,提出一种基于静态图像姿态估计的服务机器人跌倒检测报警系统,用以及时有效地完成老人跌倒的检测及报警服务。具体包括两方面:针对机器人视觉传感器获取到的图像,选取基于Par Affinity Fields的姿态检测方法对目标图像中的人体姿态进行检测,输出人体骨骼关键检测点;选取其中一些人体关键检测点,通过设置一系列角度阈值来进行老人是否为跌倒姿态的判定。实验数据证明本文所设计的人体跌倒检测方案简单有效。

基于双目视觉的实时坐姿检测研究

坐姿检测在医疗健康、自动驾驶、辅助课堂教学等领域都有较高的应用价值。实际应用中,坐姿检测技术的速度与精度都需要达到较高的水平,为此,基于双目视觉,设计一种实时坐姿检测的方法。首先利用双目摄像头实时采集用户图像,然后利用简化的OpenPose模型提取人体骨骼关键点并根据关键点坐标计算头部倾斜角,接着用改进的半全局匹配算法获取双目图像的视差,并计算相应关键点的深度信息,由骨骼关键点坐标、头部倾斜角以及关键点的深度信息作为特征,设置阈值检测坐姿,当用户采取非正确坐姿时,进行语音播报提醒。

基于时空图卷积网络的视频中人物姿态分类

为解决视频中人物姿态分类问题,提出了一种基于时空图卷积网络的改进模型。该模型首先结合人体的骨架关键点序列来构建视频中人体运动的时空特征图,将输入的视频人体骨骼关键点进行预处理,对空间节点依照人体运动规律进行子网划分,构造关节序列的时空图;继而对得到的时间特征图与空间特征图确定特征权重与卷积核,并进行级联特征融合;最后根据输入输出通道层数量搭建由图卷积网络与时序卷积网络构成的网络训练模型,基于时空特征图构型划分进行时序卷积与图卷积操作,由模型的全连接层得到分类结果。实验结果表明,上述改进模型能够准确得到视频中人物姿态的分类结果,并改善了卷积网络在训练中的特征冗余问题,有效地提高人物姿态分类的鲁棒性。