基于OpenPose和ST⁃GCN的步态识别研究

根据行人步态具有唯一性,且不受客观因素影响的特点,利用OpenPose提取行人的骨架信息,结合时空图卷积神经网络模型,构建步态识别模型,在步态识别网络中融入注意力机制,可以有效地避免系统陷入局部最优解,使分类模型可以结合骨架的局部信息和全局信息,构建丰富的网络模型,提高识别系统的泛化能力,实验结果显示,达到了较为理想的步态识别效果。

基于ST-GCN的空中交通管制员不安全行为识别

为预防和监督空中交通管制(ATC)工作中的违章行为,利用智能视频分析技术,研究适用于管制员坐姿工作的不安全行为识别模型。首先,分析管制员不安全工作行为的隐蔽性特征,总结5种典型管制员不安全行为,包括伸懒腰、瞌睡、低头入睡、歪头入睡和半躺入睡,并构建管制员不安全工作状态视频数据集(CUWS);其次,提出一种能描述管制员坐姿的骨架关键点拓展算法,基于时空图卷积网络(ST-GCN)搭建适用于管制员坐姿与腿部遮蔽情况下的不安全行为识别模型ATC-ST-GCN,并给出管制员不安全行为识别的工作流程;最后,利用CUWS数据集进行ATC-ST-GCN模型的训练和测试,并利用管制室实际监控视频开展验证试验。结果表明:该模型能够在有限验证数据集上实现5种典型不安全行为识别,准确率达到93.65%。试验结果证明该模型具有一定的科学性与有效性。

基于ST-GCN警用巡逻机器人警情识别系统设计

针对现有警用巡逻机器人警情识别系统识别种类单一、识别率较低等问题,基于时空—图卷积网络(ST-GCN)和OpenPose算法的融合,面向跌倒(fall)、打砸(smash)和推搡(push)3种警情,设计了警用巡逻机器人警情识别系统。通过在真实场景测试,3种警情识别率分别为:跌倒85%,打砸80%,推搡83%;实时识别帧率为10 fps。实验结果表明:所设计的警情识别系统可以实现多种警情的实时、准确、可靠识别,具有较高的应用价值。

基于ST-GCN的形体动作质量评估算法分析

阐述一种基于时空图卷积的太极拳动作质量评估框架,通过轻量级OpenPose姿态估计获得训练动作的骨架序列数据,然后使用时空图卷积网络(Spatial Temporal Graph Convolutional Network,STGCN)提取动作的时空特征与标准动作的特征对比,利用孪生网络学习动作的质量分数。

基于ST-GCN短时路况预测算法的预警系统

为提升高速公路车速预测的准确性,针对现有车速预测模型存在的时间相关性和空间相关性部分缺失的问题,提出一种基于时空图卷积网络(Spatio-Temporal Graph Convolution Network,ST-GCN)短时路况预测算法的预警系统。该算法综合考虑时间相关性和空间相关性的影响,根据实时和历史的交通数据,通过建立ST-GCN模型分析预测未来某段时间的交通流速度和路况。将预测结果推送给布设在高速公路上的多彩智能情报板,通过多彩智能情报板上显示的信息诱导司乘用户的行为,从而降低事故发生率,提升高速公路通行效率。

基于关联分区和ST-GCN的人体行为识别

基于骨骼的动作识别因不受人体物理特征的影响,简单清晰地传达了人体行为识别的重要信息而受到广泛关注。传统的应用程序骨架建模通常依赖遍历规则的人为设置而导致表达能力有限和推广困难。因此,在近年来热门的时空图卷积网络(ST-GCN)模型基础上提出了一种新的划分骨架关节点的分区策略。该策略相比于原始分区方法加强了身体相对位置之间的关系,从而有利于提高骨架关节点信息在时间和空间上的关联。与此同时,在训练过程中通过设置不同的迭代学习率以进一步提高识别精度。在两个不同性质的大规模数据集Kinetics和NTURGB+D上与现有方法进行识别效果的比较,实验结果表明了该方法的有效性。

ST-GCN在建筑工人不安全动作识别中的应用

为准确及时地识别施工现场工人的不安全动作,运用计算机视觉的方法,结合图像识别技术和建筑安全知识,提出一种基于骨架的实时识别方法。将姿态估计算法与动作识别算法结合搭建组合模型,通过全面的数据进行模型训练,进而实现动作分类和不安全动作的识别,其中,AlphaPose用于姿态估计提取骨骼关键点坐标位置,时空图卷积网络(ST-GCN)用于动作识别,并通过试验进行验证。结果表明:该方法识别爬梯危险动作的准确率可以达到98.48%,同时,ST-GCN与支持向量机、随机森林、长短期记忆网络(LSTM)相比,具有更强的泛化能力。该方法通过对现场工人的不安全动作进行实时识别和预警,可改善传统安全管理模式,提高安全管理信息化水平。

一种融合ST-GCN算法的高速公路节假日流量预测模型

为高效准确地预测节假日期间高速公路重要路段的交通流量,提出一种融合时空图卷积网络(Spatio-Temporal Graph Convolutional Network,ST-GCN)的高速公路节假日流量预测模型。该模型采用平均速度、交通流量等重要的交通指标作为交通状态评价体系要素,对节假日期间高速公路的交通态势进行综合预测;融合ST-GCN算法模型,综合考虑时空特性,得到准确度较高的预测结果。以宁夏回族自治区高速公路的节假日交通信息为研究对象,对该模型的有效性进行验证,结果表明,该模型相比其他常用预测模型准确度更高,具有更好的稳定性和鲁棒性,预测结果可供高速公路的管理和运营参考。

边云协同计算下基于ST-GCN的监控视频行为识别机制

智慧城市的迅速发展为人们的日常生活带来了极大的便捷,其中视频监控系统越来越智能化是信息技术逐渐成熟的必然结果.人体行为识别是智能安防监控领域的重要任务之一,但大量的边缘监控设备产生了井喷式图像视频数据,传统单一的云计算模式已无法全面有效地应对海量数据的计算与处理.提出一种大数据驱动下采用边云协同计算的人体行为识别机制,将以往中心化的计算扩展为边缘、云端协同处理.首先,在边缘节点n0对视频进行相似帧去除的预处理并对提取的骨架序列进行多层次表不,然后云端对时空图卷积神经网络(Spatial Temporal Graph ConvNet,ST-GCN)模型进行训练并将其部署至边缘节点N1-Nm,边缘节点使用训练好的模型完成行为识别任务并将结果上传至云端进行融合得出最终行为类别.实验结果证明,所提方案能有效减少以往中心化计算的网络传输量及云端存储压力问题,且边云协同的优势使得模型识别的准确率稳定提升了2.2%以上.

基于改进关节点联系的ST-GCN行为识别办法

人体行为识别在监控安防等多个领域有重要的实用性。基于人体骨骼关节点的行为识别有很好的鲁棒性,并且在计算量和存储空间上都有很大的优势。时空图卷积神经网络(Spatial-Temporal Graph Convolution Networks,ST-GCN)模型开创图卷积神经网络处理姿态估计信息的先河,针对ST-GCN不能很好关联所有关节特征的缺点,提出通过构建共现特征学习结构以及新的注意力机制加强关节点的联系,同时提出集成学习在线蒸馏手段,增强模型的泛化能力。所提模型在Kinetics-skeleton数据集上取得31.25%的Top-1精度,相比于ST-GCN算法提升了0.44%;在NTU-RGB+D的X-Sub子数据集与X-View子数据集分别取得86.7%与94.6%的Top-1精度,对比ST-GCN算法提升了5.2%和6.3%。

基于人体骨架的扶梯乘客异常行为识别方法

为准确识别乘客搭乘自动扶梯时的异常行为,避免安全事故的发生,提出了一种基于人体骨架的扶梯乘客异常行为识别方法。首先使用YOLOX-Tiny对视频中乘客位置进行检测,通过Alphapose算法提取骨骼关键点坐标,降低复杂背景的干扰;再使用多流膨胀3D卷积模块增强时空特征提取能力,聚合乘客骨架的全局特征;然后将其输入改进后的时空图卷积网络中提取乘客骨架信息,通过MS-TCN模块扩大接受域以增强时间特征的提取,联合人体关键点注意力模块(Key Point Attention Module,KPAM)提升网络对相似动作的关键骨架的关注度;最后通过Softmax对异常动作进行分类。采集扶梯运行现场视频制作数据集,试验结果表明,本文算法对乘客异常行为的识别精度达到96.1%,可应用于扶梯现场的视频监控系统,提高安全管理信息化水平。

时空图卷积网络的骨架识别硬件加速器设计

随着人工智能技术的不断发展,神经网络的数据规模逐渐扩大,神经网络的计算量也迅速攀升。为了减少时空图卷积神经网络的计算量,降低硬件实现的资源消耗,提升人体骨架识别时空图卷积神经网络(ST-GCN)实际应用系统的处理速度,利用现场可编程门阵列(FPGA),设计开发了一个基于时空图卷积神经网络的骨架识别硬件加速器。通过对原网络模型进行结构优化与数据量化,减少了FPGA实现约75%的计算量;利用邻接矩阵稀疏性的特点,提出了一种稀疏性矩阵乘加运算的优化方法,减少了约60%的乘法器资源消耗。经过对人体骨架识别实验验证,结果表明,在时钟频率100 MHz下,相较于CPU,FPGA加速ST-GCN单元,加速比达到30.53;FPGA加速人体骨架识别,加速比达到6.86。

基于图卷积网络的儿童坐姿检测学习桌椅设计方法研究

儿童长期处于伏案学习的状态,不良坐姿对儿童生长发育容易造成严重影响,对儿童坐姿的矫正已刻不容缓。通过对儿童在学习桌椅上的坐姿行为调研,基于OpenPose姿态估计算法进行坐姿检测分析,引入ST-GCN模型进行坐姿识别与评判,结果表明:使用ST-GCN模型能够快速准确识别儿童的八种坐姿,并根据识别结果对儿童进行有效的错误坐姿提示,其Macro-F1和Micro-F1评价指标分别提高了6.8%和7.4%。同时表明儿童坐姿矫正在自适应儿童学习桌椅上应用的可行性及有效性,可为智能儿童课桌椅的设计提供技术支撑。

基于人-物交互关系检测的带电作业人员行为识别方法研究

为解决现有视频行为识别方法难以区分带电作业过程中某些相似行为、可识别行为种类少、未高效利用人员与物品间交互关系等问题,提出1种基于人-物交互关系检测的配网带电作业人员行为识别方法。利用轻量化姿态估计算法识别人员骨架序列,然后通过时空图卷积网络(spatial temporal graph convolutional networks,ST-GCN)提取人体运动的时空间特征并进行初步分类。对于由骨骼姿态无法有效区分的相似行为,采用目标检测算法识别人员所用工器具及使用状态,并通过融合人体动作与作业工器具所含行为信息,实现视频行为的精确识别。研究结果表明:该方法能有效识别带电作业行为,对相似行为的识别准确率约为88.9%,相较于现有基于骨架序列的带电作业人员行为方法提升约53个百分点。研究结果可为提高现场安全管控水平提供参考思路。

交互关系超图卷积模型的双人交互行为识别

为提高学校、商场等公共场所的安全性,实现对监控视频中的偷窃、抢劫和打架斗殴等异常双人交互行为的自动识别,针对现有基于关节点数据的行为识别方法在图的创建中忽略了2个人之间的交互信息,且忽略了单人非自然连接关节点间的交互关系的问题,提出一种基于交互关系超图卷积模型用于双人交互行为的建模与识别。首先针对每一帧的关节点数据构建对应的单人超图以及双人交互关系图,其中超图同时使多个非自然连接节点信息互通,交互关系图强调节点间交互强度。将以上构建的图模型送入时空图卷积对空间和时间信息分别建模,最后通过SoftMax分类器得到识别结果。该算法框架的优势是在图的构建过程中加强考虑双人的交互关系、非自然连接点间结构关系以及四肢灵活的运动特征。在NTU数据集上的测试表明,该算法得到了97.36%的正确识别率,该网络模型提高了双人交互行为特征的表征能力,取得了比现有模型更好的识别效果。

基于时空位置关注图神经网络的交通流预测方法

针对现有交通流预测方法存在难以构建空间和时间依赖关系的问题,提出了新的利用时空位置注意力的图神经网络(ST-PAGNN)方法。首先,该图神经网络中包含有位置关注机制,由此能够更好地对城市道路网络中交通节点的空间依赖关系进行有效捕捉;然后,利用带有trend adaptive Transformer(Trendformer)的门控递归神经网络来捕捉交通流序列在时间维度上的局部和全局信息;最后,利用改进的网格搜索优化方法对模型的引入参数进行优化,并以较高的时间效率获得全局最优解。实验结果表明,在数据集PEMS-BAY中,预测步长分别为15 min,30 min,60 min时,ST-PAGNN的评价指标RMSE、MAE和MAPE分别为1.37,2.57,2.67%,1.55,3.64,3.37%,1.97,4.37,4.43%;在数据集METR-LA中,预测步长分别为15 min,30 min,60 min时,ST-PAGNN的评价指标RMSE、MAE和MAPE分别为2.73,5.16,7.13%,2.99,5.97,7.86%,3.53,7.16,9.96%。结论表明,ST-PAGNN在不同粒度下的评价指标中均高于现有模型,从而说明了ST-PAGNN在解决交通预测问题方面的有效性和优越性。

基于改进ST-GCN的10 kV带电作业人员视频异常行为识别方法

为确保常态化配网带电作业时人员和设备的安全,异常行为识别是必不可少的技术手段,但现有带电作业行为识别方法存在准确率低、可识别种类少以及受背景干扰导致漏检和误检等问题。提出了一种基于改进时空图卷积网络(spatial temporal graph convolutional networks,ST-GCN)的10 kV带电作业视频异常行为识别方法。首先,采用目标检测与跟踪的方法在视频人体区域添加掩膜,排除复杂背景的影响;然后,利用轻量化改进姿态估计模型获取人体骨架,以多帧骨架序列构建时空图;最后,由ST-GCN提取时空图的空间姿态与时序信息并引入通道注意力(squeeze-and-excitation networks,SENet)模块强化动作特征后完成带电作业行为识别。以带电作业视频构建行为数据集,选取绝缘检测等5类典型行为进行验证。试验结果表明,该方法提升了人体姿态估计的速度,约束了骨架检测区域,降低了肢体误检率和漏检率;能有效识别带电作业行为,平均准确率达88%;在复杂环境下有良好的泛化性,为带电作业安全监护的智能化提供了有效参考。

基于深度学习的井下人员不安全行为识别与预警系统研究

井下作业人员的不安全行为是矿山事故发生的主要原因之一,现有的井下监控方式仍然以人工监控为主,无法快速识别作业人员的不安全行为,导致难以实时预警。设计了一种基于深度学习的井下人员不安全行为识别与预警系统开发方案,首先制作以井下环境为背景的数据集,然后采用YOLOv4网络模型对矿工及安全帽等进行识别以判断安全帽佩戴情况,再采用OpenPose算法及ST-GCN模型对监控视频中的矿工行为进行识别,最后通过系统对不安全行为进行自动预警。结合多种深度学习和计算机开发技术开发了一种井下人员不安全行为识别与预警系统,为井下人员的安全管理提供了新的思路,对于智慧矿山建设具有参考意义。

基于双流图卷积网络的人体行为识别算法

针对传统的卷积网络对人体行为识别速度不高或识别精度偏低的问题,提出了基于图卷积网络(GCN)的人体行为识别算法。首先,介绍了时空图卷积网络(ST-GCN)算法,该算法将人体骨架信息归类于图信息,并在时域和空间域上对人体信息进行图卷积运算;其次,使用双流GCN进行模型的搭建,双流GCN是对ST-GCN的一种改进,为某些相距很远但某些动作中关系密切的点创建“不可能连接”,并提出骨骼的长度和方向对人体行为识别也起到重要作用的观点。实验结果表明:对于选取的4个行为的平均识别率达到了92.2%,因此,基于双流GCN算法的人体行为识别方法具有可行性。

基于多元复合深度学习的肉鸽行为识别算法研究

为实现肉鸽行为准确识别,研究提出一种基于多元复合深度学习的肉鸽行为识别算法。该算法通过使用YOLOX-s模型检测肉鸽目标区域作为AlphaPose肉鸽姿态预估模型输入预估肉鸽骨架每个关键点,结合连续视频帧的骨架变化关键点数据构建肉鸽骨架时空图作为ST-GCN肉鸽行为识别模型输入,实现肉鸽行为识别。对YOLOX-s模型使用CSPResNet替代其主干网络,并减少CSP模块中的残差块以保留更多肉鸽图像的中层细节特征,在姿态预估模型中使用ECCWB-LiteHRNet作为其单目标姿态估计器,以提高肉鸽关键点特征识别能力。结果显示,改进后的YOLOX-s模型平均精度、检测速度分别为0.985、40.2fps,较原模型提高了0.002、6.9 fps;姿态预估模型平均精度、平均召回率和检测速度分别为0.887、0.921和28.5 fps,较原模型提高了0.036、0.016和12.9fps;ST-GCN模型行为识别平均准确率为0.970,单帧推理时间约为15 ms,最终多进程模型并行推理平均帧处理速度为28.5 fps,经过Tensorrt加速后平均帧处理速度可达50.8 fps。研究表明,ST-GCN模型能够快速准确地识别出肉鸽当前行为,且改进后的姿态预估模型可为ST-GCN模型提供更加稳定的骨架数据,为通过行为特征感知肉鸽身体信息及开展数字化健康管理提供技术支撑。