时空图卷积网络的骨架识别硬件加速器设计

随着人工智能技术的不断发展,神经网络的数据规模逐渐扩大,神经网络的计算量也迅速攀升。为了减少时空图卷积神经网络的计算量,降低硬件实现的资源消耗,提升人体骨架识别时空图卷积神经网络(ST-GCN)实际应用系统的处理速度,利用现场可编程门阵列(FPGA),设计开发了一个基于时空图卷积神经网络的骨架识别硬件加速器。通过对原网络模型进行结构优化与数据量化,减少了FPGA实现约75%的计算量;利用邻接矩阵稀疏性的特点,提出了一种稀疏性矩阵乘加运算的优化方法,减少了约60%的乘法器资源消耗。经过对人体骨架识别实验验证,结果表明,在时钟频率100 MHz下,相较于CPU,FPGA加速ST-GCN单元,加速比达到30.53;FPGA加速人体骨架识别,加速比达到6.86。

基于图卷积网络的儿童坐姿检测学习桌椅设计方法研究

儿童长期处于伏案学习的状态,不良坐姿对儿童生长发育容易造成严重影响,对儿童坐姿的矫正已刻不容缓。通过对儿童在学习桌椅上的坐姿行为调研,基于OpenPose姿态估计算法进行坐姿检测分析,引入ST-GCN模型进行坐姿识别与评判,结果表明:使用ST-GCN模型能够快速准确识别儿童的八种坐姿,并根据识别结果对儿童进行有效的错误坐姿提示,其Macro-F1和Micro-F1评价指标分别提高了6.8%和7.4%。同时表明儿童坐姿矫正在自适应儿童学习桌椅上应用的可行性及有效性,可为智能儿童课桌椅的设计提供技术支撑。

用于人体动作识别的多尺度时空图卷积算法

基于骨骼数据的时空图卷积人体动作识别网络(ST-GCN)存在时间卷积层结构单一、固定的问题,难以全面提取每个动作类别所需的全部重要阶段特征。针对这一问题,提出了包含多个不同尺度卷积核和多种结构的时间图卷积层,构造了多尺度时空图卷积网络(SMT-GCN),利用不同的时间图卷积操作抽取并融合不同尺度的时间轨迹特征。同时,为了强化人体长距离关联信息和空间结构化特征,在SMT-GCN中融合了构造的变换残差模块(Tran-Res)和轻量级注意力模块(CBAM),构造了多尺度时空图注意卷积网络(SAMTGCN)。实验在NTU RGB+D数据集和HDM05数据集上进行,提出的SMT-GCN和SAMT-GCN均获得了识别精度的提升;另外,设计的多尺度时间图卷积模块可以融合于其他基线网络中并提高性能。为探究卷积核尺度及结构对算法的影响,设计了相应消融实验,实验结果表明卷积核大小为1、5、9的SAMT-GCN性能最优,并且具有稠密结构的网络识别精度要高于具有串行和并行结构的网络。

基于残差时空图卷积网络的3D人体行为识别

人体行为识别是智能监控、人机交互等诸多应用领域的一项基本技术。人体骨骼的动态变化为人体行为识别提供了重要的信息。传统方法通常只是采取人工信息标注或遍历规则,从而导致模型的表征能力有限、泛化性能差。采用一种引入了残差项的动态骨架模型——基于残差连接的时空图卷积网络,不仅克服了以往方法的限制,而且能够学习骨骼数据中的时空模型。在大型骨骼NTU-RGB+D数据集上,该网络模型不仅提高了人体行为特征的表征能力,而且增强了泛化能力,取得了比现有的模型更好的识别效果。

空气质量预测的深度学习模型研究与实践

及时和准确的空气质量预测数据对于环境管理至关重要,尤其是在空气重污染期间,预测数据可以为政府生态环境管理部门应对污染状况、精准地调配社会资源的决策提供数据支撑。本文提出的基于人工智能的深度学习模型AirNet6,可以兼顾准确性和实时性,实现臭氧、二氧化硫、一氧化碳等因子的7天甚至更长时间的空气质量预测。与传统的化学模型演算不同,本模型使用时空图卷积网络(STGCN),捕获历史监测数据、天气预测数据、社会活动等数据的规律,在2 min内完成一百多个点位未来168 h数据的预测。实验表明,AirNet6模型在速度、节能和准确度上,比传统的化学模型及时间序列AI模型均有明显进步。

基于ST-GCN的空中交通管制员不安全行为识别

为预防和监督空中交通管制(ATC)工作中的违章行为,利用智能视频分析技术,研究适用于管制员坐姿工作的不安全行为识别模型。首先,分析管制员不安全工作行为的隐蔽性特征,总结5种典型管制员不安全行为,包括伸懒腰、瞌睡、低头入睡、歪头入睡和半躺入睡,并构建管制员不安全工作状态视频数据集(CUWS);其次,提出一种能描述管制员坐姿的骨架关键点拓展算法,基于时空图卷积网络(ST-GCN)搭建适用于管制员坐姿与腿部遮蔽情况下的不安全行为识别模型ATC-ST-GCN,并给出管制员不安全行为识别的工作流程;最后,利用CUWS数据集进行ATC-ST-GCN模型的训练和测试,并利用管制室实际监控视频开展验证试验。结果表明:该模型能够在有限验证数据集上实现5种典型不安全行为识别,准确率达到93.65%。试验结果证明该模型具有一定的科学性与有效性。

基于新分区策略的ST-GCN人体动作识别

人体动作识别是智能监控、人机交互、机器人等领域的一项重要技术,基于人体骨架序列的动作识别方法在面对复杂背景以及人体尺度、视角和运动速度等变化时具有先天优势。时空图卷积神经网络模型(ST-GCN)在人体行为识别中具有卓越的识别性能,针对ST-GCN网络模型中的分区策略只关注局部动作的问题,设计了一种新的分区策略,通过关联根节点与更远节点,加强身体各部分信息联系和局部运动之间的联系,将根节点的相邻区域划分为根节点本身、向心群、远向心群、离心群和远离心群等5个区域,同时为各区域赋予不同的权重,提升了模型对整体动作的感知能力。最后,分别在公开数据集和真实场景下进行实验测试,结果表明,在大规模数据集Kinetics-skeleton上获得了31.1%的Top-1分类准确率,相比原模型提升了0.4%;在NTU-RGB+D的两个子数据集上分别获得了83.7%和91.6%的Top-1性能指标,相比原模型提升了2.3%和3.3%;在真实场景下,所提模型对动作变化明显且区别大的动作如俯卧撑和慢跑识别率高,对局部运动和动作变化相近的动作如鼓掌和摇头识别率偏低,尚有进一步提高的空间。

基于时空图卷积的网络漏洞态势预测

在网络空间要素预测过程中加入地理空间特征,可实现时空预测网络空间要素。针对网络安全要素预测过程中少有结合网络数据地理空间特征的研究现状,选择有地理空间特征的网络漏洞检测数据,构造网络漏洞时空数据集,通过构建结合图卷积和门控时间卷积的时空图卷积模型,实现网络漏洞态势发展的预测。选取ARIMA和LSTM时序预测模型进行对比实验,提出的网络漏洞时空图卷积预测模型在MAE、RMSE和MAPE的评价标准下显示有着更好的预测效果。

基于ST-AGCN算法的物流暴力分拣识别模型

目前快递物流行业普遍存在分拣人员暴力分拣现象,为减少此类行为可采用基于图像的行为识别方法,但这种方法在实际场景中存在算法鲁棒性差、人体关节点数据难获取等问题。针对上述问题,制作了1个物流暴力分拣行为视频数据集,研究了暴力分拣行为识别模型。通过树莓派采集室内外2种情景下的分拣视频数据,利用Python socket模块实现视频图像实时传输,采用切片筛选规则除去非标准数据,应用OpenPose模型获取关节点数据。针对一般人体行为识别网络模型无法较好反映暴力分拣关节点对动作重要影响程度的问题,研究了以ST-GCN为主干网络的优化图神经网络模型ST-AGCN。利用空间注意力机制学习不同关节点对于各种动作的影响,以更新各关节点的权重;通过增加自适应图结构层以端到端学习方式将人体骨骼图的拓扑结构与网络参数共同优化,突出关联度高的关节点对动作识别的影响。以室内外环境下暴力分拣视频为对象开展和多种深度学习模型的对比实验和消融实验,实验结果表明:ST-AGCN模型识别现实场景中暴力分拣行为的准确率相比ST-GCN、STA-LSTM、不含空间注意力机制的ST-AGCN和不含自适应图结构层的ST-AGCN模型分别提高了5.6%,13.82%,2.36%,1.61%,且适用于室内外环境杂乱、局部遮挡等复杂的物流分拣场景,验证了ST-AGCN的优越性以及空间注意力机制和自适应图结构层的有效性。

一种融合ST-GCN算法的高速公路节假日流量预测模型

为高效准确地预测节假日期间高速公路重要路段的交通流量,提出一种融合时空图卷积网络(Spatio-Temporal Graph Convolutional Network,ST-GCN)的高速公路节假日流量预测模型。该模型采用平均速度、交通流量等重要的交通指标作为交通状态评价体系要素,对节假日期间高速公路的交通态势进行综合预测;融合ST-GCN算法模型,综合考虑时空特性,得到准确度较高的预测结果。以宁夏回族自治区高速公路的节假日交通信息为研究对象,对该模型的有效性进行验证,结果表明,该模型相比其他常用预测模型准确度更高,具有更好的稳定性和鲁棒性,预测结果可供高速公路的管理和运营参考。

基于改进卷积网络的高速公路节假日拥堵预测系统

针对节假日期间高速公路交通流的特点,构建一种基于改进卷积网络—时空图卷积网络(Spatio-Temporal Graph Convolutional Network,ST-GCN)模型的高速公路节假日拥堵预测系统。该系统基于多种数据算法模型实现节假日拥堵预测,并提供API(Application Program Interface)服务模式进行算法模型调用,使高速公路运营更加智能,管理更加高效。以宁夏回族自治区高速公路为例,将基于ST-GCN模型所得预测结果与采用其他常用模型所得结果相对比,验证该系统的有效性,为高速公路管理和运营相关方提供参考。

基于ST-GCN短时路况预测算法的预警系统

为提升高速公路车速预测的准确性,针对现有车速预测模型存在的时间相关性和空间相关性部分缺失的问题,提出一种基于时空图卷积网络(Spatio-Temporal Graph Convolution Network,ST-GCN)短时路况预测算法的预警系统。该算法综合考虑时间相关性和空间相关性的影响,根据实时和历史的交通数据,通过建立ST-GCN模型分析预测未来某段时间的交通流速度和路况。将预测结果推送给布设在高速公路上的多彩智能情报板,通过多彩智能情报板上显示的信息诱导司乘用户的行为,从而降低事故发生率,提升高速公路通行效率。

基于关联分区和ST-GCN的人体行为识别

基于骨骼的动作识别因不受人体物理特征的影响,简单清晰地传达了人体行为识别的重要信息而受到广泛关注。传统的应用程序骨架建模通常依赖遍历规则的人为设置而导致表达能力有限和推广困难。因此,在近年来热门的时空图卷积网络(ST-GCN)模型基础上提出了一种新的划分骨架关节点的分区策略。该策略相比于原始分区方法加强了身体相对位置之间的关系,从而有利于提高骨架关节点信息在时间和空间上的关联。与此同时,在训练过程中通过设置不同的迭代学习率以进一步提高识别精度。在两个不同性质的大规模数据集Kinetics和NTURGB+D上与现有方法进行识别效果的比较,实验结果表明了该方法的有效性。

ST-GCN在建筑工人不安全动作识别中的应用

为准确及时地识别施工现场工人的不安全动作,运用计算机视觉的方法,结合图像识别技术和建筑安全知识,提出一种基于骨架的实时识别方法。将姿态估计算法与动作识别算法结合搭建组合模型,通过全面的数据进行模型训练,进而实现动作分类和不安全动作的识别,其中,AlphaPose用于姿态估计提取骨骼关键点坐标位置,时空图卷积网络(ST-GCN)用于动作识别,并通过试验进行验证。结果表明:该方法识别爬梯危险动作的准确率可以达到98.48%,同时,ST-GCN与支持向量机、随机森林、长短期记忆网络(LSTM)相比,具有更强的泛化能力。该方法通过对现场工人的不安全动作进行实时识别和预警,可改善传统安全管理模式,提高安全管理信息化水平。

基于姿态估计的人体异常行为识别算法

为了及时、准确地检测视频监控下人体异常行为的发生,提出一种基于姿态估计的人体异常行为识别算法.该算法首先利用基于深度学习的人体姿态估计算法提取人体的骨骼关键点坐标,组成包含空间信息和时间序列信息的时空图模型,模型中每个节点对应于人体的一个关节,同时包含2种类型的边,一种是符合人体关节自然连通性的空间边,另一种是跨越连续时间的时序边;然后,对时空图进行多阶段的时空图卷积操作,提取高级特征;最后,用Softmax分类器进行行为分类,得到行为结果并判断是否为异常行为.在KTH单人数据集和HMDB51多人交互数据集上进行对比实验,与当前先进的方法相比,在准确率方面取得了较好的结果.对实时视频进行测试,实时检测识别帧率达到25帧/s,可实现实时处理监控视频.