基于时空图卷积神经网络的强迫振荡定位与传播预测

振荡源定位与传播预测是抑制强迫振荡和保证电力系统稳定的关键。现有方法未能充分利用电网的空间拓扑信息和振荡的时序特征,限制了定位和预测的精度。因此,该文提出一种基于时空图卷积神经网络的强迫振荡定位与传播预测方法。首先,根据节点特征和拓扑信息构建图数据,考虑到强迫振荡传播的快速性,通过切比雪夫多项式扩大节点空间感受野,提取振荡空间特征。同时,利用门控循环单元网络提取多个节点振荡数据的时序关联,通过时空图卷积单元融合空间和时序特征。然后,将定位与传播预测分别建模为分类和回归问题,训练时空图卷积神经网络模型。算例分析表明,所提方法具有更高的准确率,且在噪声和部分节点数据缺失的情况下依然具有较好的性能。

基于时空关联的时空图卷积神经网络城市轨道交通进站客流预测

[目的]准确的短时客流预测对于提高超大规模城市轨道交通线网的运营和管理效率具有重要意义,而目前现有研究对于深度挖掘时空关联性仍不够充分,为此基于短时客流的时空规律提出了基于客流时空关联特征的STGCN(时空图卷积神经网络)模型。[方法]首先,通过切比雪夫图卷积网络捕捉超大规模城市轨道交通网络的空间相关性,借助门控循环单元挖掘多时空关联特征下客流的时间相关性;然后,分析待预测车站历史客流数据相关性及OD(起讫点)客流数据相关性,以深入提取时空相关性;最后,结合客流时空关联特征建立STGCN模型。[结果及结论]以上海地铁江苏路站为例,进行短时进站客流预测,结果表明采用时空关联特征参数的预测结果较未加入特征参数的预测精度提高了16%,预测效果较优。

基于图小波卷积神经网络的时空图挖掘模型

针对传统时空图网络模型对时空序列数据空间结构刻画和时空特性挖掘不充分的问题,提出一种基于图小波神经网络的时空图挖掘模型(ST-GWNN)。基于图小波神经网络通过学习节点特征的局部化表达来捕捉时空序列数据中的空间拓扑结构,时间门控卷积层通过门控线性单元所堆叠的因果卷积来提取时间特征信息,并将多个时间步的空间图相融合来学习时间和空间2个维度关联特征的能力,以更好地捕获时空序列中复杂的时空相关性信息。在公共交通数据集PEMS-BAY上的实验结果表明,ST-GWNN模型能够获得较好的预测效果,当预测时长为15 min时,在MAE、RMSE、MAPE 3个评价指标上相较于基准模型取得最小值,且较基准模型最优值分别降低了2.31%、6.96%、5.84%;当预测时长为30 min和60 min时,较基准模型最优的MAPE、RMSE值分别降低了4.9%、3.51%和6.05%、6.68%,可适用于图网络属性的时空关系预测任务。

基于时空图卷积神经网络的教师教学行为识别方法

教师课堂教学行为是课堂教学活动的重要组成部分,而进行教师的教学行为识别对评价课堂教学质量有着重要意义.该文提出了一种基于时空图卷积神经网络的教师教学行为识别方法,此方法首先以教师教学视频中的单帧影像为单元提取人体骨架点信息,然后以时空图卷积神经网络为框架聚合多帧影像信息,对教师教学行为类别进行识别.为了验证方法的有效性,文章构建了两组包含6大类教师日常教学行为的视频数据集,并进行了对比实验.实验结果表明,基于时空图卷积神经网络的教师教学行为识别方法可以有效排除教室场景内无关信息的干扰,充分利用多帧影像中骨架点间产生的时空信息,来准确识别教师典型教学行为,具有更高准确率和更强的鲁棒性.该文相关研究可以及时、有效地反应教师的教学状态,有助于教师及时优化教学行为,助力智慧教学.

基于软邻接时空图卷积神经网络的动作识别算法

动作识别被广泛应用于诸多领域,如智能监控、人机交互、智能医疗、机器人技术等。近年来,随着智慧城市建设的不断发展,人类动作识别的相关研究越来越受到学术界的关注。然而目前的基于神经网络的动作识别算法普遍存在着准确率低,鲁棒性差等问题。虽然这种传统的方法取得了良好的效果,但这种方法的效果与实际应用之间依然存在差距。为了进一步解决这些问题,设计了一个更有效的动作识别模型,即基于软邻接的时空图卷积神经网络的动作识别算法(spatial temporal soft adjacency graph convolution network, STS-GCN)。首先,将图卷积网络扩展到时间域,并在骨架节点之间引入潜在的相邻关系,从而可以自动学习空间时间维度上的隐藏动作信息;其次,模型引入了一种简易的空间注意机制,使其具有鉴别具有判别力的空间区域的能力,从而获得更好的识别效果;最后对该模型在NTU-RGB+D数据集上进行了实验。实验结果表明,与其他几个现有模型的结果相比,模型测试的识别准确率有所提高。这说明了引入软邻接矩阵的时空图卷积神经网络有利于模型提高动作识别算法的效果。

基于天气模式识别与时空图神经网络的新能源发电功率预测

区域光伏功率预测有助于调度人员科学、合理地制定调度方案,但现有研究方法没有充分考虑功率输出的时间相关性和云移动造成的影响。为此,提出了一种基于天气条件识别的区域光伏功率时空图神经网络预测方法。考虑了光伏电站之间随天气条件的变化而变化的影响因素,并根据云层覆盖情况将历史光伏发电数据分为三类,根据不同类别设置不同的邻接矩阵。在时空图卷积网络(spatio-temporal graph convolutional network,STGCN)模型的基础上建立了三个子模型,分别通过图卷积神经网络捕捉空间相关性和门卷积神经网络捕捉时间相关性。最后,应用实际数据进行了仿真,并与图神经网络模型、长短期记忆网络模型和STGCN模型进行比较。结果表明,采用STGCN分类模型的方法在功率预测精度上有显著提高。

面向时空图建模的图小波卷积神经网络模型

时空图建模是分析图形结构系统中各要素空间关系与时间趋势的一个基础工作.传统的时空图建模方法主要基于图中节点与节点关系固定的显式结构进行空间关系挖掘,这严重限制了模型的灵活性.此外,未考虑节点间的时空依赖关系的传统建模方法不能捕获节点间的长时时空趋势.为了克服这些缺陷,研究并提出了一种新的用于时空图建模的图神经网络模型,即面向时空图建模的图小波卷积神经网络模型(graph wavelet convolutional neural network for spatiotemporal graph modeling,简称GWNN-STGM).在GWNN-STGM中设计了一个图小波卷积神经网络层,并在该网络层中设计并引入了自适应邻接矩阵进行节点嵌入学习,使得模型能够在不需要结构先验知识的情况下,从数据集中自动发现隐藏的结构信息.此外,GWNN-STGM还包含了一个堆叠的扩张因果卷积网络层,使模型的感受野能够随着卷积网络层数的增加呈指数增长,从而能够处理长时序列.GWNN-STGM成功将图小波卷积神经网络层和扩张因果卷积网络层两个模块进行有效集成.通过在公共交通网络数据集上实验发现,提出的GWNNSTGM的性能优于其他的基准模型,这表明设计的图小波卷积神经网络模型在从输入数据集中探索时空结构方面具有很大的潜力.

基于时空图卷积神经网络的网球底线正手击球动作识别方法

网球底线正手击球动作识别由于识别准确度低、识别耗时长,导致识别结果无法为教练纠正运动员动作提供有效参考,提出一个基于时空图卷积神经网络的网球底线正手击球动作识别方法。采集图像,建立动作图像采集的输出模板特征匹配模型,采用帧间差分法处理背景,提取图像对应的形状,表征动作变化形态,构建人体有向时空骨架图,建立时空卷积神经网络,参数化处理时空骨架图,将其嵌入到网络,不断迭代,以此完成基于时空图卷积神经网络的网球底线正手击球动作识别。实验结果表明,所提出的识别方法能够准确识别出运动员的正手击球轨迹,在多个动作识别上有效识别出200个正手击球动作,识别时间仅为1.3 min,该方法满足动作识别需求,具备较好的实际应用价值。

多尺度全局自适应注意力图神经网络

针对动态多尺度图神经网络的编解码网络中存在的身体部位内部关节点间关联度不高和感受野受限制导致运动预测误差偏高的问题,提出了一种用于人体运动预测的多尺度全局自适应注意力图神经网络,降低运动预测误差。提出了一种划分骨架关节点的多距离分区策略,用于提高身体部位关节点信息在时间和空间上的关联程度;提出了全局自适应注意力时空卷积神经网络,以动态地加强网络对某一动作有贡献的时空关节点的关注度;将上述两处改进集成到图卷积神经网络门控循环单元中,以增强解码网络的状态传播性能,并降低预测误差。实验表明,与最新方法相比,该方法在Human 3.6M、CMU Mocap和3DPW数据集上的预测误差都有所下降。

基于图卷积网络的儿童坐姿检测学习桌椅设计方法研究

儿童长期处于伏案学习的状态,不良坐姿对儿童生长发育容易造成严重影响,对儿童坐姿的矫正已刻不容缓。通过对儿童在学习桌椅上的坐姿行为调研,基于OpenPose姿态估计算法进行坐姿检测分析,引入ST-GCN模型进行坐姿识别与评判,结果表明:使用ST-GCN模型能够快速准确识别儿童的八种坐姿,并根据识别结果对儿童进行有效的错误坐姿提示,其Macro-F1和Micro-F1评价指标分别提高了6.8%和7.4%。同时表明儿童坐姿矫正在自适应儿童学习桌椅上应用的可行性及有效性,可为智能儿童课桌椅的设计提供技术支撑。

用于人体动作识别的多尺度时空图卷积算法

基于骨骼数据的时空图卷积人体动作识别网络(ST-GCN)存在时间卷积层结构单一、固定的问题,难以全面提取每个动作类别所需的全部重要阶段特征。针对这一问题,提出了包含多个不同尺度卷积核和多种结构的时间图卷积层,构造了多尺度时空图卷积网络(SMT-GCN),利用不同的时间图卷积操作抽取并融合不同尺度的时间轨迹特征。同时,为了强化人体长距离关联信息和空间结构化特征,在SMT-GCN中融合了构造的变换残差模块(Tran-Res)和轻量级注意力模块(CBAM),构造了多尺度时空图注意卷积网络(SAMTGCN)。实验在NTU RGB+D数据集和HDM05数据集上进行,提出的SMT-GCN和SAMT-GCN均获得了识别精度的提升;另外,设计的多尺度时间图卷积模块可以融合于其他基线网络中并提高性能。为探究卷积核尺度及结构对算法的影响,设计了相应消融实验,实验结果表明卷积核大小为1、5、9的SAMT-GCN性能最优,并且具有稠密结构的网络识别精度要高于具有串行和并行结构的网络。

面向交通流预测的双分支时空图卷积神经网络

针对目前交通流预测中未充分考虑到交通流量与密度、交通流量与速度之间的关联性特征信息,以及忽略多尺度时间特征的问题,提出了一种面向交通流预测的双分支时空图卷积神经网络。首先,依据交通数据的周期性,将交通数据划分为近期与周期两种时间粒度的数据输入;其次,在每个输入分支中,先通过关联性门控线性单元(AGLU)提取流量与密度、流量与速度之间的关联性特征信息;然后,通过图卷积层和多尺度时间卷积层提取关联性特征中的空间与时间上下文信息,并采用预测卷积层输出近期、周期双分支预测结果;最后,通过门控机制融合预测结果,从而实现交通流量的准确预测。实验结果表明,所提模型在交通流预测准确性与稳定性方面整体优于其他模型。

基于时空图卷积网络的电力系统暂态稳定评估

快速准确的电力系统暂态稳定分析对电力系统安全稳定运行有着重要意义。现代电力系统设备元件日趋复杂多样导致系统非线性日益增强,作为电力系统暂态稳定分析传统方法的时域仿真法过于耗时。针对此问题,提出了一种基于时空图卷积网络模型的暂态稳定分析方法,将短时仿真与神经网络预测相结合,减少暂态稳定分析所需时间,可用于多种仿真分析场景。该方法将暂态稳定分析建模为样本空间映射问题,利用数据驱动方法训练神经网络模型,建立从暂态过程电网空间结构与时序潮流数据到暂态稳定的映射。模型通过同时提取暂态过程故障前、故障中、故障后的电网空间结构特征和时序潮流特征来实现对系统暂态稳定的快速准确判断。与传统暂态稳定分析方法相比,所提出的方法仅需进行短时间仿真分析,提高了分析效率。与其他机器学习模型相比,时空图卷积网络模型同时挖掘电力系统暂态过程的空间特征和时间特征,引入了更多与稳定性相关的先验知识,具有更优的特征挖掘能力和分析性能。基于新英格兰39节点系统的测试结果验证了所提方法的可行性、有效性和优越性。

基于时空图卷积网络改进的人体行为识别方法

针对目前利用时空图卷积网络ST-GCN行为识别模型进行人体行为识别准确性有待提高和如何更好地学习骨骼数据中关节点和骨架边所表达的动作特征等问题,改进现有的时空图卷积网络(ST-GCN)行为识别模型。首先,使用有向图来表示关节点和骨骼边的信息以及它们之间的依赖关系,提取相邻帧的关节位置差异作为运动信息;其次,使用双流框架分别学习运动信息和空间信息,进行融合提高识别性能;最后,使用注意力权重矩阵让图的拓扑结构具有自适应性,增大节点的感受野,使网络能够学习到远端关节之间的语义信息,更好的捕捉动作特征。将所提出的方法在NTURGB+D数据集上进行实验。研究结果表明,采用基于时空图卷积网络改进的人体行为识别方法在数据集上达到了96%的准确率,与现有ST-GCN模型相比,准确率提高了。此方法可进一步促进人体行为识别技术在智能家居、智能监控安防、人机交互、基于内容的视频检索、智慧城市发展等领域的广泛应用。

基于时空图卷积网络的多变量时间序列预测方法

为了扩大时空图卷积网络的预测范围,将它应用在关联关系未知场景下的多变量时间序列预测问题,提出一种附加图学习层的时空图卷积网络预测方法(GLB-STGCN)。图学习层借助余弦相似度从时间序列中学习图邻接矩阵,通过图卷积网络捕捉多变量之间的相互影响,最后通过多核时间卷积网络捕捉时间序列的周期性特征,实现对多变量的精准预测。为验证GLB-STGCN的有效性,使用天文、电力、交通和经济四个领域的公共数据集和一个工业场景生产数据集进行预测实验,结果表明GLB-STGCN优于对比方法,在天文数据集上的表现尤为出色,预测误差分别降低了6.02%、8.01%、6.72%和5.31%。实验结果证明GLB-STGCN适用范围更广,预测效果更好,尤其适合自然周期明显的时间序列预测问题。

图神经网络基本模型概述

近年来,将神经网络应用于处理图数据的相关任务越来越受到人们的关注,图神经网络的出现恰恰弥补了深度学习在应用到非欧式数据中的不足。鉴于此,对常用分类法得出的4种图神经网络的基本模型进行了概述,包括循坏迭代邻居节点达到稳态实现图特征提取的循环递归图神经网络、将卷积运算应用于图数据实现图特征提取的卷积图神经网络、利用编码器和解码器完成网络嵌入和图生成的图自编码器、结合空间依赖性和时间依赖性的时空图神经网络。对4种类别的模型进行了基本原理的阐述,并对之间的异同进行了总结。

基于时空注意力机制的网约车出行需求预测模型

解决网约车运营中的乘客出行需求预测问题,以降低车辆空载率、减少乘客等待时间。在考虑乘客出行需求的动态时空依赖性的基础上,提出一种基于空间数据可视化和格兰杰因果检验的乘客出行需求空间依赖性分析方法,并结合卷积神经网络和注意力机制,建立了一种基于注意力机制的时空图卷积神经网络模型来预测乘客出行需求。实例研究表明,本模型能有效捕获乘客出行需求时空依赖性的动态特征,提升模型的预测性能,具有较高的准确性和实用性。

交互关系超图卷积模型的双人交互行为识别

为提高学校、商场等公共场所的安全性,实现对监控视频中的偷窃、抢劫和打架斗殴等异常双人交互行为的自动识别,针对现有基于关节点数据的行为识别方法在图的创建中忽略了2个人之间的交互信息,且忽略了单人非自然连接关节点间的交互关系的问题,提出一种基于交互关系超图卷积模型用于双人交互行为的建模与识别。首先针对每一帧的关节点数据构建对应的单人超图以及双人交互关系图,其中超图同时使多个非自然连接节点信息互通,交互关系图强调节点间交互强度。将以上构建的图模型送入时空图卷积对空间和时间信息分别建模,最后通过SoftMax分类器得到识别结果。该算法框架的优势是在图的构建过程中加强考虑双人的交互关系、非自然连接点间结构关系以及四肢灵活的运动特征。在NTU数据集上的测试表明,该算法得到了97.36%的正确识别率,该网络模型提高了双人交互行为特征的表征能力,取得了比现有模型更好的识别效果。

时空图卷积网络的骨架识别硬件加速器设计

随着人工智能技术的不断发展,神经网络的数据规模逐渐扩大,神经网络的计算量也迅速攀升。为了减少时空图卷积神经网络的计算量,降低硬件实现的资源消耗,提升人体骨架识别时空图卷积神经网络(ST-GCN)实际应用系统的处理速度,利用现场可编程门阵列(FPGA),设计开发了一个基于时空图卷积神经网络的骨架识别硬件加速器。通过对原网络模型进行结构优化与数据量化,减少了FPGA实现约75%的计算量;利用邻接矩阵稀疏性的特点,提出了一种稀疏性矩阵乘加运算的优化方法,减少了约60%的乘法器资源消耗。经过对人体骨架识别实验验证,结果表明,在时钟频率100 MHz下,相较于CPU,FPGA加速ST-GCN单元,加速比达到30.53;FPGA加速人体骨架识别,加速比达到6.86。

基于多尺度时空图卷积网络与Transformer融合的多节点短期电力负荷预测方法

深度学习的发展为处理电力系统中海量的负荷数据提供了良好的基础。然而,现有的负荷预测方法大多采用历史负荷序列的时间相关性构建模型,没有同时考虑相邻节点之间存在的空间耦合特性和外部因素的影响。由于图卷积神经网络在挖掘电力系统拓扑结构中的空间特征上具有巨大潜力,因此,该文提出一种基于属性增强的多尺度时空图卷积神经网络与Transformer融合的电力系统多节点负荷预测方法。首先,将外部因素建模为动态属性和静态属性,设计属性增强单元对这些因素进行编码,并利用快速最大互信息系数量化各节点负荷的动态耦合信息。其次,采用多尺度时空图卷积网络挖掘节点间的短期时空特征,同时采用Transformer补充挖掘各节点负荷的长期时域特征。最后,使用门控融合层对两个模型进行融合。在纽约公开负荷数据集上的实验结果表明,所提方法能够充分挖掘多节点负荷数据中的时空耦合特性,具有更高的预测精度和稳定性。