基于时空图卷积神经网络的强迫振荡定位与传播预测

振荡源定位与传播预测是抑制强迫振荡和保证电力系统稳定的关键。现有方法未能充分利用电网的空间拓扑信息和振荡的时序特征,限制了定位和预测的精度。因此,该文提出一种基于时空图卷积神经网络的强迫振荡定位与传播预测方法。首先,根据节点特征和拓扑信息构建图数据,考虑到强迫振荡传播的快速性,通过切比雪夫多项式扩大节点空间感受野,提取振荡空间特征。同时,利用门控循环单元网络提取多个节点振荡数据的时序关联,通过时空图卷积单元融合空间和时序特征。然后,将定位与传播预测分别建模为分类和回归问题,训练时空图卷积神经网络模型。算例分析表明,所提方法具有更高的准确率,且在噪声和部分节点数据缺失的情况下依然具有较好的性能。

基于时空图卷积神经网络的教师教学行为识别方法

教师课堂教学行为是课堂教学活动的重要组成部分,而进行教师的教学行为识别对评价课堂教学质量有着重要意义.该文提出了一种基于时空图卷积神经网络的教师教学行为识别方法,此方法首先以教师教学视频中的单帧影像为单元提取人体骨架点信息,然后以时空图卷积神经网络为框架聚合多帧影像信息,对教师教学行为类别进行识别.为了验证方法的有效性,文章构建了两组包含6大类教师日常教学行为的视频数据集,并进行了对比实验.实验结果表明,基于时空图卷积神经网络的教师教学行为识别方法可以有效排除教室场景内无关信息的干扰,充分利用多帧影像中骨架点间产生的时空信息,来准确识别教师典型教学行为,具有更高准确率和更强的鲁棒性.该文相关研究可以及时、有效地反应教师的教学状态,有助于教师及时优化教学行为,助力智慧教学.

基于软邻接时空图卷积神经网络的动作识别算法

动作识别被广泛应用于诸多领域,如智能监控、人机交互、智能医疗、机器人技术等。近年来,随着智慧城市建设的不断发展,人类动作识别的相关研究越来越受到学术界的关注。然而目前的基于神经网络的动作识别算法普遍存在着准确率低,鲁棒性差等问题。虽然这种传统的方法取得了良好的效果,但这种方法的效果与实际应用之间依然存在差距。为了进一步解决这些问题,设计了一个更有效的动作识别模型,即基于软邻接的时空图卷积神经网络的动作识别算法(spatial temporal soft adjacency graph convolution network, STS-GCN)。首先,将图卷积网络扩展到时间域,并在骨架节点之间引入潜在的相邻关系,从而可以自动学习空间时间维度上的隐藏动作信息;其次,模型引入了一种简易的空间注意机制,使其具有鉴别具有判别力的空间区域的能力,从而获得更好的识别效果;最后对该模型在NTU-RGB+D数据集上进行了实验。实验结果表明,与其他几个现有模型的结果相比,模型测试的识别准确率有所提高。这说明了引入软邻接矩阵的时空图卷积神经网络有利于模型提高动作识别算法的效果。

基于时空图卷积神经网络的网球底线正手击球动作识别方法

网球底线正手击球动作识别由于识别准确度低、识别耗时长,导致识别结果无法为教练纠正运动员动作提供有效参考,提出一个基于时空图卷积神经网络的网球底线正手击球动作识别方法。采集图像,建立动作图像采集的输出模板特征匹配模型,采用帧间差分法处理背景,提取图像对应的形状,表征动作变化形态,构建人体有向时空骨架图,建立时空卷积神经网络,参数化处理时空骨架图,将其嵌入到网络,不断迭代,以此完成基于时空图卷积神经网络的网球底线正手击球动作识别。实验结果表明,所提出的识别方法能够准确识别出运动员的正手击球轨迹,在多个动作识别上有效识别出200个正手击球动作,识别时间仅为1.3 min,该方法满足动作识别需求,具备较好的实际应用价值。

面向交通流预测的双分支时空图卷积神经网络

针对目前交通流预测中未充分考虑到交通流量与密度、交通流量与速度之间的关联性特征信息,以及忽略多尺度时间特征的问题,提出了一种面向交通流预测的双分支时空图卷积神经网络。首先,依据交通数据的周期性,将交通数据划分为近期与周期两种时间粒度的数据输入;其次,在每个输入分支中,先通过关联性门控线性单元(AGLU)提取流量与密度、流量与速度之间的关联性特征信息;然后,通过图卷积层和多尺度时间卷积层提取关联性特征中的空间与时间上下文信息,并采用预测卷积层输出近期、周期双分支预测结果;最后,通过门控机制融合预测结果,从而实现交通流量的准确预测。实验结果表明,所提模型在交通流预测准确性与稳定性方面整体优于其他模型。

基于天气模式识别与时空图神经网络的新能源发电功率预测

区域光伏功率预测有助于调度人员科学、合理地制定调度方案,但现有研究方法没有充分考虑功率输出的时间相关性和云移动造成的影响。为此,提出了一种基于天气条件识别的区域光伏功率时空图神经网络预测方法。考虑了光伏电站之间随天气条件的变化而变化的影响因素,并根据云层覆盖情况将历史光伏发电数据分为三类,根据不同类别设置不同的邻接矩阵。在时空图卷积网络(spatio-temporal graph convolutional network,STGCN)模型的基础上建立了三个子模型,分别通过图卷积神经网络捕捉空间相关性和门卷积神经网络捕捉时间相关性。最后,应用实际数据进行了仿真,并与图神经网络模型、长短期记忆网络模型和STGCN模型进行比较。结果表明,采用STGCN分类模型的方法在功率预测精度上有显著提高。

多尺度全局自适应注意力图神经网络

针对动态多尺度图神经网络的编解码网络中存在的身体部位内部关节点间关联度不高和感受野受限制导致运动预测误差偏高的问题,提出了一种用于人体运动预测的多尺度全局自适应注意力图神经网络,降低运动预测误差。提出了一种划分骨架关节点的多距离分区策略,用于提高身体部位关节点信息在时间和空间上的关联程度;提出了全局自适应注意力时空卷积神经网络,以动态地加强网络对某一动作有贡献的时空关节点的关注度;将上述两处改进集成到图卷积神经网络门控循环单元中,以增强解码网络的状态传播性能,并降低预测误差。实验表明,与最新方法相比,该方法在Human 3.6M、CMU Mocap和3DPW数据集上的预测误差都有所下降。

基于时空图卷积网络改进的人体行为识别方法

针对目前利用时空图卷积网络ST-GCN行为识别模型进行人体行为识别准确性有待提高和如何更好地学习骨骼数据中关节点和骨架边所表达的动作特征等问题,改进现有的时空图卷积网络(ST-GCN)行为识别模型。首先,使用有向图来表示关节点和骨骼边的信息以及它们之间的依赖关系,提取相邻帧的关节位置差异作为运动信息;其次,使用双流框架分别学习运动信息和空间信息,进行融合提高识别性能;最后,使用注意力权重矩阵让图的拓扑结构具有自适应性,增大节点的感受野,使网络能够学习到远端关节之间的语义信息,更好的捕捉动作特征。将所提出的方法在NTURGB+D数据集上进行实验。研究结果表明,采用基于时空图卷积网络改进的人体行为识别方法在数据集上达到了96%的准确率,与现有ST-GCN模型相比,准确率提高了。此方法可进一步促进人体行为识别技术在智能家居、智能监控安防、人机交互、基于内容的视频检索、智慧城市发展等领域的广泛应用。

基于时空图卷积网络的学生在线课堂行为识别

为了有效地识别学生在线课堂行为,提出了一种融合全局注意力机制和时空图卷积网络的人体骨架行为识别模型。首先在时空图卷积网络的空间图卷积网络和时间卷积网络之间加入全局注意力模块,空间图卷积网络输出的空间特征图作为注意力模块的输入。其次引入按时间维度的平均池化和最大池化操作,以增加模型学习全局特征信息的能力。最后用三个加入注意力机制的时空图卷积神经网络和类激活图(class activation map,CAM),构造对遮挡数据识别能力更强的丰富激活图卷积网络(RA-GCNv2-A)模型,并通过迁移学习实现学生在线课堂行为识别功能。在NTU-RGB+D和NTU-RGB+D120数据集上进行实验验证,与RA-GCNv2模型相比,在NTU-RGB+D和NTU-RGB+D120数据集上的识别准确率分别提高了(cross-subject,CS)1.3%、(cross-view,CV)1.2%和(cross-subject,CSub)1.6%、(cross-setup,CSet)1.4%。实验结果表明,提出的方法是一种有效的学生在线课堂行为识别方法。

基于新分区策略的ST-GCN人体动作识别

人体动作识别是智能监控、人机交互、机器人等领域的一项重要技术,基于人体骨架序列的动作识别方法在面对复杂背景以及人体尺度、视角和运动速度等变化时具有先天优势。时空图卷积神经网络模型(ST-GCN)在人体行为识别中具有卓越的识别性能,针对ST-GCN网络模型中的分区策略只关注局部动作的问题,设计了一种新的分区策略,通过关联根节点与更远节点,加强身体各部分信息联系和局部运动之间的联系,将根节点的相邻区域划分为根节点本身、向心群、远向心群、离心群和远离心群等5个区域,同时为各区域赋予不同的权重,提升了模型对整体动作的感知能力。最后,分别在公开数据集和真实场景下进行实验测试,结果表明,在大规模数据集Kinetics-skeleton上获得了31.1%的Top-1分类准确率,相比原模型提升了0.4%;在NTU-RGB+D的两个子数据集上分别获得了83.7%和91.6%的Top-1性能指标,相比原模型提升了2.3%和3.3%;在真实场景下,所提模型对动作变化明显且区别大的动作如俯卧撑和慢跑识别率高,对局部运动和动作变化相近的动作如鼓掌和摇头识别率偏低,尚有进一步提高的空间。

基于骨骼关键点的人体行为识别算法

当前,人体行为识别在视频监控等多领域得到了重要的应用。针对传统的算法检测所呈现出的不足之处如准确性差、易受环境背景影响等问题,采用基于骨骼与关键点的方式进行行为识别。首先,使用人体姿态估计算法Openpose获取视频中人体各个关节点的坐标信息,然后通过时空图卷积神经网络(Spatial-Temporal Graph Convolution Networks,ST-GCN)进行人体行为识别。为了提高识别精度,在原有算法上加入通道注意力机制。实验结果表明,所提的算法在NTU-RGB+D数据集上,C-SUB和C-VIEW的top-1分别取得83.62%与90.86%的精度,相比ST-GCN分别提升了2.12%和2.56%。在自建数据集上,所提算法得到了78.33%的精度,相比ST-GCN的71.67%,提高了6.66%。

基于多步态特征融合的情感识别

在情感计算、心理治疗、机器人、监视和观众理解等方面,基于步态特征的情感识别有着广泛的应用前景。已有方法表明,考虑手势位置等上下文信息可以显著提高情绪识别性能,且时空信息能显著提高情绪识别精度。但是单纯使用骨骼空间信息无法充分表达步态中的情绪信息。为了充分利用步态特征,本文提出自适应融合的方法,将骨骼时空信息与骨骼旋转角度结合,提升了现有模型的情感识别精度。本文模型利用自编码器,学习人类行走时的骨骼旋转信息,利用时空图卷积神经网络提取骨骼点时空信息,将骨骼旋转信息与时空信息输入自适应融合网络,得到最终特征进行分类。模型在Emotion-Gait数据集上测试,实验结果显示:悲伤、愤怒和中立情绪的AP值比最新HAP方法分别提升5、8、5个百分点;总体分类的平均MAP值提高了5个百分点。

基于改进关节点联系的ST-GCN行为识别办法

人体行为识别在监控安防等多个领域有重要的实用性。基于人体骨骼关节点的行为识别有很好的鲁棒性,并且在计算量和存储空间上都有很大的优势。时空图卷积神经网络(Spatial-Temporal Graph Convolution Networks,ST-GCN)模型开创图卷积神经网络处理姿态估计信息的先河,针对ST-GCN不能很好关联所有关节特征的缺点,提出通过构建共现特征学习结构以及新的注意力机制加强关节点的联系,同时提出集成学习在线蒸馏手段,增强模型的泛化能力。所提模型在Kinetics-skeleton数据集上取得31.25%的Top-1精度,相比于ST-GCN算法提升了0.44%;在NTU-RGB+D的X-Sub子数据集与X-View子数据集分别取得86.7%与94.6%的Top-1精度,对比ST-GCN算法提升了5.2%和6.3%。