基于时空注意机制与LSTM的暂态电压稳定评估

针对新型电力系统发展背景下现阶段机器学习算法难以准确判断风电并网系统暂态电压稳定性的问题,提出一种基于时空注意机制与长短期记忆网络的暂态电压稳定评估方法。首先,基于支持向量机对初始单特征评价进行特征粗筛,并采用皮尔逊相关系数法判断剩余特征的相似度;其次,通过主成分分析-加权负荷评价获取与暂态电压稳定情况相关性较高的特征集;然后,通过时空注意机制,量化系统负载节点间的空间耦合关系和风电接入点间的空间相关性对整个系统暂态进程的影响,构建基于时空注意机制与长短期记忆网络的评估模型;最后,在算例上进行仿真分析,结果表明该模型有利于风电并网系统暂态电压稳定性判别准确率的提升,以及减少误判和漏判。

基于改进RepVGG和增强时空注意力机制的红外车辆目标检测算法

针对复杂场景下传统红外车辆目标检测算法精度不佳、计算量大等问题,提出基于改进RepVGG(Re-parameterization Visual Geometry Group)和增强时空注意力机制(Enhanced Spatial Temporal Attention Mechanism,ESTAM)的红外车辆目标检测算法。以YOLOv8n(You Only Look Once v8 nano)模型为基础,在骨干网络和颈部网络引入C2fRepVGG(CSP Bottleneck with 2 Re-parameterization Visual Geometry Group)模块,保证检测精度且减少模型参数量。在骨干网络尾部添加增强时空注意力机制模块,优化红外车辆目标特征表达。使用Wise-IOU损失函数(Wise-IOU Loss)代替CIOU损失函数(Complete IOU Loss),减少训练过程中模型对于低质量锚框产生的有害梯度。实验结果表明,提出的算法在红外车辆数据集中检测精度和计算复杂度相较于其他算法均具有比较优势,该模型的平均检测精度达到94.4%,参数量为2.85×10^(6),浮点计算量为7.4×10^(9),能够对复杂场景下的红外车辆目标实现高精度检测。

视频监控场景下基于时空注意力机制的异常行为检测算法研究

随着视频监控技术的迅猛发展,异常行为检测在安防领域中日益受到关注。本文针对视频监控场景下的异常行为检测问题,提出一种基于时空注意力机制的新型算法。该算法通过对视频帧序列中的时序信息和空间分布进行联合建模,实现对异常行为的高效检测。时空注意力机制能够动态地调整对不同时刻和空间位置的关注程度,从而更好地捕捉异常行为的时空特征。实验结果表明,相较于传统方法,本文提出的算法在准确性和鲁棒性上均取得显著改进,为视频监控场景下的异常行为检测提供一种有效的解决方案。

基于全局时空注意力机制和PCA_3DNet的动作识别方法

针对基于3D卷积神经网络的动作识别方法存在参数量过大、无法捕捉时空特征的全局依赖关系等问题,提出了一种基于全局时空注意力机制(Global spatiotemporal attention mechanism, GSTAM)和PCA_3DNet的动作识别方法。该方法引入伪3D卷积结构减少网络参数,在伪3D卷积结构中嵌入通道注意力机制(Channel attention mechanism, CAM)来增强通道特征,并采用全局时空注意力机制来捕捉特征信息的全局依赖关系,加强时空特征的表征能力,从而提高动作识别的准确率。该方法在两个公开数据集UCF101和HMDB51上的识别准确率分别为93.5%和70.5%,模型参数量为13.46 Mi,浮点运算量为8.73 Gi;在准确率、参数量和计算量上的综合表现优于现有的传统方法和深度学习方法。实验结果表明该方法能够获取丰富的时空特征信息,有效提升动作识别的性能。

基于时空注意力-Seq2Seq网络的ISAR包络对齐方法

包络对齐是逆合成孔径雷达(Inverse Synthetic Aperture Radar,ISAR)成像中平动补偿处理的第一步,包络对齐的精度对于方位聚焦和成像质量具有重要影响。针对稀疏孔径和低信噪比条件下传统的包络对齐算法性能显著降低的问题,本文提出一种基于时空注意力-Seq2Seq网络的包络对齐方法。该网络模型以门控循环单元为编码解码单元,针对点目标距离像包络的能量分布特征对空间注意力机制进行改进后,添加时间和空间两维注意力机制形成对ISAR距离像回波包络进行对齐的能力。数据生成方面,基于电磁波仿真参数和目标运动仿真参数进行成像模拟仿真构造了ISAR回波数据集,经过8倍插值后输入网络进行训练,使网络学习到从未对齐回波到对齐回波的映射关系。所提方法以离线训练代替在线相关计算,融合了Seq2Seq模型在处理序列到序列问题上的结构优势、时间注意力机制在捕捉长期依赖关系和空间注意力机制在提取区域特征上的突出能力,实现了稀疏孔径和低信噪比条件下对距离-慢时间域ISAR回波的自动对齐。通过向训练好的时空注意力-Seq2Seq网络输入未对齐的回波序列,网络可以在不改变回波相位结构的前提下自动实现包络对齐。仿真和实测数据对齐结果表明,和传统的包络对齐方法相比,所提方法在稀疏孔径和低信噪比条件下优势明显,在欠采样率为50%、信噪比为0 dB条件下对雅克-42飞机实测回波数据的包络对齐实验中,该方法将循环移位误差由39、26减小至6,将成像结果的图像熵由4.58、4.22减小至1.71,验证了其良好性能。

基于时空注意力机制的基坑位移预测方法

基坑安全管理是大型建筑基坑施工的关键内容,基坑结构位移预测是预防基坑支护事故的重要手段。但是由于基坑局部基坑位移成因复杂,现有的支持向量回归(SVR)、随机森林(RF)方法忽略了基坑位移随空间位移局部减弱、随时间局部位移加快增长的特点,导致预测精度不高。因此,本文提出一种融合时空注意力机制的GA-BP神经网络(A-GABP)方法,通过时空特征准确表示基坑位移预测的时空维度及其特征相关性,提高基坑位移预测的有效性。最后,本文以苏州市某大型工程为实例,对基坑的水平与垂直位移监测数据进行模型训练与评估,按时域特征、空域特征、多阶时域空域特征进行量化分析与研究,并与现有方法进行比较。实验结果表明,本文方法的拟合指数比其他几种方法分别提高29.19%与41.25%,多阶时空域特征相较于单独的时间域或空间域特征分别提高3.08%与1.83%。

多重注意机制及权重校正LSTM的PVC含水率预测

针对PVC干燥工段中,PVC含水率存在非线性、大滞后、与其他变量关联性复杂难以预测的问题,提出一种多重注意机制及权重校正型长短期记忆网络(LSTM)模型用于PVC含水率的预测。在编码器部分,利用与含水率相关的输入序列之间的相关性对空间注意机制训练的可变权重进行校正,避免由于单纯数据训练导致相关性强的输入变量之间权重差异较大,进而实际干燥工艺不符;同时,由于含水率预测的滞后特性,为减弱长子时间窗口内LSTM单元细胞状态信息丢失,提出信息补偿机制补偿之前时刻细胞状态信息。在解码器部分,利用时间注意机制对编码器的隐藏层状态进行权重更新,解除固定长度向量对模型性能的限制。最后,选取某化工公司干燥工段DCS数据进行验证,相对于RNN、VA-LSTM、STA-LSTM相关系数(R2)分别提高了571%、122.6%、82.6%,结果表明本文模型具有一定优越性。

基于时空融合的多头注意力车辆轨迹预测

针对时空维度特征影响自动驾驶车辆轨迹精度的问题,提出基于时空融合的多头注意力(TSMHA)车辆轨迹预测模型,对于空间与时间2个维度的特征信息,分别使用多头注意力机制提取车辆空间交互感知与时间运动模式.为了获得互补特征,并除去特征数据中的冗余,将处理后的时空特征信息传输至门控特征融合模型进行特征融合.使用基于长短期记忆(LSTM)的编解码器结构,考虑编码与解码2个过程中轨迹之间潜在的相互作用,循环生成目标车辆未来预测轨迹.在训练过程中使用L2损失函数,以此降低预测轨迹与真实轨迹的差值.实验表明,与对比算法模型相比,在直线高速公路、城市十字路口、环岛场景下,本研究所提出的模型的精度分别提高了3.95%、15.64%、31.40%.

基于三维时空注意的密集连接视频超分算法

针对视频超分对时间帧间信息以及分层信息的利用不充分,设计了一种具有空间时序注意力机制的密集可变形视频超分辨率重建网络。利用三维卷积来提取经可变形卷积模块对齐后的相邻帧之间的时间序列信息,同时设计具有步幅卷积层的轻量级模块来提取空间注意力信息。在特征重构阶段引入密集连接,充分利用分层特征信息以实现更好的特征重建。选取公共数据集进行实验验证,结果表明,提出的算法在客观评价指标与视觉对比效果上都有提升。。

基于并行架构和时空注意力机制的心电分类方法

为了有效提取心电信号(ECG)的时空特征和提高分类准确性,提出基于深度学习的并行架构心电分类模型.该模型采用基于GCA Block和GTSA Block模块实现多路特征融合的时空注意力机制.使用双向长短时记忆网络和卷积神经网络作为基特征提取器,分别捕捉心电信号序列数据的前后依赖关系和不同尺度上的局部相关特征,实现对5种不同类型的心电信号的自动分类.在MIT-BIH数据集上验证的结果表明,该方法对5种不同心电信号的总体分类准确率、特异性、敏感度、精确度和Macro-F1分别为99.50%、99.61%、96.20%、98.02%和97.08%.相较于其他心电分类模型,该模型不仅能够有效地缩短网络模型深度,防止模型过拟合,而且能够更准确地提取心电信号的时空特征,获得更好的分类性能.

基于STAGCN-Informer时空组合模型的风电功率预测方法

针对风电功率预测中,空间信息受时空波动性和随机性影响无法有效提取,导致预测精度不足的问题,提出一种基于变分模态分解(Variational Mode Decomposition,VMD)、融合时空注意力图卷积网络(Spatiotemporal Attention Graph Convolutional Network,STAGCN)和改进Informer的组合模型(STAGCN-Informer-DCP)。首先运用VMD对原始特征进行模态分解,提取出不同时间尺度上的特征信息。同时利用北方苍鹰算法(Northern Goshawk Optimization,NGO)优化VMD的核心参数(惩罚因子和K值)选择。其次,利用融合时空注意力的STAGCN模块动态捕捉目标风机与近邻相似风机的时空特征,并将其与原始的信号分量融合获得携带空间尺度信息的特征向量。最后使用改进的Informer模型提取时序上下文的长期依赖关系,并实现多步输出预测。实验结果表明,该组合模型能较好地捕捉动态时空依赖,并有效提高了中长期风电预测的准确度。

基于3D-CNN和时空注意力-卷积LSTM的抑郁症识别研究

针对目前抑郁症识别方法中没有有效地从序列信息中刻画长时特征表示的问题,本文提出了一种基于三维卷积神经网络(3D-CNN)、时空注意力-卷积长短时记忆网络(STA-ConvLSTM)和空间金字塔池化(SPP)的端到端的抑郁症识别方法,计算在数据库AVEC2013和AVEC2014测试集上的抑郁症识别结果,并将本文结果与已发表文献结果进行对比分析.结果表明:在数据库AVEC2013和AVEC2014测试集上,平均绝对误差均为8.60,均方根误差分别为10.32和10.27,文献结果比较表明本文的抑郁症识别结果优于当前大多数基于面部视频的抑郁症识别方法.

基于动态时空图卷积的多传感器路网交通流预测

准确的交通预测为城市发展提供规划支持,然而交通流预测精度取决于多重影响因素,道路之间的复杂程度与时间逻辑上的变化规律,现有方法无法合理分析路网交通模式的动态时空相关性,为解决这些问题本文提出一种结合动态自适应(Dynamic Self-adapting)、时空注意力机制(TS At-tention)、基准自适应机制(Benchmark Adaptive Mechanism)与空洞卷积(Dilated Convolution)的切比雪夫图卷积神经网络(GCN)。该模型采用时空注意力机制提取时间与空间动态相关性,结合切比雪夫图卷积神经网络获取交通流数据空间依赖关系,同时,将GCN的输出作为输入,该网络引入空洞卷积扩展感受野范围和提取时间和周期依赖关系,增加残差模块以构建时空残差网络,最后多模块融合预测。

联合时空注意力的视频显著性预测

为了解决视频显著性预测任务中时间与空间特征联合建模的问题,提出联合时空注意力机制(COStA),共同提取时间和空间维度的注意信息,突出特定时间和区域的特征供模型来感知。基于该机制,进一步提出视频显著性预测模型TASED-COStA,对比实验表明:COStA机制能为神经网络模型在CC、NSS与SIM三个评价指标上获得大于8%的性能提升,TASED-COStA模型能有效地建模视频信息中的时间与空间关系,并给出准确的预测结果。

基于EEG和面部视频的多模态连续情感识别

针对脑电(Electroencephalogram, EEG)通道间和时间上情绪强度的改变很难被捕捉,以及不同被试的面部特征情绪上的相似性难以挖掘的问题,文章提出了一种基于EEG和面部视频的多模态连续情感识别模型.采用基于时空注意力机制(Spatial-Temporal Attention)的卷积和双向长短期记忆神经网络的组合模型(STA-CNNBiLSTM)对EEG中提取的功率谱密度(Power Spectral Density, PSD)特征进行深层特征学习与情感分类;采用引入自注意力机制的预训练卷积神经网络(SA-CNN)对人脸面部几何特征进行学习与情感分类.采用决策级融合算法,对两个模态的分类结果进行迭代学习与融合,得到最终多模态情感分类结果.在公开数据集MAHNOB-HCI进行了大量对比验证实验,在FER2013数据集的面部几何特征上对SA-CNN模型进行了预训练.在独立被试的实验中,所提模型在效价维度二分类的平均准确率为75.50%,在唤醒维度二分类的平均准确率为79.00%,均优于单模态上的最高平均准确率.和目前流行的模型LSSVM、SE-CNN和AM-LSTM相比较,所提模型的分类效果更优,验证了所提时空注意力机制能够捕捉更多的EEG时空特征,自注意力机制能够关注到不同被试面部特征的相似性,进而提高了多模态情感识别的性能.

基于蓝图可分离的视频超分辨率重建技术研究

目前视频超分辨率重建技术面临着以下2个问题:相邻帧对齐过程中,难以做到内容对齐,这种情况尤其会发生于大运动视频帧超分辨率重建过程中;其次,在视频超分辨率重建过程中出现的运动模糊和多运动难以良好的进行融合.我们针对以上2个问题提出了基于蓝图可分离的视频超分辨率重建技术(BSCVSR),设计出一种性能优越、针对性强的视频超分辨率重建技术算法.BSCVSR引入了金字塔级联蓝图可分离卷积对齐网络和时空注意力融合SR网络,分别在不同层级基于不同信息对视频帧进行对齐,接着通过加入时空注意力机制解决多运动和运动模糊的融合问题.同时,对齐网络中,我们引入蓝图可分离卷积来减少冗余.通过研究发现,内核内部的相关性相较于跨内核的相关性对于分离操作具有更明显更直接的效果,最终的实验数据也可以很好的证明这一点.通过最终的实验数据我们可以看到,BSCVSR为视频超分辨率重建技术在效果上、在模型的轻量化上都提供了可参考的方案.

基于时域可变形卷积的视频超分辨率重建

视频资源随着技术发展在近年来得到了海量增长,人们除了对视频资源本身的需求外,提升视频清晰度的需求也逐渐增多。本文针对当前视频超分辨率重建方法中对视频参考帧与支持帧(相邻帧)之间的信息利用不充分的问题,提出一种基于深度学习的利用可变形卷积提取在不同时间间隔内特征的算法,依此完成超分辨率重建。算法将视频拆分的图像帧分为不同时域组,利用可变形卷积提取各时域组特征,结合可分离的3D卷积对各时域组进行组内特征融合,最后结合时空注意力模块将时域组间的特征融合,通过亚像素卷积完成分辨率的提升。根据在视频超分辨率重建的公开数据集上的实验结果可知,本文提出的算法效果优于VSRnet和VESPCN等其他视频重建算法,能够有效地提升重建视频的清晰度。

基于轻量级神经网络的暴力视频分类方法研究

随着视频类自媒体平台的迅速发展,视频内容的安全性审核需求急速增加。为提高视频内容审核的便捷性和准确性,提出结合轻量级神经网络和长短时记忆网络的暴力视频分类方法。借助轻量级神经网络提取视频帧的视觉特征,使用长短时记忆网络对视频帧之间的时序特征将进行提取,引入时空注意力机制提高视频分类准确率。实验结果表明,所提出的方法不仅在模型上表现出轻量性,而且还能提高视频分类的准确性。

基于时空自适应图卷积神经网络的脑电信号情绪识别

随着人机交互在计算机辅助领域的快速发展,脑电信号已成为情绪识别的主要手段。与此同时,图网络因其对拓扑结构数据的优秀表征能力,逐渐受到研究者们的广泛关注。为进一步提升图网络对多通道脑电信号的表征性能,文中结合脑电信号的稀疏性、不频繁性等多种特性,提出了一种基于时空自适应图卷积神经网络的脑电情绪识别方法(Self-Adaptive Brain Graph Convolutional Network with Spatiotemporal Attention,SABGCN-ST)。该方法通过引入时空注意力机制解决了情绪的稀疏性问题,并根据自适应学习的脑网络拓扑邻接矩阵,挖掘不同位置的电极通道之间的功能连接关系。最终模型基于图卷积操作进行图结构的特征学习,以实现对脑电信号的情绪预测。在DEAP和SEED两个脑电信号公开数据集上开展了大量实验,实验结果证明,SABGCN-ST相比基线模型在准确率上具有显著的优势,平均情绪识别准确率达到84.91%。

融合时空信息的端对端目标跟踪算法

视觉目标跟踪是计算机视觉领域的一个基本问题.目前,采用深度卷积方法的相关滤波器(DCF)在目标跟踪领域取得了优秀的成果.然而,大多数现有的跟踪器仅考虑当前帧的外观特征,几乎不考虑目标运动和帧间信息,不能很好地解决诸如遮挡、阴影和变形等问题.因此,我们将利用连续帧中丰富的运动信息来提高跟踪性能.首先,我们将光流信息,特征提取和相关滤波表示为深度学习网络中的相关特殊层,从而能够进行端对端深度学习网络的训练.然后,提出了一种全新的时空注意力机制,通过时空注意力机制的加权,将预定间隔的历史特征图相融合并与当前的特征图进行自适应聚合.最后,在公共数据进行了大量实验,得到了满意的结果.