基于Transformer和GAN的多元时间序列异常检测方法

在时序数据分析中,异常检测是最为成熟的应用之一。它在量化交易、网络安全检测、自动驾驶和大型工业设备日常维护等现实领域广泛应用。随着业务组合的复杂性和时序数据量的增加,传统的人工和简单算法方法很难判断异常点。针对上述问题,对现有的检测方法进行了改进,提出了一种基于Transformer和生成式对抗网络(Generative Adversarial Networks,GAN)的时间序列异常检测模型,利用改进后的Transformer对时间序列的空间特征进行提取,并使用基于异常分数的异常检测算法和对抗训练以获得稳定性和准确性。模型采用自监督训练的方式,避免了需要手动标注异常数据的麻烦,同时减少了数据集对于监督模型训练的依赖。通过实验验证,本文提出的基于Transformer的时间序列异常检测模型在准确率上与先进的基于Transformer的模型相当,并且表现优于多元时间序列的大型数据集上的监督训练和传统异常检测方法。因此,该模型在实际应用中具有较好的潜力。

基于Transformer的矿井内因火灾时间序列预测方法

传统的基于机器学习的矿井内因火灾预测方法尽管具备一定的预测能力,然而在处理复杂的多变量数据时不能有效捕捉数据间的全局依赖关系,导致预测精度较低。针对上述问题,提出了一种基于Transformer的矿井内因火灾时间序列预测方法。首先,采用Hampel滤波器和拉格朗日插值法对数据进行异常值检测和缺失值填补。然后,利用Transformer的自注意力机制对时间序列数据进行特征提取及趋势预测。最后,通过调节滑动窗口的大小与步长,在不同的时间步长和预测长度下对模型进行不同时间维度的训练。结合气体分析法将矿井火灾产生的标志性气体(CO,O_(2),N_(2),CO_(2),C_(2)H_(2),C_(2)H4,C_(2)H_(6))作为模型输入变量,其中CO作为模型输出的目标变量,O_(2),N_(2),CO_(2),C_(2)H_(2),C_(2)H4,C_(2)H_(6)作为模型输入的协变量。选取陕煤集团柠条塔煤矿S1206回风隅角火灾预警的束管数据进行实验验证,结果表明:①对CO进行单变量预测和多变量预测,多变量预测相比单变量预测有着更高的预测精度,说明多变量预测能通过捕捉序列间的相关性提高模型的预测精度。②当时间步长固定时,基于Transformer的矿井内因火灾预测模型的预测精度随着预测长度的增加而下降。当预测长度固定时,模型的预测精度随时间步长增加而提高。③Transformer算法的预测精度较长短时记忆(LSTM)算法和循环神经网络(RNN)算法分别提高了7.1%~12.6%和20.9%~24.9%。

基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割算法

脑肿瘤是目前世界上最致命的肿瘤之一,所以脑肿瘤图像的自动分割在临床诊疗中变得日益重要.近年来,基于CNN和Transformer的脑肿瘤分割方法在医学图像分割领域取得了令人欣喜的成就.然而,大多数方法没有充分利用脑肿瘤多模态间的互补性和差异性,并且模型中的Transformer在捕获远程依赖性的同时,忽略了其较大的计算复杂性、冗余依赖性等问题.针对此问题,提出一种基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割方法(MF-MAPT Swin UNETR),其中多模态融合模块可以充分学习性质相近的模态间信息和不同模态不同尺度的特征变化,为后续分割提供了充分的准备;基于多模态的自适应剪枝Transformer可以降低计算复杂度,对提升性能有一定的帮助,将MF-MAPT Swin UNETR模型在两个公共数据集上进行了实验验证,结果表明,该模型较最先进的方法整体具有突出的分割性能.

引入轻量级Transformer的自适应窗口立体匹配算法

现有端到端的立体匹配算法为了减轻显存消耗和计算量而预设固定视差范围,在匹配精度和运行效率上难以平衡。提出一种基于轻量化Transformer的自适应窗口立体匹配算法。利用具有线性复杂度的坐标注意力层对低分辨率特征图进行位置编码,减轻计算量并增强相似特征的辨别力;设计轻量化Transformer特征描述模块,转换上下文相关的特征,并引入可分离多头自注意力层对Transformer进行轻量化改进,降低Transformer的延迟性;用可微匹配层对特征进行匹配,设计自适应窗口匹配细化模块进行亚像素级的匹配细化,在提高匹配精度的同时减少显存消耗;经视差回归后生成无视差范围的视差图。在KITTI2015、KITTI2012和SceneFlow数据集上的对比实验表明,该算法比基于标准Transformer的STTR在匹配效率上快了近4.7倍,具有更快的运行速度和更友好的存储性能;比基于3D卷积的PSMNet误匹配率降低了18%,运行时间快了5倍,实现了更好的速度和精度的平衡。

一种通道自适应与局部增强的Transformer术中血压预测方法

准确预测术中患者的血压状态来预防术中低血压,对提高手术安全性和降低术后并发症有积极作用,以往的低血压预测方法主要视为二分类任务,忽略了患者血压变化的过程,从而限制了干预策略的制定。因此提前预测血压的变化趋势,具有更重要的临床研究和应用价值。针对以上问题,对通过监测的术中生理序列实时预测未来5min、10min、15min血压的连续值展开研究,并提出了一种通道自适应与局部增强Transformer模型,该模型采用卷积注意力机制捕捉血压序列的局部相似性,同时提出一种通道自适应模块嵌入模型来建模生理序列潜在交互关系。结果表明,该模型相比于基准模型在5min、10min、15min预测精度分别提升4.88%、8.2%和8.42%,预测的平均动脉压的MAE分别为2.997、3.393、3.743,且显著优于其余对比模型,为术中血压预测提供新的解决方案。

时空自适应图卷积与Transformer结合的动作识别网络

在一个以人为中心的智能工厂中,感知和理解工人的行为是至关重要的,不同工种类别往往与工作时间和工作内容相关。该文通过结合自适应图和Transformer两种方式使模型更关注骨架的时空信息来提高模型识别的准确率。首先,采用一个自适应的图方法去关注除人体骨架之外的连接关系。进一步,采用Transformer框架去捕捉工人骨架在时间维度上的动态变化信息。为了评估模型性能,制作了智能生产线装配任务中6种典型的工人动作数据集,并进行验证,结果表明所提模型在Top-1精度上与主流动作识别模型相当。最后,在公开的NTURGBD和Skeleton-Kinetics数据集上,将该文模型与一些主流方法进行对比,实验结果表明,所提模型具有良好鲁棒性。

基于全局自适应宽度注意力改进的Transformer

Transformer在自然语言处理中运用广泛,但存在文本长度过长带来的输入信息被切割、显存占用太大的问题,已有的解决方法是让模型动态决定每层注意力宽度,可以在控制计算量和显存开销的前提下关联最优序列长度,但存在每层最优的注意力宽度并不能达到模型最优注意力宽度的缺点。为此,提出一种全层自适应宽度注意力模型(GAA)。让每层的注意力范围和全局关联,实现模型全局注意力范围最优,还将模型的前馈层修改为带门控单元的前馈层(FFN_(GLU))。在数据集enwiki8和text-8上的验证表明,该方法仅使用25%的训练计算成本,即可达到比基线更好的性能。

基于GAT的Transformer多维时间序列异常检测

针对多维时序数据中多个时间和多个变量之间的复杂依赖关系,无法准确地识别出少量异常点问题,提出一种基于GAT的Transformer多变量时间序列异常检测方法。首先,将特征转换为嵌入向量表示;然后,引入图注意力机制自适应地学习不同时间和不同变量之间复杂的依赖关系;最后,将原始数据与GAT层的输出拼接,输入带有位置编码的Transformer编码器,通过计算异常分数并设定阈值判定异常情况。结果表明,所提模型可以有效地检测出时序数据中的异常。

基于Transformer的时间序列插补技术研究

本文旨在解决多元时间序列数据中的缺失值插补问题,提升时间序列数据插补的效果。时间序列数据是反映随时间变化的随机变量的结果,在物联网应用中得到广泛应用。然而,数据缺失问题是时间序列处理中的一个重要挑战,因为大多数下游算法需要完整的数据进行训练。本文通过总结以往时间序列建模过程中采用的插补方法,改进了一种基于Transformer模型的插补模型,并在多个数据集中验证了本文中插补模型的效果。通过本文的研究,可提高时间序列预测的准确性和实用性,对于物联网应用和其他领域中的时间序列分析具有一定的实用价值。

Transformer在域适应中的应用研究综述

作为迁移学习的重要分支,域适应旨在解决传统机器学习算法在训练样本和测试样本服从不同数据分布时性能急剧下降的问题。Transformer是基于自注意力机制的深度学习框架,具有强大的全局特征提取能力和建模能力,近年来Transformer与域适应相结合也成为研究的热点。虽然已有大量相关方法问世,但Transformer应用在域适应的综述却未见报道。为了填补这个领域的空白,为相关研究提供借鉴和参考,对近年来出现的一些基于Transformer的典型域适应方法进行归纳总结与分析,概述域适应的相关概念与Transformer的基本结构,从图像分类、图像语义分割、目标检测、医学图像分析四个应用梳理了各种基于Transformer的域适应方法,对图像分类下的域适应方法进行比较,总结当前域适应Transformer模型存在的挑战并探讨未来可行的研究方向。

Transformer在时间序列预测中的应用综述

以Transformer为代表的深度学习理论在时间序列预测任务中表现优异。首先阐述了Transformer的基本原理和特点;然后着重分析了目前基于Transformer结构改进的相关预测模型,分别从性能优化和结构改进两方面进行了详细的论述,并列举了改进模型应用的场合和领域;最后总结了Transformer在时间序列预测上的优缺点,并对未来的研究工作进行了展望。

基于Transformer的时间序列预测研究

文章探究Transformer结构在时间序列预测领域的性能,并讨论目前的工作与方法,分析改进方向。通过改进Transformer结构应用于长时间序列预测,降低计算复杂度和时间成本,同时提高预测准度。分别进行单变量和多变量预测,并与不同的基准模型进行对比得出实验结果,发现基于Transformer结构改进的模型在时间序列预测方面效果较好。

一种大尺度区域GNSS坐标时间序列自适应时空滤波方法

提出一种GNSS坐标时间序列自适应时空滤波方法,在规定阈值下将滤波区域自适应分为若干个子区域,进行共模误差的提取和去除。对陆态网184个GNSS站点垂向坐标序列进行时空滤波,3组随机实验中,自适应PCA时空滤波后的站点序列平均RMS值减少约39.7%、38.4%和39.7%,且优于整体PCA滤波。进一步分析滤波前后站点噪声特性变化,结果显示,相比于整体PCA滤波,自适应滤波方法中站点残差序列幂律噪声减少约17.8%。

多尺度卷积结合Transformer的抑郁脑电分类研究

在通过深度学习模型进行抑郁症类脑电信号分析时,针对单一尺度的卷积存在特征提取不充分的问题和卷积神经网络在感知脑电信号全局依赖性方面的局限性,分别设计了多尺度动态卷积网络模块和门控Transformer编码器模块,并与时间卷积网络相结合,提出了混合网络模型(MGTTCNet)进行抑郁症患者和健康对照组的脑电信号分类。该模型首先通过多尺度动态卷积从空间域和频率域捕捉脑电信号的多尺度时频信息。其次通过门控Transformer编码器学习脑电信号中的全局依赖关系,其利用多头注意力机制有效增强网络表达相关脑电信号特征的能力。之后利用时间卷积网络提取脑电信号可用的时间特征,最后将提取的抽象特征输入到分类模块进行分类。在公开数据集MODMA上用留出法和十折交叉验证法对提出模型进行实验验证,分别取得了约98.51%和98.53%的分类准确率,相较于基线单尺度模型EEGNet,分类准确率分别提升了约1.89%和1.93%,F1值分别提升了约2.05%和2.08%,kappa系数值分别提高了约0.038 1和0.038 5;同时消融实验验证了文中设计的各个模块的有效性。

基于改进Transformer的滚动轴承剩余寿命预测方法

针对现有的滚动轴承剩余使用寿命预测方法存在预测准确度不足、训练效率不高等问题,提出一种时频分析结合改进Transformer的轴承剩余使用寿命预测方法。首先用短时傅里叶变换提取轴承的时频特征,为了改善Transformer的特征提取能力,研究了基于膨胀因果卷积的可变长度数据分析结构,并设计了自适应位置编码模块替代Transformer的传统编码方式,改进的模型增强了对时频数据的分析能力,实现了高效、准确的端到端的滚动轴承剩余寿命预测。在PHM2012轴承数据集上的实验结果表明提出的方法的效率比LSTM高20%,同时预测精度相比于多种现有传统方法均具有16%以上的提升。

基于随机Transformer的多维时间序列异常检测模型

针对已有基于变分自编码器(VAE)的多维时间序列(MTS)异常检测模型无法在隐空间中传播随机变量间的长时依赖性问题,提出了一种融合Transformer编码器和VAE的随机Transformer MTS异常检测模型(ST-MTS-AD)。在ST-MTS-AD的推断网络中,Transformer编码器产生的当前时刻MTS长时依赖特征和上一时刻随机变量的采样值被输入多层感知器,由此生成当前时刻随机变量的近似后验分布,实现随机变量间的时序依赖。采用门控转换函数(GTF)生成随机变量的先验分布,ST-MTS-AD的生成网络由多层感知器重构MTS各时刻取值分布,该多层感知器的输入为推断网络生成的MTS的长时依赖特征和随机变量近似后验采样值。ST-MTS-AD基于变分推断技术学习正常MTS样本集分布,由重构概率对数似然确定MTS异常片段。4个公开数据集上的实验表明,ST-MTS-AD模型比典型相关基线模型的F1分数有明显提升。

基于多尺度时间序列块自编码Transformer神经网络模型的风电超短期功率预测

风电超短期功率预测过程中对时间依赖性的有效捕捉与建模,将直接影响风电功率时间序列预测模型的稳定性和泛化性。为此,提出一种新型时序Transformer风电功率预测模型。模型架构在逻辑上分为时间块自编码、隐空间Transformer自注意力时序自回归、随机方差缩减梯度(stochastic variance reduce gradient,SVRG)优化3个部分。首先,依稀疏约束及低秩近似规则,风电功率时空数据被半监督映射至隐空间;其次,隐空间编码经由多头自注意力网络完成时序自回归预测;最后,模型采用方差缩减SVRG优化算法降低噪声,达到更高预测效能。实验结果表明,所提新型Transformer架构能稳定有效进行超短期风电功率预测,预测结果在准确性、泛化性方面相较于传统机器学习模型都有明显提升。

基于滑模自适应有限时间一致性算法的微电网二次控制

随着微电网规模日益增大,如何快速稳定完成二次控制目标是一个亟待解决的问题。因此首先针对现有微电网中分布式二次控制器的收敛速度问题,提出了一种基于自适应有限时间的分布式二次控制,所提的控制器在不同的场景下,可以通过分布式的方式来获取当前情况下最适合的有限时间控制器的收敛系数,从而加快二次控制的速度。其次针对分布式控制器易受到扰动而无法完成控制目标的问题,设计了基于滑模控制的分布式有限时间控制器来消除扰动影响。然后通过李雅普诺夫函数证明方法分析了所提策略的稳定性和可行性。最后通过MATLAB/Simulink搭建仿真模型,在4个不同的算例下验证了本文所提的控制策略的有效性和可行性。

Buck型变换器预设时间自适应反演控制

针对存在负载变化和外界干扰的Buck型变换器系统,提出一种预设时间自适应反演控制方法,给出系统调节时间最小上界值与控制参数的直接关系,减少调参复杂度。构造二次分式型虚拟控制器,避免虚拟控制器微分引起的奇异性问题,并确保输出电压在预设时间内收敛至参考电压附近邻域。仿真和实验结果验证了所提方法的有效性。

基于LSTM与Transformer的地面沉降智能预测方法研究——以上海市为例

受地面沉降严重威胁到生命财产安全的人口已达19%,开展地面沉降模拟预测对防灾减灾具有非常重要的现实意义。针对现有地面沉降预测在模型参数难以获取、单一深度学习方法在预测精度低等方面的局限性,本文提出了集成大模型核心技术的地面沉降预测方法。首先,从地面沉降模拟预测的顶层设计,提出了基于深度学习的地面沉降预测包括算力层、数据层、模型层、评估层与应用层的总体架构;其次,基于LSTM与Transformer提出了地面沉降预测的实用方法;最后,利用上海的地面沉降数据进行了实验研究。结果表明:深度学习技术可以在地面沉降模拟预测中取得较好的结果,多模型法对地面沉降变化不大、回弹、变化较大均可进行预测,iTransformer模型对地面沉降变化较小的情况预测效果较好;在微量地面沉降时代,利用大模型的核心技术Transformer可以取得较高的精度。