基于Transformer模型的时序数据预测方法综述

时序数据预测(TSF)是指通过分析历史数据的趋势性、季节性等潜在信息,预测未来时间点或时间段的数值和趋势。时序数据由传感器生成,在金融、医疗、能源、交通、气象等众多领域都发挥着重要作用。随着物联网传感器的发展,海量的时序数据难以使用传统的机器学习解决,而Transformer在自然语言处理和计算机视觉等领域的诸多任务表现优秀,学者们利用Transformer模型有效捕获长期依赖关系,使得时序数据预测任务取得了飞速发展。综述了基于Transformer模型的时序数据预测方法,按时间梳理了时序数据预测的发展进程,系统介绍了时序数据预处理过程和方法,介绍了常用的时序预测评价指标和数据集。以算法框架为研究内容系统阐述了基于Transformer的各类模型在TSF任务中的应用方法和工作原理。通过实验对比了各个模型的性能、优点和局限性,并对实验结果展开了分析与讨论。结合Transformer模型在时序数据预测任务中现有工作存在的挑战提出了该方向未来发展趋势。

基于双向稀疏Transformer的多变量时序分类模型

针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框架,构建了一种基于活跃度得分的双向稀疏注意力机制.基于KL散度构建活跃度评价函数,并将评价函数的非对称问题转变为对称权重问题.据此,对原有查询矩阵、键值矩阵进行双向稀疏化,从而降低原Transformer模型中自注意力机制运算的时间复杂度.实验结果显示,BST模型在9个长序列数据集上取得最高平均排名,在临界差异图中领先第2名35.7%,对于具有强时序性的乙醇浓度数据集(Ethanol Concentration,EC),分类准确率提高30.9%.

图像处理中CNN与视觉Transformer混合模型研究综述

卷积神经网络(CNN)与视觉Transformer是目前图像处理领域中两大重要的深度学习模型,两者经过多年来不断的研究与进步,已在该领域取得了非凡的成就。近些年来,CNN与视觉Transformer的混合模型正在逐步兴起,广泛的研究不断克服两种模型存在的弱项,高效地发挥出各自的亮点,在图像处理任务中表现出优异的效果。基于CNN与视觉Transformer混合模型进行深入阐述。总体概述了CNN与Vision Transformer模型的架构和优缺点,并总结混合模型的概念及优势。围绕串行结构融合方式、并行结构融合方式、层级交叉结构融合方式以及其他融合方式等四个方面全面回顾梳理了混合模型的研究现状和实际进展,并针对各种融合方式的主要代表模型进行总结与剖析,从多方面对典型混合模型进行评价对比。多角度叙述了混合模型在图像识别、图像分类、目标检测和图像分割等实际图像处理特定领域中应用研究,展现出混合模型在具体实践中的适用性和高效性。深入分析混合模型未来研究方向,并为后续该模型在图像处理中的研究与应用提出展望。

基于Point Transformer方法的鱼类三维点云模型分类

为实现对不同鱼类的精准分类,研究共采集110尾真实鱼类的三维模型,对获取的3D模型进行基于预处理、旋转增强和下采样等操作后,获取了1650尾实验样本。然后基于Point Transformer网络和2个三维分类的对比网络进行数据集的分类训练和验证。结果表明,利用本实验的目标方法Point Transformer获得了比2个对比网络更好的分类结果,整体的分类准确率能够达到91.9%。同时对所使用的三维分类网络进行有效性评估,3个模型对于5种真实鱼类模型的分类是有意义的,其中Point Transformer的模型ROC曲线准确率最高,AUC面积最大,对于三维鱼类数据集的分类最为有效。研究提供了一种可以实现对鱼类三维模型进行精准分类的方法,为以后的智能化渔业资源监测提供一种新的技术手段。

基于Transformer模型的水电机组轴承温度预测

水电机组在运行过程中,轴承温度会随着机组的工况变化而变化,是机组状态监测系统中的重要数据之一。然而影响轴承温度的参数指标众多,有环境温度、冷却器冷却性能、机组负荷等,其工业机理模型十分复杂,对其预测难度极大。为及时准确掌握机组的运行状态,需要对轴承温度进行预测。本文选取某个水电机组的实际运行数据,基于Transformer模型对水电机组的轴承温度进行预测,该研究可以应用于水电机组的趋势分析、状态评价及早期故障预测,避免烧瓦事故的发生,为水电机组的安全稳定运行提供数据支撑。

基于Transformer模型与注意力机制的差分密码分析

基于差分分析的密码攻击中,通常使用贝叶斯优化方法验证部分解密的数据是否具有差分特性。目前,主要采用基于深度学习的方式训练1个差分区分器,但随着加密轮数的增加,差分特征的精确度会呈现线性降低的趋势。为此,结合注意力机制和侧信道分析,提出了一种新的差分特性判别方法。根据多轮密文间的差分关系,基于Transformer训练了1个针对SPECK32/64算法的差分区分器。在密钥恢复攻击中,借助前一轮的密文对待区分密文影响最大特性,设计了新的密钥恢复攻击方案。在SPECK32/64算法的密钥恢复攻击中,采用26个选择明密文对,并借助第20轮密文对将第22轮65536个候选密钥范围缩小至17个以内,完成对最后两轮子密钥的恢复攻击。实验结果表明,该方法的攻击成功率达90%,可以有效应对加密轮数增多造成的密文差分特征难以识别的问题。

基于CNN和Transformer的轻量化电能质量扰动识别模型

针对目前基于深度学习的电能质量扰动(power quality disturbances,PQDs)识别模型参数量多和计算复杂度较高的问题,文中提出了一种卷积神经网络(convolutional neural networks,CNN)融合Transformer(CNN and Transformer,CaT)的轻量化PQDs识别模型。首先,利用深度可分离卷积初步提取扰动信号的局部特征;其次,提出一种高效的软阈值模块,在不显著增加模型参数量与计算复杂度的同时减少特征中的噪声与冗余特征;然后,利用Transformer模型挖掘PQDs信号的全局特征;最后,通过池化层、线性层和Softmax层完成PQDs识别。仿真实验表明,文中所提CaT模型在参数量和浮点运算数较少的情况下能够有效完成PQDs识别,对PQDs信号识别准确率高,具有良好的噪声鲁棒性。同时,得益于轻量化和端到端的模型设计,CaT模型相对于其他深度学习模型的推理时间更短。

基于双通道Transformer模型的多维信号故障诊断方法

感应电机在现代工业中有十分重要的作用。然而,电机长时间运行后会变得疲劳从而导致灾难性后果。由于电机故障诊断本质是对电机的时间信号分类,该研究提出双通道Transformer模型,该模型利用电流和振动信号进行诊断,并通过连续小波变换提取频域特征作为输入。双通道Transformer模型将数据的时域和频域信号分别通过Transformer模型,这种替代不仅可以提取时间特征,还可以提取空间特征。实验结果表明,所提出的模型可以提供高达95.36%的诊断准确率,证明其在电机故障诊断中的有效性。与传统的单信号故障诊断方法相比,该模型具有更好的鲁棒性和准确性。

基于Swin Transformer与GRU的低温贮藏番茄成熟度识别与时序预测研究

面向绿熟番茄采后持续转熟特征,适时调温是满足不同成熟度番茄适宜贮运温度需求的关键,而果实成熟度自动识别与动态预测则是实现温度适时调控的基础条件。本文基于Swin Transformer与改进GRU提出了一种番茄成熟度识别与时序动态预测模型,首先通过融合番茄两侧图像获取番茄表观全局红色总占比,构建不同成熟番茄图像数据集,并基于迁移学习优化Swin Transformer模型初始权重配置,实现番茄成熟度分类识别;其次,周期性采集不同储藏温度(4、9、14℃)下番茄图像数据,结合番茄初始颜色特征与贮藏环境信息,构建基于Swin Transformer与GRU的番茄成熟度时序预测模型,并融合时间注意力模块优化模型预测精度;最后,对比分析不同模型预测结果,验证本研究所提模型的准确性与优越性。结果表明,番茄成熟度正确识别率为95.783%,相比VGG16、AlexNet、ResNet50模型,模型正确识别率分别提升2.83%、3.35%、12.34%。番茄成熟度时序预测均方误差(MSE)为0.225,相比原始GRU、LSTM、BiGRU模型MSE最高降低29.46%。本研究为兼顾番茄成熟度实现贮藏温度柔性适时调控提供了关键理论基础。

规则压缩模型和灵活架构的Transformer加速器设计

基于注意力机制的Transformer模型具有优越的性能,设计专用的Transformer加速器能大幅提高推理性能以及降低推理功耗。Transformer模型复杂性包括数量上和结构上的复杂性,其中结构上的复杂性导致不规则模型和规则硬件之间的失配,降低了模型映射到硬件的效率。目前的加速器研究主要聚焦在解决模型数量上的复杂性,但对如何解决模型结构上的复杂性研究得不多。该文首先提出规则压缩模型,降低模型的结构复杂度,提高模型和硬件的匹配度,提高模型映射到硬件的效率。接着提出一种硬件友好的模型压缩方法,采用规则的偏移对角权重剪枝方案和简化硬件量化推理逻辑。此外,提出一个高效灵活的硬件架构,包括一种以块为单元的权重固定脉动运算阵列,同时包括一种准分布的存储架构。该架构可以高效实现算法到运算阵列的映射,同时实现高效的数据存储效率和降低数据移动。实验结果表明,该文工作在性能损失极小的情况下实现93.75%的压缩率,在FPGA上实现的加速器可以高效处理压缩后的Transformer模型,相比于中央处理器(CPU)和图形处理器(GPU)能效分别提高了12.45倍和4.17倍。

基于变量选择与Transformer模型的中长期电力负荷预测方法

准确且有效的负荷预测对于电力系统的实时运行和调度非常重要。提出了一种融合变量选择与稀疏Transformer模型的预测方法,将静态变量和时序变量作为输入,充分发挥静态变量在全局时间范围内的信息增强作用,基于门控机制设计变量分权组件,根据变量与预测结果的相关性,赋予变量不同的权重。设计了双层编码结构,进行时序特征提取,对注意力进行稀疏处理,通过多变量输入对未来时刻负荷进行预测。基于真实电力负荷数据的实验表明,本文模型能够提高中长期负荷预测精度和效率。

基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。

基于MsTCN-Transformer模型的轴承剩余使用寿命预测研究

剩余使用寿命(remaining useful life, RUL)预测是PHM的核心问题之一,复杂的运行工况往往导致设备部件经历不同的故障退化过程,给RUL准确预测带来了巨大挑战。为此,提出了一种多尺度时间卷积网络(multi-scale temporal convolutional network, MsTCN)与Transformer(MsTCN-Transformer)融合模型用于变工况下滚动轴承RUL预测。该方法设计了一种新的多尺度膨胀因果卷积单元(multi-scale dilated causal convolution unit, MsDCCU),能够自适应地挖掘滚动轴承全寿命信号中固有的时序特征信息;然后构建了基于自注意力机制的Transformer网络模型,在克服预测序列记忆力退化的基础上,准确学习时序特征与轴承RUL之间的映射关系。此外,通过对轴承不同故障退化阶段所提取的时序特征可视化分析,验证了所提方法在变工况下所提取的时序特征泛化性较好。多种工况条件下滚动轴承RUL预测试验表明,所提方法能够较为准确地实现变工况下轴承的RUL预测,相比当前多种方法RUL预测结果准确性更高。

多值交互时序逻辑的模型检验研究

为了对包含多值信息的开放系统进行形式化验证,在多值逻辑的基础上提出了多值交互时序逻辑并研究了该逻辑的模型检验问题。首先,引入多值并发博弈结构作为此类开放系统的模型,该模型的最大特点是可以建模带有多值信息的开放系统。其次,给出基于此模型的多值交互时序逻辑的语法和语义,该逻辑可以描述带有多值信息的待验证属性。最后,基于不动点理论给出多值交互时序逻辑的模型检验算法,并对算法的时间复杂度进行了分析,结果表明,可以在多项式时间内完成对多值交互时序逻辑的模型检验。

融合卷积神经网络和Transformer的人脸欺骗检测模型

在人脸反欺骗领域,大多数现有检测模型都是基于卷积神经网络(convolutional neural network,CNN),该类方法虽能以较少的参数学习人脸识别,但其感受野是局部的;而基于Transformer的方法虽然能够全局感知,但参数量和计算量极大,无法在移动或边缘设备广泛部署.针对以上问题,提出一种融合CNN和Transformer的人脸欺骗检测模型,旨在保持人脸全局和局部特征提取能力的前提下,实现参数量和准确度的平衡.首先,裁剪选取局部人脸图像作为输入,有效避免过拟合现象;其次,设计基于坐标注意力的特征提取模块;最后,设计融合CNN和Transformer模块,通过局部全局局部的信息交换实现图像局部特征和全局特征的提取.实验结果表明,该模型在CASIA-SURF(Depth模态)数据集上获得了99.31%的准确率以及0.54%的平均错误率;甚至在CASIA-FASD和Replay-Attack这2个数据集上实现了零错误率,且模型参数量仅0.59MB,远小于Transformer系列模型.

基于概率密度估计与时序Transformer网络的风功率日前区间预测

随着风电机组装机容量逐年攀升,风力发电已经成为电力系统重要组成部分。由于风具有间歇性的属性,风功率强烈的波动性影响着电力系统的频率稳定性。因此,准确评估风电功率波动范围对电力系统的稳定运行和调度起着重要作用。目前,区间预测大多采用循环神经网络及其衍生模型,这一模型架构限制了网络的深度,并且传统区间预测采用上下限预测方案,受到损失函数超参数以及初始化方式等的影响,预测精度较低且不稳定。针对这些问题,该文提出一种基于概率密度函数参数估计的区间预测方案,通过概率密度分布函数可以给出确定性以及区间预测结果;同时,提出一种时序Transformer网络,在增强局部特征提取能力的同时保留了Transformer的全局视野。通过在公开数据集中与对比模型进行对比,结果表明,该文模型不论是区间预测还是确定性预测都能提供优于基线的预测精度。

Transformer模型和迁移学习在地震P波和噪声判别中的应用研究

准确可靠地区分地震和噪声信号对于地震危险性分析和地震预警至关重要.然而, 无处不在且复杂的噪声信号使这项任务充满挑战.针对中国和日本数据的差异, 本研究在深度学习模型训练过程中采取了不同的策略来区分地震和噪声信号.首先, 鉴于日本数据丰富, 直接训练一个Transformer模型, 该模型在日本的判别准确率为99.82%.其次, 为缓解数据不平衡, 对中国地震数据采用了随机滑动波形窗进行增强.还使用中国数据对预先训练的日本模型进行了微调, 以更好地适应中国数据集.经过微调后, 模型在中国的判别准确率为99.47%.结果表明, 使用原始波形训练的深度学习模型进行地震事件判别时能够取得很高的准确率.此外, 迁移学习模型在门源6.9级地震和漾濞序列震中得到了良好的验证, 表明迁移学习在台网稀疏地区的应用是有效的, 这为地震学和地震预警提供了一种潜在的方法.

基于Transformer模型的文本自动摘要生成

论文探讨文本摘要的自动生成技术,其任务是产生能够表达文本主要含义的简明摘要。传统的Seq2Seq结构模型对长期特征和全局特征的捕获和存储能力有限,导致所生成的摘要中缺乏重要信息。因此,论文基于Transformer模型提出了一种新的生成式文本摘要模型RC-Transformer-PGN(RCTP)。该模型首先使用了一个附加的基于双向GRU的编码器来扩展Transformer模型,以捕获顺序上下文表示并提高局部信息的捕捉能力,其次引入指针生成网络以及覆盖机制缓解未登录词和重复词问题。在CNN/Daily Mail数据集上的实验结果表明论文模型与基线模型相比更具竞争力。

基于局部Transformer的泰语分词和词性标注联合模型

泰语分词和词性标注任务二者之间存在高关联性,已有研究表明将分词和词性标注任务进行联合学习可以有效提升模型性能,为此,提出了一种针对泰语拼写和构词特点的分词和词性标注联合模型。针对泰语中字符构成音节,音节组成词语的特点,采用局部Transformer网络从音节序列中学习分词特征;考虑到词根和词缀等音节与词性的关联,将用于分词的音节特征融入词语序列特征,缓解未知词的词性标注特征缺失问题。在此基础上,模型采用线性分类层预测分词标签,采用线性条件随机场建模词性序列的依赖关系。在泰语数据集LST20上的试验结果表明,模型分词F1、词性标注微平均F1和宏平均F1分别达到96.33%、97.06%和85.98%,相较基线模型分别提升了0.33%、0.44%和0.12%。

改良Transformer模型应用于乳腺结节超声报告自主生成的可行性研究

目的将改良Transformer模型应用于乳腺结节超声报告自主生成,并对其可行性进行初步探讨。方法收集832例乳腺结节患者(共1284个结节)的超声图像构建BND数据集,引入一种改良Transformer模型对BND数据集进行智能分析,生成相应文本报告,并与Ensemble Model、SSD、R-FCN模型进行比较;同时引入LGK数据集,将改良Transformer模型与TieNet、Kerp、VTI、RNCM模型进行比较。采用BLEU评分评估各模型的性能。结果在BND数据集中,改良模型的BLEU-1、BLEU-2、BLEU-3及BLEU-4评分分别为0.547、0.474、0.352、0.282,均高于Ensemble Model、SSD、R-FCN模型。在LGK数据集中,改良Transformer模型的BLEU-1、BLEU-2、BLEU-3及BLEU-4评分分别为0.579、0.391、0.288、0.152。结论改良Transformer模型能够快速识别乳腺结节并自主生成标准报告,与Ensemble Model、SSD、R-FCN模型相比,获得了良好的BLEU评分,同时该模型在LGK数据集中BLEU评分也较高,表明改良Transformer模型具有较高的文本泛化性能。