基于变量选择与Transformer模型的中长期电力负荷预测方法

准确且有效的负荷预测对于电力系统的实时运行和调度非常重要。提出了一种融合变量选择与稀疏Transformer模型的预测方法,将静态变量和时序变量作为输入,充分发挥静态变量在全局时间范围内的信息增强作用,基于门控机制设计变量分权组件,根据变量与预测结果的相关性,赋予变量不同的权重。设计了双层编码结构,进行时序特征提取,对注意力进行稀疏处理,通过多变量输入对未来时刻负荷进行预测。基于真实电力负荷数据的实验表明,本文模型能够提高中长期负荷预测精度和效率。

基于双模态Transformer模型的话务量预测

为降低客户服务中心电话的等待率,提升服务质量。针对现有算法不能实现中长期话务量预测的问题,提出了一种基于双模态Transformer模型的话务量预测方法。首先采集并预处理某运营商真实的话务量数据,通过双模态特征融合构造出有益特征,最后采用多种模型进行话务量预测以及多种衡量指标对预测结果进行分析。结果表明:与其他算法比较,Transformer模型性能较好,对运营商资源的合理配置具有较高的指导意义,同时更易获得客户较高的满意度和忠诚度。

融合多种时空自注意力机制的Transformer交通流预测模型

交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明,MSTTF模型与传统时空Transformer相比,MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型,MAE平均降低了1.24%,能取得更好的预测效果.

基于Transformer的空调能耗预测模型构建与参数优化

针对空调系统能耗预测建模过程中的数据质量、模型输入参数筛选等问题,研究基于Transformer神经网络的空调系统能耗预测模型构建和参数优化方法,结果表明:可以通过广义极端学生化偏差方法对数据中的离群值进行检测修正,从而提升数据质量;通过余弦相似度对输入参数进行两两相关性检验来消除各参数间的多重共线性,实现对输入参数的初步筛选;采用随机森林算法计算初选参数对空调能耗预测结果的影响来判断冗余参数,进而完成对输入特征参数的最终筛选;建立的空调能耗预测模型对数据测试集的预测结果均方根误差RMSE为38.831 kW,相关系数R^(2)为0.952,表现出了良好的预测性能。

基于Transformer和关系图卷积网络的信息传播预测模型

针对在信息传播动态演化中,结构特征和时序特征以及两者间的交互表达难以有效捕获的问题,提出一种基于Transformer和关系图卷积网络的信息传播预测模型(TRGCN)。首先,构建由社交关系图和传播级联图组合而成的异构图,使用关系图卷积网络(RGCN)提取图中各节点的结构特征;其次,使用双向长短期记忆(Bi-LSTM)网络对各节点的时间嵌入重新编码,引入时间衰减项以不同的权重赋予不同时间位置的节点,获得节点的时序特征;最后,将结构特征和时序特征输入Transformer进行融合,得到时空特征以预测信息传播。在Twitter、Douban和Memetracker这3个真实数据集上的实验结果表明,相较于对比实验中的最优模型,TRGCN的Hits@100指标分别提升3.18%,5.96%和3.34%,Map@100指标分别提升11.60%,19.72%和8.47%,验证了所提模型的有效性和合理性。

基于iTransformer模型的金融时间序列预测

金融时间序列的准确预测是经济政策制定者和投资者密切关注的焦点。本文选用工商银行作为金融时间序列的代表,用一种新颖的神经网络模型iTransformer对工商银行的股票价格进行预测。同时,将统计模型ARIMA、神经网络模型LSTM和Transformer作为对照组,比较了不同模型在不同时间范围内预测的准确性。实证结果显示,iTransformer确实适用于股票价格的预测,在短期、中期和长期这三种不同的预测区间内,其精度普遍优于对照组的预测模型。

融合增量学习与Transformer模型的股价预测研究

股票价格预测一直是金融研究和量化投资共同关注的重点话题。当前股价预测的深度学习模型多数基于批处理学习设置,这要求训练数据集是先验的,这些模型面对实时的数据流预测是不可扩展的,当数据分布动态变化时模型的预测效果将会下降。针对现有研究对非平稳股票价格数据预测精度不佳的问题,提出一种基于增量学习和持续注意力机制的在线股价预测模型(Increformer),通过持续自注意力机制挖掘特征变量之间的时序依赖关系,采用持续归一化机制处理数据非平稳问题,基于弹性权重巩固的增量训练策略获取数据流中的新知识,提高预测精度。在股票市场的股指与个股价格序列中选取五个公开数据集进行实验。实验结果表明,Increformer模型能够有效挖掘数据的时序信息以及特征维度的关联信息从而提高股票价格的预测性能。通过消融实验评估了Increformer模型的持续归一化机制、持续注意力机制以及增量训练策略的效果及必要性,验证了所提模型的准确性与普适性,Increformer模型能够有效捕捉股票价格序列的趋势与波动。

基于MLP和Transformer模型的大气温度预测

文章以运城市2015年1月1日至2020年12月21日期间监测的大气温度数据作为研究的基础资料,运用MLP模型和Transformer模型,预测了运城市大气温度。由于温度数据具有很强的时序性,对MLP模型与Transformer模型,各选取了两层、四层(MLP-2、MLP-4、Transformer-2、Transformer-4),进行了3天、5天、7天多组试验对比。结果显示:MLP-4模型7天的均方误差为3.2649,Transformer-4模型3天的均方误差为5.3767,预测精度都比较高,且MLP模型预测温度的精度高于Transformer模型预测温度的精度;MLP-2模型的均方误差分别为3.2662、3.2996、3.3579,MLP-4模型的均方误差分别为3.2674、3.2996、3.2649,均方误差有变化,但比较平稳;Transformer-2模型的均方误差分别为5.6225、5.9491、5.3892,Transformer-4模型的均方误差分别为5.3767、6.3787、6.1108,增加模型层数和参数量,均方误差增大,存在过拟合现象。运用Transformer模型进行预测,出现过拟合现象,原因是Transformer模型太过庞大(接近四百万个参数),而研究数据只有1531组,即使使用Weight decay和Dropout正则化的方法,仍然过拟合文章中提供的1531组研究数据,使其预测精度出现一定程度的下降。

基于图Transformer网络的城市路网短时交通流预测模型

针对城市路网短时交通流预测问题,在考虑路网交通状态时空相关性基础上,提出了一种基于图Transformer(graph transformer,Graformer)的预测方法。该方法将多条路段的交通状态预测问题转化为图节点状态预测问题,针对区分相同结构的空间路网结构图,将带有边的图同构网络(graph isomorphism network with edges,GINE)和Transformer网络相结合,对交通状态在路网层面的时空相关性进行建模,从而实现城市路网短时交通流预测。具体来说,Graformer模型首先利用长短期记忆网络(long short-term memory,LSTM)对交通数据的时序信息进行预处理,接着采用基于GINE与Transformer的全局注意力机制提取交通数据的空间特征,最后实现路网各路段交通流的同步预测。

基于Transformer模型的四旋翼无人机时空协同航迹预测方法设计

无人机在执行任务时面临的飞行环境复杂多变,为了减少事故的风险,并在飞行时对异常情况进行预测和响应,研究一种基于Transformer模型的四旋翼无人机时空协同航迹预测方法;采集四旋翼无人机原始航迹,实施异常点剔除和缺失点插值处理,以优化和清理原始航迹数据,便于后续的航迹预测;使用卷积神经网络实施特征进行数据提取,通过编码和解码过程获取学习数据低维,结合深度学习和表示学习方法完成数据降维;基于Transformer模型实现无人机时空协同航迹的精准预测,通过数据异常点剔除与插值补缺,对采集的四旋翼无人机原始航迹数据实施预处理,提高数据的质量和完整性;实验测试结果表明,设计方法的预测结果虽然相对于真实的坐标点稍有偏差,然而整体结果在可接受范围内,验证集所有数据的均方误差在数据条数为300时仅为0.32 m,拟合优度指标测试结果最接近1,具有良好的航迹预测能力;该方法可以更好地优化无人机的航迹规划,实现多无人机之间的时空协同航迹规划,避免碰撞和冲突,并优化飞行效率。

基于Transformer-Bi-LSTM模型的武器装备剩余寿命预测方法

武器装备担负保卫国土安全的重要使命,其保持稳定运行状态具有重大国防、政治意义;因其装备运行状态不便中断、故障定位过程复杂,使得传统维修方式效率较低;装备使用数据具有连续性、长期性、不平稳性,甚至一些深度学习模型无法处理其中的退化状态历史依赖与关联问题;通过构建元器件层级的剩余寿命预测架构,对特征工程、退化指标构建以及Transformer-Bi-LSTM模型开展研究,采用距离编码技术,实现针对深度学习模型的技术创新,优化模型预测效果;基于某型武器装备主要器件正常试样数据,进行本方法分析验证,在器件已运行时间达到90%设计试验寿命长度时能够进行有效且准确的剩余寿命预测,所提方法满足武器装备器件寿命预警及更换提醒、保障装备战备完好性的应用需求。

基于时间信息增强Transformer的短时交通流预测模型

交通流预测是提高路网利用效率,缓解城市交通拥堵问题的重要方法之一。为了进一步提高交通流预测精度,提出了一种基于时间信息增强Transformer的短时交通流预测模型。该模型利用多图卷积网络从不同角度建模空间特征,利用长短期记忆网络和Transformer同时建模短期时间特征和长期时间特征。此外,模型采用了一种轻量化的结构以提高模型实时响应速度。在PEMS(Performance Measurement System)数据集上与基线方法相比,该模型的预测精度提高了5%,时间复杂度降低了65%。实验结果表明,基于时间信息增强Transformer的短时交通流预测模型在有效提取交通流数据中时空特征的同时,显著降低了模型的复杂度。

考虑多变量相关性改进的风电场Transformer中长期预测模型

挖掘风电场多变量相关性对提高中长期的预测精度具有积极影响。针对Transformer模型在捕获多变量间相关性方面的不足,提出考虑多变量相关性的多变量中长期预测模型。首先,采用多变量独立嵌入(MIE)对风电场多变量进行独立建模;然后,使用二维概率稀疏注意力(TPSA)提取时间和变量间的特征信息;最后,通过多层式编码器-解码器(MED)将多尺度的特征信息聚合,一次性输出预测结果。算例分析表明,所提模型与LSTM模型、Transformer模型、Informer模型相比,均方误差在各预测时长分别降低了42.58%~66.83%,32.58%~53.49%,14.38%~30.92%,并通过消融实验验证和分析了所提改进的有效性。

基于Transformer的人工神经网络城轨列车车轮磨耗预测模型构建

针对目前已有地铁列车车轮磨耗预测模型,在大量车辆车轮廓型数据支撑下,分析车轮磨耗规律,如廓形参数及等效锥度等因素与踏面磨耗、轮缘磨耗之间的关系,研究各参数与车轮磨耗之间的相关性。采用数据驱动方式,构建一种基于Transformer的人工神经网络,用于建立车轮磨耗预测模型。试验结果表明,基于数据驱动的车轮磨耗预测网络能够实现车轮磨耗的准确预测,可用于预测车轮使用寿命,减少相关成本,提高经济效益。

基于GCN-Transformer模型的短时交通量确定性预测

为提高短时交通量的预测精度,充分利用交通网络的拓扑结构与时序信息,本文提出了一种基于GCN-Transformer模型的短时交通量确定性预测。首先读取并预处理四个方向的交通流量数据,构建路网结构邻接矩阵,划分数据集。然后利用GCN提取特征并进行图卷积操作,将输出作为Transformer模型的输入来学习时序信息。最后使用训练好的模型进行预测,并计算评价指标。研究结果表明,本文所提出的混合预测模型GCN-Transformer拥有较好的结果,在采用的四个评价指标中,RMSE、MAE、RMSPE和MAPE的值分别为9.886%、7.977%、11.018%、11.734%。

考虑特征重组与改进Transformer的风电功率短期日前预测方法

短期日前风电功率预测对电力系统调度计划制定有重要意义,该文为提高风电功率预测的准确性,提出了一种基于Transformer的预测模型Powerformer。模型通过因果注意力机制挖掘序列的时序依赖;通过去平稳化模块优化因果注意力以提高数据本身的可预测性;通过设计趋势增强和周期增强模块提高模型的预测能力;通过改进解码器的多头注意力层,使模型提取周期特征和趋势特征。该文首先对风电数据进行预处理,采用完全自适应噪声集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)将风电数据序列分解为不同频率的本征模态函数并计算其样本熵,使得风电功率序列重组为周期序列和趋势序列,然后将序列输入到Powerformer模型,实现对风电功率短期日前准确预测。结果表明,虽然训练时间长于已有预测模型,但Poweformer模型预测精度得到提升;同时,消融实验结果验证了模型各模块的必要性和有效性,具有一定的应用价值。

基于差分非平稳Transformer的液压支架立柱压力预测

液压支架立柱压力预测是回采工艺决策的重要依据,也是确保围岩稳定的基础信息之一。然而,液压支架立柱压力虽然具有一定的规律性,却无法用简单的数学模型进行预测;且在回采过程中,支架不接顶、顶板破碎、传感器检测误差等带来大量的随机噪声,使得压力数据劣化为非平稳时间序列,给压力的预测带来的很大的困难。本文在Transformer基础上,提出一种差分非平稳Transformer模型,在Transformer的编码器和解码器中分别引入差分归一化和反归一化操作,以提升序列的平稳性。同时,在Transformer中采用去平稳注意力机制,计算序列元素之间的关联关系,以增强模型的预测能力。在真实的煤矿支架立柱数据集上的对比实验表明,本文提出的差分非平稳Transformer的预测效果达到0.674,表现明显优于LSTM、Transformer和非平稳Transformer模型。

基于门控循环单元和Transformer的车辆轨迹预测方法

为增强自动驾驶车辆对动态环境的理解能力及其道路行驶安全性,提出基于门控循环单元(GRU)和Transformer的车辆轨迹预测模型STGTF,使用GRU提取车辆的历史轨迹特征,通过双层多头注意力(MHA)机制提取车辆的时空交互特征,生成预测轨迹。试验结果表明,预测结果的均方根误差(RMSE)平均降低7.3%,STGTF在短期预测和长期预测方面均有不同程度的提升,验证了模型的有效性。

基于改进Transformer的滚动轴承剩余寿命预测方法

针对现有的滚动轴承剩余使用寿命预测方法存在预测准确度不足、训练效率不高等问题,提出一种时频分析结合改进Transformer的轴承剩余使用寿命预测方法。首先用短时傅里叶变换提取轴承的时频特征,为了改善Transformer的特征提取能力,研究了基于膨胀因果卷积的可变长度数据分析结构,并设计了自适应位置编码模块替代Transformer的传统编码方式,改进的模型增强了对时频数据的分析能力,实现了高效、准确的端到端的滚动轴承剩余寿命预测。在PHM2012轴承数据集上的实验结果表明提出的方法的效率比LSTM高20%,同时预测精度相比于多种现有传统方法均具有16%以上的提升。

基于Swin Transformer与GRU的低温贮藏番茄成熟度识别与时序预测研究

面向绿熟番茄采后持续转熟特征,适时调温是满足不同成熟度番茄适宜贮运温度需求的关键,而果实成熟度自动识别与动态预测则是实现温度适时调控的基础条件。本文基于Swin Transformer与改进GRU提出了一种番茄成熟度识别与时序动态预测模型,首先通过融合番茄两侧图像获取番茄表观全局红色总占比,构建不同成熟番茄图像数据集,并基于迁移学习优化Swin Transformer模型初始权重配置,实现番茄成熟度分类识别;其次,周期性采集不同储藏温度(4、9、14℃)下番茄图像数据,结合番茄初始颜色特征与贮藏环境信息,构建基于Swin Transformer与GRU的番茄成熟度时序预测模型,并融合时间注意力模块优化模型预测精度;最后,对比分析不同模型预测结果,验证本研究所提模型的准确性与优越性。结果表明,番茄成熟度正确识别率为95.783%,相比VGG16、AlexNet、ResNet50模型,模型正确识别率分别提升2.83%、3.35%、12.34%。番茄成熟度时序预测均方误差(MSE)为0.225,相比原始GRU、LSTM、BiGRU模型MSE最高降低29.46%。本研究为兼顾番茄成熟度实现贮藏温度柔性适时调控提供了关键理论基础。