高速铁路日常客运量的EMD-Informer组合预测方法

铁路客流需求的科学预测是进行运输组织方案决策的重要依据。以高速铁路历史客票数据为基础,结合经验模态分解(empirical mode decomposition,EMD)与机器深度学习中的注意力机制,提出高速铁路日客流量的EMD-Informer组合预测方法。首先采用EMD方法分解高速铁路客流量序列,获得具有周期特征和线路客流内在特征的模态分量,再利用Informer模型分别训练和预测各模态分解分量,并通过多头注意力机制高效挖掘客流数据内在规律和捕捉数据序列中的关键特征,在此基础上重组各分量预测值,从而得到高速铁路日常客流的整体高精度预测值。同时,根据结合问题特征的大量实验,明确可供实际运用参考的超参数设置规则。基于京沪高速铁路全线的实例计算分析表明,相对对比预测方法,EMD-Informer组合预测方法在高速铁路客流的单步预测及超前预测上均具有明显更小的预测误差。

面向结构地震响应预测的Phy-LInformers方法

为了准确评估建筑结构在地震作用下的动力特性和延性性能并促进韧性城乡的建设,本文提出了一种名为Phy-LInformers的深度学习框架,该框架综合运用了长短期记忆网络(long short-term memory,LSTM)、Transformer类模型Informer以及物理先验知识,以实现对建筑结构非线性地震响应的精确预测。该框架的核心思想是结合Informer的编码(Encoder)和解码(Decoder)结构,在Decoder部分引入了LSTM以预测建筑物先前的历史状态信息。同时,通过将现有的物理知识(例如预测变量之间的状态依赖关系和运动控制方程等)编码到损失函数中,对Phy-LInformers进行指导并约束其学习空间,同时提高有限训练数据下深度学习模型的预测性能。随后,通过2个模拟数据算例验证所提框架的性能。结果表明,所提出的Phy-LInformers是一种鲁棒性良好、预测性能优秀的非线性地震响应预测方法,即使在训练样本非常少(例如仅有10条)的情况下依然能准确预测结构在地震作用下的动力响应。这一特性使得Phy-LInformers在工程实践中具有可行性,并且在建筑结构抗震性能评价领域展现出良好的应用前景。

基于STL-Informer-BiLSTM-XGB模型的供热负荷预测

供热负荷预测是指导供热系统调控的重要手段。提高供热负荷预测精度十分重要,针对机器学习中输出目标的分解预测,提出了一种基于季节和趋势分解(seasonal and trend decomposition using loess,STL)的供热负荷预测方法,构建了适用于供热负荷预测的输出目标。首先利用STL算法将供热负荷时间序列数据分解为趋势分量、周期分量和残差分量,分别训练Informer、BiLSTM和XGB模型,将构建好的3个分量预测模型的输出叠加作为初步预测结果,分析误差序列,以BiLSTM预测误差提高模型精度,构建出STL-Informer-BiLSTM-XGB预测模型。将上述模型与常用预测模型进行对比,结果表明所构建的STL-Informer-BiLSTM-XGB模型的MAPE、MAE和MSE分别为0.871%、96.18和13202.2,预测效果最优,验证了所提出的方法具有较高的供热负荷预测精度。

基于GAT-Informer的采空区煤自燃温度预测模型

现有的煤自燃温度预测模型仅考虑监测数据前后的时间关联性,未考虑监测点之间的空间关系,并存在多步长煤自燃温度预测精度低的问题。针对上述问题,提出了一种基于图注意力网络(GAT)和Informer模型(GAT-Informer)的采空区煤自燃温度预测模型。首先,采用随机森林回归法和Savitzky-Golay滤波器对采空区沿空侧煤自燃监测数据中的异常值、缺失值和噪声进行处理,并使用Z-score方法对数据进行标准化。其次,采用GAT提取多个监测点煤自燃监测数据间的空间特征。然后,使用Informer模型的编码器对包含空间特征的数据进行编码,利用多头概率稀疏自注意力机制捕捉数据之间的长期依赖关系和时间特征;解码器通过交叉注意力机制与编码器交互,结合编码器提取的全局特征与目标序列的上下文依赖关系,生成特征矩阵并输入全连接层,得到煤自燃温度预测值。最后,对Informer模型输出的煤自燃温度预测值进行反标准化处理,恢复到原始数据尺度,得到最终的预测结果。实验结果表明,相较于循环神经网络(RNN)、长短期记忆网络(LSTM)、门控循环单元(GRU)和Informer模型,GAT-Informer模型在6个监测点上预测24步长煤自燃温度时,均方误差(MSE)分别平均降低了15.70%,22.15%,25.45%,36.49%,平均绝对误差(MAE)分别平均降低了16.01%,14.60%,20.30%,26.27%,表明GAT-Informer模型能有效提高煤自燃温度多步长预测精度。

TimeGAN-Informer长时机场能见度预测

能见度的预测对机场的业务决策、保障飞机的安全起降具有重要的意义。针对现有能见度预测模型预测时间较短的问题,提出一种基于TimeGAN Informer(Time Generative Adversarial Network-Informer)的机场能见度预测方法。利用2018—2022年气象和污染物数据,通过相关系数法和递归特征消除法提取出能见度的主要影响因素,使用TimeGAN时间序列生成对抗网络对数据进行扩充,并将Informer长时间序列预测模型应用于能见度预测。结果显示:当预测步长为1 d、2 d、3 d时,TimeGAN Informer的绝对误差(Mean Absolute Error,MAE)分别为2.42、3.13、3.57,比Informer分别降低了0.29、0.27、0.28,比长短时记忆网络(Long Short-Term Memory,LSTM)分别降低了0.28、0.49、0.63;均方根误差(Root Mean Square Error,RMSE)分别为3.03、3.7、4.09,比Informer分别降低了0.38、0.22、0.24,比长短时记忆网络(LSTM)分别降低了0.3、0.5、1.04;百分误差小于30%的分别占测试样本集的78.07%、70.68%、63.84%。尽管随着步长的增加预测效果变差,但在预测步长为3 d时,多数样本的预测误差仍小于30%,实现了对机场区域较为准确的长时能见度预测。

基于KCR-Informer的长期风电功率预测研究

准确的长期风电功率预测对电网系统稳定运行至关重要,传统预测方法在处理长序列预测时效果并不理想,近期研究表明Informer模型在长序列预测领域取得良好效果。然而,该模型在捕捉数据的局部特征以及处理网络层数堆叠问题上还有待改进。文章提出一种基于卡尔曼滤波器-卷积神经网络-残差网络-Informer(Kalman filter-convolutional neural network-residual network-informer,KCR-Informer)模型的长期风电功率预测方法,首先分析气象数据对风电功率的影响,使用卡尔曼滤波器对风电气象数据进行数据平滑处理,以减轻噪声对数据的影响,然后基于Informer模型建立风电功率预测模型,根据气象数据以及历史功率数据进行长期功率预测;在此基础上,引入卷积神经网络和残差连接模块,使模型能够更好的捕捉到局部特征,同时加快模型收敛,解决模型网络退化问题。算例的结果表明,与长短期记忆网络(long short-term memory,LSTM)算法、Transformer算法、Informer算法相比,文章方法在不同预测步长下的平均绝对误差(mean absolute error,MAE)降低5.7%~30%,均方误差(mean square error,MSE)降低8.3%~35%,长期风功率预测的精度得到提升,验证了模型的有效性。

基于Informer融合模型的油田开发指标预测方法

为解决油田开发指标的预测问题,提出了一种基于物质平衡方程和Informer的融合模型。首先,通过物质平衡方程领域知识建立油田开发产量递减前后的机理模型;其次,将所建机理模型作为约束与Informer模型损失函数进行融合建立符合油田开发物理规律的指标预测模型;最后,采用油田实际生产数据进行实验分析,结果表明相比于纯数据驱动的几种循环结构预测模型,本融合模型在相同数据条件下的预测效果更优。该模型的机理约束部分能引导模型的训练过程,使其收敛速度更快,且波峰波谷处的预测更准确。该融合模型具有更好的预测能力和泛化能力和比较合理的物理可解释性。

基于改进Informer的云计算资源负载预测

负载预测是云计算资源管理中的重要组成部分,准确预测云资源的使用情况可提高云平台性能及防止资源浪费,然而云计算资源使用的动态性和不确定性使得负载预测较为困难,尽管Informer在时序预测领域取得了较好的效果,但未对时间的因果依赖关系加以限制造成未来信息泄露,也未考虑网络深度的增加导致模型性能下降的问题。为解决上述问题,提出一种基于改进Informer的多步负载预测模型(Informer-DCR)。将编码器中各注意力块之间的正则卷积替换为扩张因果卷积,使深层网络中的高层能够接收更大范围的输入信息来提高模型预测精度,并保证时序预测过程的因果性。在编码器中添加残差连接,使网络中低层的输入信息直接传到后续的高层,解决了深层网络退化问题。实验结果表明,Informer-DCR模型在不同预测步长下的平均绝对误差比Informer、时间卷积网络等主流预测模型降低了8.4%~40.0%,并且在训练过程中表现出比Informer更好的收敛性。

基于Informer神经网络的锂离子电池容量退化轨迹预测

通过对锂离子电池容量退化轨迹的精确预测可以大幅提升电池材料的研究效率。针对Transformer网络在锂电池容量退化轨迹预测这种长时间序列预测任务中存在的问题,本工作采用滑动窗口策略,构建了一种基于Informer网络的锂离子电池容量退化轨迹预测方法。首先,利用滑动窗口对数据集进行划分和再拼接,便于神经网络挖掘数据序列内部的相关性;然后,根据Informer网络的周期性时间特征捕捉能力设计适用于锂电池数据的全局时间戳;最后,使用前10%容量数据通过多步滚动预测方法实现模型输出,缓解预测中的误差累积问题,进而得到完整的预测轨迹。通过选取不同的误差评价指标和训练过程中的时间开销,在美国马里兰大学提供的锂电池数据集上验证了所建立模型的准确性和训练效率,并在美国航空航天局提供的电池数据集上验证了模型的泛用性。本工作模型的预测结果与多层感知机神经网络、循环神经网络及Transformer网络模型对比,退化轨迹与真实轨迹最为拟合,且训练时间开销小,预测结果的平均绝对误差和均方根误差控制在2.57%和3.5%,验证了所提预测方法的有效性。

基于聚合二次模态分解及Informer的短期负荷预测

针对区域级负荷的非平稳性及长序列预测精度低的问题,该文提出了一种基于聚合二次模态分解及Informer的短期负荷预测方法。首先,运用改进完全集合经验模态分解(improved complete ensemble empirical mode decomposition with adaptive noise,ICEEMDAN)对负荷序列进行初步分解,削弱原始序列的随机性与波动性;其次,根据子序列的样本熵计算结果进行聚合,并通过比较不同的聚合方式选出最优重构方案;然后,利用变分模态分解对高复杂度的合作模态函数进行二次分解;充分考虑到电价、气象等因素对负荷的影响,采用随机森林(random forest,RF)算法进行相关性分析,从而为每个子序列构建不同的高耦合度特征矩阵并输入Informer进行建模,并通过其多层次编码及稀疏多头自注意力机制等方式提高对负荷序列的预测效率;最后采用巴塞罗那区域级负荷数据集进行实例验证,结果显示所提框架有效解决了模态分解过程中的模态混叠以及高频分量问题,并且其长序列预测均方根误差相比其他经典深度学习模型最高降低了65.28%。

基于Informer算法的网联车辆运动轨迹预测模型

自动驾驶汽车可以根据轨迹预测算法计算周边车辆的运动轨迹,并作出反应以降低行车风险,而传统的轨迹预测模型在长时间序列预测的情况下会产生较大的误差。为解决这一问题,提出了一种以Informer算法为基础的轨迹预测模型,并根据公开数据集NGSIM进行实验分析。首先通过对称指数移动平均法(sEMA)对原始数据进行滤波处理,并在原有的Informer编码器中加入了联合归一化层对不同车辆进行特征提取处理,减少了不同车辆之间的运动误差,通过考虑车辆的本身速度信息与周围环境的车辆运动信息,提高了预测精度,最后经过解码器得到未来时刻的车辆轨迹分布。结果表明,模型对车辆的轨迹预测误差在0.5 m以内;通过对轨迹预测的MAE与MSE结果分析可知,预测时间超过0.3 s以后,Informer模型的轨迹预测效果明显优于其他算法,验证了模型和算法的有效性。

一种基于STL-Prophet-Informer模型的太阳电池阵多变量趋势预测方法

为了提高太阳电池阵多变量预测的精度,解决阳电池阵遥测参数存在周期波动与增长性互相耦合的问题,提出一种基于STL-Prophet-Informer模型的太阳电池阵多变量预测算法.该算法首先应用局部加权周期趋势分解算法(seasonal and trend decomposition procedure based on loess,STL)对太阳电池阵的多个参数分解为趋势分量、周期分量和残差分量,然后采用对趋势性数据预测效果较好的Prophet预测趋势分量,Informer模型预测周期分量和残差分量,最后将各分量预测结果相加后得到总的太阳电池阵参数预测值.以某卫星太阳电池阵实际遥测数据做算例分析,提出算法的各项误差评价指标和单一的Informer模型、LSTM模型等相比有明显减小,将该组合预测模型用于太阳电池阵多变量参数预测中,可以提高参数预测精度,提升卫星自主运行性能.

DPCA-POA-RF-Informer在多情景光伏多步预测中的应用

针对光伏发电波动性与不确定性对电力系统稳定产生的影响,对多情景光伏发电功率的多步预测进行研究。首先通过密度峰值算法根据太阳辐射量、温度、湿度等气象数据对天气状况进行精确分类。其次,为了使模型表现出更好的性能,建立了鹈鹕算法优化随机森林(POA-RF)的因素筛选特征变量,模型用鹈鹕算法对随机森林的决策树数目和深度两个参数进行寻优,加强了因素筛选的有效性。最后,基于Informer模型对不同天气状况的光伏功率进行多步预测。实例计算结果验证了所提模型预测精准度的有效性与精准性。

基于策略梯度Informer模型的滚动轴承剩余寿命预测

典型的编码器-解码器——Transformer存在二次时间复杂度、高内存使用及模型结构复杂等固有限制,造成Transformer用于滚动轴承剩余寿命(RUL)预测会表现出较低预测精度和较低计算效率的问题。为此,提出一种新型编解码器——策略梯度Informer(PG-Informer)模型,并将其应用于滚动轴承RUL预测。首先,在PG-In-former的新型编解码器体系结构——Informer中设计了概率稀疏自注意力(PSSA)机制替代Transformer中原有的自注意力机制,以提高非线性逼近能力并减少时间和空间复杂度;然后,PG-Informer采用自注意力蒸馏(SAD)操作减少参数维度和参数量,并提高了对时间序列的预测鲁棒性;此外,PG-Informer的生成式解码器对解码输入进行一步解码输出预测结果,无需动态多步解码,提升了对时间序列的预测速度;最后,构造了策略梯度学习算法来提高对PG-Informer参数的训练速度。PG-Informer的以上优势使所提出的基于PG-Informer模型的滚动轴承RUL预测方法可以获得较高的预测精度、较好的鲁棒性和较高的计算效率。对辛辛那提大学智能维护系统中心的1号滚动轴承的RUL预测实验结果表明,所提出方法预测得到的RUL值为963min,其RUL预测误差仅为6.50%,比基于Transformer的RUL预测方法预测精度更高、预测误差更小、鲁棒性更好;所提出方法所耗费的RUL预测时间仅为132.37s,比基于Transformer的RUL预测方法的预测时间更短。以上实验结果验证了所提出方法的有效性。

基于MIC-EEMD-改进Informer的含高比例清洁能源与储能的电力市场短期电价多步预测

随着电力现货市场的开展,短期电价预测对于各市场主体的决策有着重要意义,而高比例清洁能源与储能的不断接入给短期电价预测带来很大挑战。提出一种基于最大信息系数法(maximum information coefficient,MIC)、集成经验模态分解(ensemble empirical mode decomposition,EEMD)和改进Informer的短期电价多步预测模型。首先,采用MIC分析出与电价相关性较高的几类因素作为模型原始输入序列;然后,将上述原始序列进行EEMD分解后得到多条本征模函数(intrinsic mode function,IMF)和一个残余项后输入改进Informer分别得到翌日24点多步预测结果,再对预测结果进行滤波;最后,将滤波后序列的预测结果叠加得到最终的预测值。以西班牙电力市场数据进行验证,实验结果证明该模型可以有效提高电力市场短期电价多步预测精度。

基于LightGBM-Informer的盾构隧道管片上浮长时间序列预测模型

基于机器学习预测施工期盾构刀盘前方管片上浮值,有助于及时调整盾构控制参数以缓解管片上浮病害。然而,已有模型在长时间序列预测问题上的性能不佳,难以精确预测盾构刀盘前方多环管片上浮值。通过考虑盾构控制、姿态参数及地层信息的影响,结合Boruta算法,确定模型输入特征;利用小波变换滤波器、完备自适应噪声集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)方法消除时间序列数据噪声,构建了一种基于LightBGM-Informer的盾构隧道施工期管片上浮预测模型。通过南京和厦门地区某地铁盾构隧道监测数据,验证了所提模型的准确性和适用性。结果表明,所提模型预测精度较循环神经网络(recurrent neural network,RNN)、长短时记忆网络(long short-term memory,LSTM)、门控循环单元(gated recurrent unit,GRU)、Transformer等模型有所提升,且在地质条件不同的数据集上具有良好的泛化性;随着预测序列长度的增加,该模型的性能优势更突出,可准确预测盾构刀盘前方1~2环未施工管片的上浮值。基于沙普利加和解释(Shapley additive explanations,SHAP)方法的特征重要性分析指出,土舱压力及盾头、盾尾垂直位移对管片上浮影响显著。所提模型可为复杂环境下富水地层盾构隧道管片施工智能化控制提供理论指导。

基于v-Informer的云平台资源负载预测方法

目前,云计算技术的使用非常广泛。随着用户量的增加,云计算资源的分配管理也越来越重要,而准确的负载预测是分配管理的重要依据。但由于云平台任务有多个负载特征,且特征的相关性变化趋势各不相同,因此难以从长期的历史数据中提取出有效的依赖信息。在Informer模型的基础上,提出了一种针对高动态云平台任务CPU长期负载预测方法v-Informer,该方法通过变分模态分解来分解负载序列中的变化趋势,引入多头自注意力机制捕获其中的长期依赖性和局部非线性关系,同时应用梯度集中技术改进优化器,减少计算开销。分别在微软云平台和谷歌云平台数据上进行实验,结果表明,与目前已有的CPU负载预测模型LSTM,Transformer,TCN和CEEMDAN-Informer相比,v-Informer在Google数据集上的预测误差分别减少了34%,19%,15%和6.5%;在微软数据集上的预测误差分别减少了32%,16%,12%和7%,具有较好的预测精度。

基于多尺度卷积与Informer混合模型的非侵入式负荷监测方法

针对现有非侵入式负荷监测方法存在的负荷分解准确率低、模型泛化性能差的问题,提出一种多尺度卷积与Informer网络相结合的非侵入式负荷监测方法。采用数据分段优化方法对功率信号进行分段,利用多尺度卷积核获取不同时间尺度的特征序列以及自适应提取多维度功率特征,从而形成特征矩阵;基于Informer网络中的概率稀疏自注意力机制在高维空间中充分捕获特性序列的长期依赖关系,从而提高预测准确率;利用分解值修正方法消除功率分解值中的“虚假”激活状态,以进一步提高分解精度。算例结果验证了所提方法的可行性。

基于GGInformer模型的金融数据特征提取及价格预测

为了解决金融时序预测任务中出现的特征参数冗余问题,用遗传算法对金融数据进行特征提取,通过三组对比实验进行验证分析。实验结果显示,加入了遗传算法的预测模型比未加入遗传算法的模型在三种数据集上的MSE均有所降低。最终结果证明遗传算法可以有效解决金融产品价格预测过程中的特征冗余问题。为了解决非线性的长序列金融数据预测效果差的问题,通过结合GRU网络和Informer模型构建了GGInformer模型来对金融产品价格进行预测。模型在三种外汇产品数据集上与其他四种预测基准方法进行了对比实验,实验结果与可视化分析表明,所提模型在金融产品交易价格的预测结果上有明显优势,可以提高预测的精度。

基于STL-Informer-ARIMA组合模型的猪肉价格预测方法研究

合理预测猪肉价格对稳定生猪市场价格波动及促进猪产业的健康持续发展具有重要意义。本文深入研究了猪肉价格的影响因素,整合了29种相关价格数据。通过分析数据特征,针对Informer模型在猪肉价格数据提取方面的局限性,对Informer模型进行改进,将自注意力机制ProbAttention更换为Synthesizer模型,引入了价格波动模块。在此基础上,本文提出了一种新的价格预测组合模型STL-Informer-ARIMA,模型结合了随机森林(Random Forest)和递归特征消除(Recursive Feature Elimination)进行特征选择,利用季节性和趋势分解法(Seasonal and Trend Decomposition Using Loess)对猪肉(白条猪)价格进行分解,采用ARIMA模型对季节项进行预测,同时针对趋势项和残差项采用改进的Informer模型进行预测。实验表明,STL-Informer-ARIMA组合模型的MSE为0.532,MAE为0.446,RMSE为0.729,MAPE为0.030,R^(2)为0.958,相较于LSTM、SVR和GRU等常用价格预测模型,本文的组合模型有效提升了猪肉价格预测的准确性和可靠性。