基于注意力机制和Mogrifier LSTNet的道路交通占有率预测

提出一种改进的LSTNet深度学习框架用于交通占有率数据预测。采用不同大小的卷积核来捕捉时间序列数据中不同时间范围内的模式和趋势,并融合CBAM注意力机制可以在通道维度和空间维度上自适应地调整特征的权重。通过引入Mogrifier机制多次迭代交替更新LSTM的输入门和遗忘门的权重,以更好地捕捉序列数据中的长期依赖关系。而AR模型充分考虑了数据集的自相关性帮助模型更好地理解历史信息。实验结果表明,提出的模型相对绝对值误差为0.3497,明显优于其他模型,能够有效提高交通占有率的准确预测。

基于TabNet-LSTNet的多特征短期负荷预测

为了挖掘负荷预测中不同输入特征的重要性,有效处理负荷数据中的线性成分和非线性成分,提高负荷预测的精度,提出一种基于TabNet和长期和短期时间序列网络(long and short-term temporal networks,LSTNet)的组合负荷预测模型。通过引入自监督预训练来提高TabNet的预测精度,通过训练得到输入特征的全局重要性和预测结果,然后把重要性高的特征输入到LSTNet训练得出预测结果,最后通过方差-协方差组合方法得出TabNet-LSTNet模型的预测结果。通过仿真分析,与传统的长短期记忆网络(long short-term memory,LSTM)、极端梯度提升机(extreme gradient boost,Xgboost)、轻量级梯度提升机(lignt gradient boosting machine,Lightgbm)和其他组合模型相比较,TabNet-LSTNet模型具有更高的精度。

基于改进Att-LSTNet与无迹粒子滤波融合的主动配电网预测辅助状态估计

针对传统的无迹粒子滤波(unscented particle filter,UPF)存在不准确的新息向量及未知的量测噪声协方差矩阵导致估计精度低的问题,提出一种改进Att-LSTNet与UPF融合的主动配电网预测辅助状态估计(forecasting-aided state estimation,FASE)方法。首先,采用引力搜索算法(gravitational search algorithm,GSA)对支持向量回归(support vector regression,SVR)的关键参数进行优化处理,利用历史数据建立GSA-SVR模型,并将其引入至Att-LSTNet模型的输出层,构建一种增强预测模型。然后,利用UPF中的新息向量来训练该模型,并结合孤立森林算法和箱线图法对原始新息向量进行监控和修正。最后,针对量测噪声协方差矩阵未知的情况,结合修正后的新息向量和UPF计算出未知量测噪声协方差矩阵,并进行状态估计。基于IEEE33与IEEE118节点标准配电系统的算例结果表明,所提出的方法在估计精度、泛化能力和鲁棒性等方面具有优越性。

强化数据预处理的BLSTNet-CBAM短期电力负荷预测

针对负荷数据复杂性、非平稳性以及负荷预测误差较大等问题,提出一种综合特征构建和模型优化的短期电力负荷预测新方法.首先采用最大信息系数(MIC)分析特征变量的相关性,选取与电力负荷序列相关的特征变量,同时,考虑变分模态分解(VMD)方法容易受主观因素的影响,采用霜冰优化算法(RIME)优化VMD,完成原始电力负荷序列的分解.然后改进长短期时间序列网络(LSTNet)作为预测模型,将其递归层LSTM更新为BiLSTM,并引入卷积块注意力机制(CBAM)进行预测.通过对比实验和消融实验的结果表明:经RIME-VMD优化后,LSTM、GRU、LSTNet模型预测的均方根误差(RMSE)均降低20%以上,显著提高模型预测精度,且能够适应于不同预测模型.所提出的BLSTNet-CBAM模型与LSTM、GRU、LSTNet相比,RMSE分别降低了35.54%、6.78%、1.46%,提高了短期电力负荷预测的准确性.

基于XGBoost和改进LSTNet的气温预测设计

气温变化与人类的生产生活密切相关,对人类出行计划、农林生产以及军事作战等方面都有着重要影响,因此对于大气温度更加精准的预测具有一定现实意义。针对传统预测模型对气温预测精度不佳的问题,提出了一种融合极端梯度提升树(Extreme Gradient Boosting,XGBoost)和改进长短期时序网络(Long and Short-Term Temporal Patterns with Deep Neural Network,LSTNet)的气温预测模型。利用XGBoost进行特征筛选,降低数据维度;利用LSTNet进行改进,在其卷积层嵌入通道注意力(Channel Attention,CA)机制,强化显著特征;把循环神经网络层中的循环门单元(Gate Recurrent Unit,GRU)改为双向长短时记忆网络(Bidirectional Long Short-Term Memory,BiLSTM),并加入了时序注意力(Temporal Attention,TA)机制,使模型拥有同时提取正反向信息的能力且突出了重要时间步的信息;用建立好的模型进行预测实验和对比实验。实验结果表明,提出的改进模型在气温单步预测时,平均绝对误差(Mean Absolute Error,MAE)为0.303℃,相较于长短期记忆(Long Short-Term Memory,LSTM)神经网络等对比模型,MAE最多降低3.429℃,最少降低0.225℃;多步预测时,MAE随时间步增加,最多降低3.827℃,最少降低0.288℃,说明所提模型在单步预测和多步预测上预测精度都更高,优于同类模型。

基于近邻传播聚类与LSTNet的分布式光伏电站群短期功率预测

为了应对分布式光伏渗透率不断提高带给电网运行的挑战,提出了一种基于近邻传播聚类与长短期时间序列网络(LSTNet)的区域分布式光伏电站群短期功率预测模型。首先,利用近邻传播算法划分区域内不同季节的分布式光伏电站群,并通过皮尔逊相关系数确定光伏出力的强相关气象因子,结合双线性插值法加密对应光伏电站群的气象数据。然后,通过LSTNet挖掘光伏功率和气象因子序列的长期和短期时空依赖,并叠加自回归的线性分量,实现了群内多个光伏电站的同时预测。最后,利用美国国家能源部可再生能源实验室的实测数据集验证了所提方法的有效性。实验比较表明,所提预测模型具有较高的预测精度和鲁棒性。

基于贝叶斯优化注意力机制LSTNet模型的短期电力负荷预测

为更充分挖掘多元负荷序列间的有效信息,从而提高预测精度,提出了一种集成贝叶斯超参数优化算法、注意力机制的长期和短期时间序列网络(long and short-term time-series network with attention, LSTNet-attention)以及误差修正的短期负荷预测模型。首先,构建基于贝叶斯优化的LSTNet-attention模型进行初步预测,利用贝叶斯算法优化模型多个结构参数,降低人工设置参数的随机性,并通过注意力机制合理分配特征权重;然后,通过基于贝叶斯参数优化的极端梯度提升算法(extreme gradient boosting, XGBoost)误差修正模型来挖掘初步预测误差序列中潜在、未被利用的有效信息,进行误差预测和修正,进而得到最终的预测结果。通过使用澳大利亚某地真实负荷数据进行实证分析,实验结果表明,所提预测模型相较于其他模型具有更好的预测效果,可为负荷预测等工作提供一定参考。

基于LSTNet-Mod模型的锅炉效率预测研究

建立快速准确的锅炉效率预测模型,选取12个测点作为输入,以锅炉效率作为输出,利用锅炉运行历史数据建立数据集,对比多个时序数据预测模型的效果。结果显示:长短期时间序列网络(Long-and Shortterm Time-series network,LSTNet)模型的平均绝对误差最小,为0.12,该模型的预测效果优于其他模型。对LSTNet模型进行微调,为了提高模型的表达能力,将门控循环单元(Gate Recurrent Unit,GRU)调整为长短期记忆网络(Long Short-Term Memory,LSTM);为了提高模型推理速度,适当缩减LSTM的神经元数量,最终得到长短期时间序列微调网络(LSTNet-Mod)模型,其平均绝对误差为0.027,推理时间缩短了约7.88 s。

基于LSTNet模型的配电台区短期电力负荷预测研究

短期电力负荷预测作为电力系统运行规划的重要依据,对电力系统的安全经济运行有重要意义。提出一种长期和短期时间序列网络(LSTNet)模型对配电台区的短期负荷变化进行预测。该模型用卷积神经网络(CNN)提取负荷数据间的局部依赖关系,用长短时记忆(LSTM)神经网络提取负荷数据长期变化趋势,再融合传统自回归模型解决神经网络对负荷数据极端值的不敏感问题,最后将某一配电台区的电力负荷数据用于网络的训练和预测过程中。通过仿真实验案例发现,相较于以往LSTM、双向长短时记忆神经网络(Bi-LSTM)和CNN-LSTM的预测模型,LSTNet模型在短期负荷预测方面更具优势、预测精度更高。

基于LSTNet网络的风电机组发电机主轴承温度预测研究

发电机主轴承温度的预测对风电机组的状态监测和故障预警具有重要的意义。为提高主轴承温度预测的准确性,提出一种基于LSTNet网络的预测方法。首先,针对观测向量选择缺乏理论依据和特征冗余的问题,采用灰色关联度分析筛选出与主轴承温度关联性较强的特征参数,然后结合MIV指标计算出每个参数的平均影响值,进一步比较特征参数对主轴承温度的影响程度,最终选择出4个特征参数参与模型预测,最后利用LSTNet多变量时间序列框架,融合GRU、RNN、LSTM网络的结构特点,建立LSTNet网络预测模型,并与SVR、RNN和LSTM预测方法作对比。结果表明:基于LSTNet模型的长期和短期时间序列多步预测方法,预测准确率达到99.3%,明显优于文中其他方法,有效提升了发电机主轴承温度的预测精度。

基于新型时空双注意力模型的聚乙烯树脂密度软测量建模方法

由于在工业过程中产生的时序数据本身具有高度非线性和动态性,导致对聚乙烯关键指标的准确预测和生产优化指导变得困难。因此,提出一种基于新型时空双注意力模型的聚乙烯树脂密度软测量建模方法,旨在解决聚乙烯工业过程中的关键指标预测和能源结构优化问题。方法中引入了图注意力网络(GAT)和长短期时间序列网络(LSTNet),分别用于捕获复杂的时空关系以及提取时间相关特征,并将它们融合到一个统一的框架中,即时空融合模块(GLST),以实现自适应控制和准确预测。在GLST模型中,多头GAT模型被用于建模变量间显式的非线性关系,充分利用其信息聚合能力来提取时序数据的空间特征。同时,LSTNet模型有助于捕捉潜在的时间相关特征,从而更好地理解时序数据的动态性。GLST的引入使得能够将采集到的时空交互特征有效融合,从而实现对聚乙烯树脂密度的准确预测。为了验证方法的有效性,将该方法应用于实际工业生产聚乙烯树脂密度软测量建模中,结果表明:该方法不仅在与其他方法的比较中表现出显著的优越性,而且能够为实际聚乙烯生产工艺提供最佳的能源结构优化方案。

基于相似日与多模型融合的短期负荷预测

为提高负荷预测精度,以相似日思想为基础,构建了一种基于相似日与多模型融合的短期负荷预测框架。首先,通过Pearson相关系数确定负荷的气象影响因素,并结合气象因素及负荷日期类型进行相似日选取,构造历史数据集;其次,采用互补集合经验模态分解(complementary ensemble empirical mode decomposition,CEEMD)技术将历史数据集分解为不同频率下的固有模态函数(intrinsic mode function,IMF)分量;然后,采用长短期时序网络(long short term time-series network,LSTNet)及极限学习机(extreme learning machine,ELM)模型分别对高频及低频IMF分量进行预测,经过结果的融合得到最终的负荷预测结果;最后,经过实际电力负荷验证,所提出模型具有较高的负荷预测精度。

电表数据隐私保护下的联邦学习行业电力负荷预测框架

电力市场化改革背景下,供电公司的用电采集系统不对主动配电网运营商开放,同时,未来终端用户更倾向于将用户信息保存在本地以保护自己的隐私,主动配电网运营商需要在无读表权的条件下开展负荷预测等电力业务。为此,选择天气和时间因素作为负荷的关联因素,提出一种面向行业用户读表数据保护的联邦学习负荷预测框架。在此基础上,构建了行业用户数据集,基于长短期时间序列网络(LSTNet)建立负荷预测模型,同时利用FedML框架建立基于联邦学习的分行业负荷预测框架。算例分析表明,所述方法能使同行业的用户在不共享负荷数据的前提下进行联邦训练,在保护用户用电隐私的前提下支撑主动配电网运营商相关业务开展,具有较优的预测性能、较少的模型数量和较短的耗时。

基于模态分解及注意力机制长短时间网络的短期负荷预测

短期电力负荷受多种因素影响,具有波动性大、随机性强的特点,使得高精度的短期负荷预测比较困难。为充分提取负荷数据中的特征,提升短期负荷预测精度,提出了一种基于模态分解及注意力机制长短时间网络(long and short-term temporal networks with attention,LSTNet-Attn)的短期负荷预测模型。首先该模型采用自适应白噪声的完整经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)对包含大量高频分量且频率成分复杂的原始负荷时间序列进行处理,经频率分离后得到若干个包含不同频率成分的本征模函数(intrinsic mode functions,IMF)。其次,在采集特征的基础上构建日期特征,并通过Boruta算法优化输入数据维度冗余问题。然后,在上述基础上构建LSTNet-Attn预测模型,模型包括卷积模块、循环跳过模块、自回归(autoregressive,AR)模块和注意力机制模块。卷积模块和循环跳过模块提取输入负荷数据中高度非线性的长短期特征和线性特征;AR模块优化神经网络对线性特征识别不敏感问题;注意力机制实现对重要特征分配更多权重以捕获全局与局部的联系,优化模型提升预测精度。最后采用于麻省理工数据集进行实例验证,并与常用预测模型进行对比研究和模型消融研究,证明该模型有效提高了负荷预测的精确性。