基于Stacking融合的LSTM-SA-RBF短期负荷预测

为了解决单个神经网络预测的局限性和时间序列的波动性,提出了一种奇异谱分析(singular spectrum analysis,SSA)和Stacking框架相结合的短期负荷预测方法。利用随机森林筛选出与历史负荷相关性强烈的特征因素,采用SSA为负荷数据降噪,简化模型计算过程;基于Stacking框架,结合长短期记忆(long and short-term memory,LSTM)-自注意力机制(self-attention mechanism,SA)、径向基(radial base functions,RBF)神经网络和线性回归方法集成新的组合模型,同时利用交叉验证方法避免模型过拟合;选取PJM和澳大利亚电力负荷数据集进行验证。仿真结果表明,与其他模型比较,所提模型预测精度高。

基于Stacking集成学习的远程资源传输负荷预测

传统电网远程资源传输负荷预测方法忽略了对资源的集成训练,导致电网负荷预测结果与实际值偏差较大。为此,提出基于Stacking集成学习的远程资源传输负荷预测方法。构建Stacking集成学习模型,同时通过长短时记忆网络构建Stacking-LSTM网络混合模型,利用时间滑动窗口构建影响因素数据特征图,并将其输入网络混合模型,利用Stacking基础学习训练层实现训练,并将训练结果输入LSTM网络层,完成电网远程资源传输负荷预测。实验结果表明:该方法的网络收敛速度较快,获取特征的贡献度较高,且负荷预测结果接近实际值,可以较好地跟踪负荷变化情况。

Short Term Traffic Flow Prediction Using Hybrid Deep Learning

Traffic flow prediction in urban areas is essential in the IntelligentTransportation System (ITS). Short Term Traffic Flow (STTF) predictionimpacts traffic flow series, where an estimation of the number of vehicleswill appear during the next instance of time per hour. Precise STTF iscritical in Intelligent Transportation System. Various extinct systems aim forshort-term traffic forecasts, ensuring a good precision outcome which was asignificant task over the past few years. The main objective of this paper is topropose a new model to predict STTF for every hour of a day. In this paper,we have proposed a novel hybrid algorithm utilizing Principal ComponentAnalysis (PCA), Stacked Auto-Encoder (SAE), Long Short Term Memory(LSTM), and K-Nearest Neighbors (KNN) named PALKNN. Firstly, PCAremoves unwanted information from the dataset and selects essential features.Secondly, SAE is used to reduce the dimension of input data using onehotencoding so the model can be trained with better speed. Thirdly, LSTMtakes the input from SAE, where the data is sorted in ascending orderbased on the important features and generates the derived value. Finally,KNN Regressor takes information from LSTM to predict traffic flow. Theforecasting performance of the PALKNN model is investigated with OpenRoad Traffic Statistics dataset, Great Britain, UK. This paper enhanced thetraffic flow prediction for every hour of a day with a minimal error value.An extensive experimental analysis was performed on the benchmark dataset.The evaluated results indicate the significant improvement of the proposedPALKNN model over the recent approaches such as KNN, SARIMA, LogisticRegression, RNN, and LSTM in terms of root mean square error (RMSE)of 2.07%, mean square error (MSE) of 4.1%, and mean absolute error (MAE)of 2.04%.

ConvNeXt网络及Stacked BiLSTM-Self-Attention在轴承剩余寿命预测中的应用

在滚动轴承剩余使用寿命预测方面,采用传统方法时存在鲁棒性差、精度低等各种问题。近些年来深度学习的发展为解决这些问题提供了新的思路。为了进一步提高对轴承寿命的预测精度,提出了一种基于ConvNeXt网络、堆叠双向长短时记忆网络(SBiLSTM)和自注意力机制(Self-Attention)的滚动轴承寿命预测方法。首先,采用连续小波变换(CWT)构造了振动信号的时频图,以更好地捕捉信号的时域和频域特征;然后,将得到的时频图输入到构建的ConvNeXt网络中,通过卷积、池化和层归一化等操作,对时频图的关键特征进行了提取;最后,将提取后的特征输入到SBiLSTM-Self-Attention模块中,进一步提取了时序信息和特征权重分配数据,利用PHM2012挑战数据集进行了验证,通过实验分析了该方法的均方根误差(RMSE)和平均绝对误差(MAE)。研究结果表明:相较于现有技术方法,该方法的平均RMSE为0.031;与其他三种方法,即卷积神经网络(CNN)、深度残差双向门控循环单元(DRN-BiGRU)和深度卷积自注意力双向门控循环单元(DCNN-Self-Attention-BiGRU)相比,其平均RMSE值分别下降了79%、74%和55%,MAE值分别下降了78%、73%和53%,说明该方法在滚动轴承剩余寿命预测中有较好的性能。

基于多模型融合Stacking集成学习方式的负荷预测方法

人工智能及机器学习技术的快速发展,为负荷预测问题提供了崭新的解决思路。该文结合人工智能的前沿理论研究,提出一种基于多模型融合 Stacking 集成学习方式的负荷预测方法。考虑不同算法的数据观测与训练原理差异,充分发挥各个模型优势,构建多个机器学习算法嵌入的 Stacking集成学习的负荷预测模型,模型的基学习器包含 XGBoost树集成算法和长短记忆网络算法。算例使用 ENTSO 中瑞士负荷数据对算法有效性进行了验证。预测结果表明,XGBoost、梯度决策树、随机森林模型能够通过自身模型的增益情况对输入数据的特征贡献度进行量化分析;Stacking中各个基学习器的学习能力越强,关联程度越低,模型预测效果越好;与传统单模型预测相比,基于多模型融合的Stacking 集成学习方式的负荷预测方法有着较高的预测精度。

基于多模型融合Stacking集成学习的油田产量预测

基于机器学习前沿理论,提出一种基于多模型融合Stacking集成学习方式的组合预测方法,以国内某特高含水油田区块中多口水驱产油井历年生产历史数据为试验样本,预测其动态产油量。依据不同算法的训练原理,选取极限梯度提升树算法、长短记忆网络(LSTM)、时域卷积网络(TCN)等作为模型的基学习器,采用多元线性回归作为模型的元学习器。结果表明:融合后的Stacking模型充分发挥了各基学习器的优势,相比单一模型,融合后的Stacking模型预测平均误差较小,预测鲁棒性较好。该模型的提出对融合模型在特高含水油藏开发方面具有重要的应用意义。

深度学习在钢结构货架变形预测中的应用研究

随着工业化和物流行业的发展,钢结构货架在仓储和物流系统中越来越重要,因此准确预测其变形至关重要。文章介绍了一种基于双向长短时记忆网络(BiLSTM)和注意力机制的预测算法,该算法利用时间序列数据,通过深度学习模型进行训练,能够更细致地分析和预测钢结构货架的变形。结合一个典型应用验证了模型性能,证实了其高稳健性和出色的预测精度。实验结果表明,该模型能够准确地预测钢结构货架的变形情况,其平均误差仅为0.15%~3.33%。这些结果表明了该算法在钢结构货架自动化监测领域的潜在应用前景,为其结构变形预测提供了一种可行的解决方案。

基于Stacking多模型融合的IGBT器件寿命的机器学习预测算法研究

绝缘栅双极型晶体管(IGBT)器件是一种被广泛应用于工业、通信、计算机、汽车电子等领域的核心技术部件,提高该器件的使用安全性至关重要。近年来,采用机器学习对IGBT器件的寿命进行预测已成为热点的研究问题。然而,普通的神经网络预测仍存在着训练时间长和准确率较低的问题。针对该问题,提出了一种基于Stacking多模型融合的机器学习模型来实现对IGBT的寿命预测,该模型有效地提高了预测的准确率和效率。该算法包含双层结构,融合了4种互补的机器学习算法模型。其中,第一层使用了轻度梯度提升树模型(LGBM)、极端梯度提升树模型(XGBoost)和岭回归模型(Ridge)进行预测,再将预测结果输入第二层进行训练;第二层使用了线性回归模型,经过双层模型训练预测出最终的IGBT寿命。通过实验数据的对比证实,相比常用的长短期记忆神经网络(LSTM)算法模型,基于Stacking多模型融合的机器学习模型对IGBT寿命预测的均方误差平均降低了93%,且模型训练的平均耗时仅为LSTM网络算法模型的13%。

融合多源异构气象数据的光伏功率预测模型

高精度光伏功率预测对提高电力系统运行效率具有重要意义。光伏功率受多种因素影响,其中云层的变化是最主要的不确定因素。传统光伏功率预测方法没有充分考虑云的3维结构和气象要素对光伏功率的影响。因此,该文提出一种融合多源异构气象数据的多源变量光伏功率预测模型(MPPM)。MPPM的核心包括时空条件扩散模型(STCDM)、注意力堆叠LSTM网络(ASLSTM)和多维特征融合模块(MFFM)。STCDM模型通过对2维卫星云图进行精确预测,消除了云层边界处的模糊现象。ASLSTM模型则提取了3维天气研究与预报模式(WRF)气象要素特征。MFFM模块将2维卫星云图特征和3维WRF气象要素特征进行融合,以得到未来1 h光伏功率预测结果。该文分别利用STCDM模型和MPPM模型开展卫星云图预测实验和光伏功率预测实验。实验结果显示,STCDM模型预测1 h内卫星云图的结构相似性指数(SSIM)达到0.914,MPPM模型预测1 h内光伏功率的相关系数(CORR)达到0.949,优于所有对比算法。

基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

基于VMD-BiLSTM-WOA的短期风电功率预测

风力发电对于解决全球能源短缺问题有重要意义,准确预测风电功率有助于风电并网的合理调度和可靠的电网运行.文章提出了一种基于变分模态分解(Variational Mode Decomposition, VMD)、双向长短期记忆网络(Bidirectional Long Short-term Memory Network, BiLSTM)以及鲸鱼优化算法(Whale Optimization Algorithm, WOA)的混合深度学习模型,以用于短期风电功率预测.首先,VMD将原始风电功率分解为多个子模态,有效减少了序列的波动性;然后对每个子模态分别建立BiLSTM模型,使用WOA对BiLSTM中的参数进行优化,以提高混合模型的效率和预测性能;最后将各个子模型的结果叠加得到最终预测结果.在实验中通过建立不同的比较模型来说明改进策略的有效性和优越性,结果表明所提的混合模型在风电功率预测中具有较高的预测精度.

基于改进金豺算法的短期负荷预测

针对电力负荷序列波动性和预测精度不高的问题,提出一种基于变分模态分解、排列熵和改进金豺算法优化双向长短期记忆网络的预测模型。首先,利用变分模态分解重构原始负荷序列,再采用排列熵理论对分解后的子序列进行熵值重组;然后,利用改进金豺算法对双向长短期记忆网络的参数进行优化,并对每个子序列建立预测模型;最后,组合各模型结果得到最终预测值。实验结果表明,本文模型预测精度更高,与真实值拟合度更好。

基于BiLSTM-XGBoost混合模型的储层岩性识别

储层岩性分类是地质研究基础,基于数据驱动的机器学习模型虽然能较好地识别储层岩性,但由于测井数据是特殊的序列数据,模型很难有效提取数据的空间相关性,造成模型对储层识别仍存在不足.针对此问题,本文结合双向长短期循环神经网络(bidirectional long short-term memory,BiLSTM)和极端梯度提升决策树(extreme gradient boosting decision tree,XGBoost),提出双向记忆极端梯度提升(BiLSTM-XGBoost,BiXGB)模型预测储层岩性.该模型在传统XGBoost基础上融入了BiLSTM,大大增强了模型对测井数据的特征提取能力.BiXGB模型使用BiLSTM对测井数据进行特征提取,将提取到的特征传递给XGBoost分类模型进行训练和预测.将BiXGB模型应用于储层岩性数据集时,模型预测的总体精度达到了91%.为了进一步验证模型的准确性和稳定性,将模型应用于UCI公开的Occupancy序列数据集,结果显示模型的预测总体精度也高达93%.相较于其他机器学习模型,BiXGB模型能准确地对序列数据进行分类,提高了储层岩性的识别精度,满足了油气勘探的实际需要,为储层岩性识别提供了新的方法.

一种采用记忆神经网络和曲线形状修正的负荷预测方法

针对分布式电源和新型负荷容量累积造成负荷影响因素多元化和不确定性特性增强的问题,文中提出一种采用记忆神经网络和曲线形状修正的负荷预测方法。在负荷峰值预测中,采用最大信息系数计算负荷峰值与影响因素的非线性相关性,实现对输入特征的筛选;综合考虑负荷峰值序列的长短期自相关性和输入特征与负荷峰值的不同程度相关性,结合Attention机制和双向长短时记忆(bidirectional long short-term memory,BiLSTM)神经网络建立负荷峰值预测模型。在负荷标幺曲线预测中,通过误差倒数法组合相似日和相邻日,建立负荷标幺曲线预测模型;针对预测偏差的非平稳特征,利用自适应噪声的完全集成经验模态分解和BiLSTM网络建立误差预测模型,对曲线形状进行修正。应用中国北方某城市的区域电网负荷数据为算例,验证了所提模型的有效性。

融合Transformer和卷积LSTM的轨迹分类网络

为了减少原始轨迹数据的噪声,充分提取轨迹的时空特征,提高基于轨迹数据的交通模式分类精度,提出一种融合堆叠降噪自编码器、Transformer和卷积长短期记忆网络的轨迹分类网络(networks fusing stacked denoising auto-encoder, Transformer and ConvLSTM,SDAETC)。通过堆叠降噪自编码器减少原始轨迹数据中的噪声;利用结合了Transformer的递归图自编码器,提取到更为丰富的时间特征,同时利用特征图自编码器提取空间特征;改进卷积长短期记忆网络,充分提取轨迹中的时空特征,并与提取到的时间特征和空间特征相融合,从而实现交通模式分类。实验结果表明,提出的SDAETC与基线模型相比,在GeoLife和SHL数据集上的准确率分别提升了1.8%和2%。此外,消融实验结果和模型训练时间分析表明,引入堆叠降噪自编码器、Transfomer和ConvLSTM虽然增加了时间消耗,但是对分类精度有积极贡献。

双向长短期记忆网络的时间序列预测方法

时间序列预测即利用历史时间序列数据,预测未来一段时间内的数据信息,以便提前制定相应策略。目前,时间序列的类别复杂繁多,而现有的时间序列预测模型面对多种类型数据时无法取得稳定预测的结果,进而难以同时满足对现实中多种复杂的时序数据预测的应用需求。针对上述问题,提出了一种基于时间注意力机制双向长短期记忆网络的时间序列预测方法。笔者提出的网络模型采用改进的正向和反向传播机制提取时序信息并通过自适应权重分配策略推理未来的时序信息。具体来说,设计了一个改进的双向长短期记忆网络,通过结合双向长短期记忆和长短期记忆网络提取深度时间序列特征,挖掘上下文的时序依赖关系。在此基础上,融合所提出的时间注意力机制,实现对深度时间序列特征进行自适应加权,提升深度时序特征的显著性表达能力。通过与同类代表性方法在多个不同类别数据集上的客观定量对比,实验结果表明,该方法能够在多种类别的复杂时间序列数据上更优的预测性能。

基于双重分解和双向长短时记忆网络的中长期负荷预测模型

针对中长期电力负荷序列噪声含量高、难以直接提取序列周期规律从而影响预测精度的问题,提出了一种基于完全自适应噪声集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和奇异谱分析(singular spectrum analysis,SSA)双重分解的双向长短时记忆网络(bidirectional long and short time memory,BiLSTM)预测模型。首先,采用CEEMDAN对历史负荷进行分解,以得到若干个周期规律更为清晰的子序列;再利用多尺度熵(multiscale entropy,MSE)计算所有子序列的复杂程度,根据不同时间尺度上的样本熵值将相似的子序列重构聚合;然后,利用SSA去噪的功能,对高度复杂的新序列进行二次分解,去除序列中的噪声并提取更为主要的规律,从而进一步提高中长序列预测精度;再将得到的最终一组子序列输入BiLSTM进行预测;最后,考虑到天气、节假日等外部因素对电力负荷的影响,提出了一种误差修正技术。选取了巴拿马某地区的用电负荷进行实验,实验结果表明,经过双重分解可以将均方根误差降低87.4%;预测未来一年的负荷序列时,采用的BiLSTM模型将拟合系数最高提高2.5%;所提出的误差修正技术可将均方根误差降低9.7%。

基于命名实体识别的水电工程施工安全规范实体识别模型

为准确识别水电工程施工安全规范实体,通过预训练模型中双向编码器表征法(BERT)挖掘文本中丰富的语义信息,利用双向长短期记忆神经网络(BILSTM)提取规范实体语义特征,依靠条件随机场(CRF)分析实体之间的依赖关系,构建水电工程施工安全规范的命名实体识别模型;以《水利水电工程施工安全防护技术规范》(SL714—2015)为例,计算命名实体识别模型精确率。结果表明:BERT-BILSTM-CRF模型准确率为94.35%,相比于3种传统方法,准确率显著提高。研究成果有助于水电工程施工安全规范知识智能管理,为施工安全隐患智能判别提供支撑。

基于自注意力机制和改进的K-BiLSTM的水产养殖水体溶解氧含量预测模型

为精确预测水产养殖水体溶解氧含量,本研究提出一种基于自注意力机制(ATTN)和改进的K-means聚类-基于残差和批标准化(BN)的双向长短期记忆网络(BiLSTM)的水产养殖水体溶解氧含量预测模型。首先,根据环境数据的相似性,使用改进的K-means算法将数据划分成若干个类别;然后,在BiLSTM基础上构建残差连接和加入BN完成高层次特征提取,利用BiLSTM的长期记忆能力保存特征信息;最后,引入自注意力机制突出不同时间节点数据特征的重要性,进一步提升模型的性能。试验结果表明,本研究提出的基于自注意力机制和改进的K-BiLSTM模型的平均绝对误差为0.238、均方根误差为0.322、平均绝对百分比误差为0.035,与单一的BP模型、CNN-LSTM模型、传统的K-means-基于残差和BN的BiLSTM-ATTN等模型相比具有更优的预测性能和泛化能力。

基于VMD-FE-CNN-BiLSTM的短期光伏发电功率预测

为提高光伏功率的预测精度,提出一种变分模态分解(VMD)、模糊熵(FE)、卷积神经网络(CNN)和双向长短期记忆神经网络(BiLSTM)的光伏功率组合预测模型。该方法首先采用VMD将原始光伏序列数据分解成多个子序列,从而减少随机波动分量和噪声干扰对预测模型的影响,通过FE对每个子序列进行重组,使用一维CNN的局部连接及权值共享提取不同分量的特征,将CNN输出的特征融合并输入到BiLSTM模型中;利用BiLSTM模型建立历史数据之间的时间特征关系,得到光伏发电功率预测结果。与BiLSTM、CNN-BiLSTM、EEMD-CNN-BiLSTM、VMD-CNN-BiLSTM这4种模型进行比较,该文提出的VMD-FE-CNN-BiLSTM模型在光伏发电功率预测中具有较高的精确度和稳定性,满足光伏发电短期预测的要求。