基于模糊逻辑的FBiLSTM-Attention短期负荷预测

针对电力负荷数据由于受多种因素的影响具有高度不确定性的问题,将负荷数据的不确定性与深度学习算法相结合,提出了一种基于模糊逻辑的FBiLSTM-Attention短期负荷预测模型,以提高负荷预测的精度。首先,对原始数据进行数据预处理,包括缺失值填充、相关性分析及数据归一化;其次,通过K-Means聚类将每个特征的数据转换成模糊规则引入模糊逻辑的处理,同时,模型结构方面采用双向长短期记忆网络(BiLSTM)和注意力机制(Attention);最后,对所提方法和传统的LSTM与BiLSTM-Attention模型的预测结果进行对比。结果表明,结合了模糊逻辑的模型精确度和鲁棒性都有了明显的提升,具有更好的预测性能。所提模型可以有效提高处理不确定性数据的能力,为负荷预测研究提供了参考。

基于GA-VMD与CNN-BiLSTM-Attention模型的区域碳排放交易价格预测研究

准确的碳价预测可为碳排放权交易市场监管者和投资者提供决策依据与参考。本文提出了基于GA-VMD降噪分解及CNN-BiLSTM-Attention混合模型的碳价预测方法,并选取湖北碳市场2014年4月2日到2022年6月15日1857个交易日的数据进行分析:首先通过遗传算法改进变分模态分解(GA-VMD)将原始碳价序列分解为平稳的本征模态函数(IMF)分量,降低数据噪音;随后构建CNN-BiLSTM-Attention混合模型对各IMF分量进行预测。其中,卷积神经网络(CNN)可提取影响碳价多个特征,双向长短期记忆网络(BiLSTM)可实现时间序列信息提取,注意力机制(Attention)可突出某个关键输入对输出的影响。本文将预测出的各IMF分量集合成碳价序列,并提出12个模型,分为3个组进行剥离分析,结果显示GA-VMD-CNN-BiLSTM-Attention的预测结果最好。另外,为给市场参与者提供更多信息,本文在确定性预测的基础上加入区间预测,以便提前测量碳市场的波动性。

基于TextCNN-Attention-BiLSTM融合模型的煤矿隐患文本分类研究

为实现大量煤矿隐患文本的迅速、精确分类,及时了解安全概况并加以管理。首先,选取安全文库网中多个煤矿隐患数据库为实验数据源,对煤矿隐患文本进行预处理,包括去除噪声词、分词和词向量表示等;其次,利用TextCNN对文本进行卷积操作,提取不同尺寸的特征表示,再利用BiLSTM模型对得到的特征向量进行时序建模,并结合注意力机制(Attention),从而更好地关注文本中关键信息,捕捉文本全局语义信息;最后,利用全连接层的多标签分类器预测文本隐患类别。实验结果表明:TextCNN-Attention-BiLSTM融合模型在准确率、精确率、召回率和F 1值上均达到92%以上,为煤矿隐患文本分类提供了一种更加准确和有效的解决方案,对煤矿安全管理优化具有重要意义。

基于Attention-BiLSTM混合模型的月尺度降水量预测

降水受到多种气象因素的影响,从而导致降水预测精度不高。针对这个问题,在考虑影响降水的多个气象因素基础上,通过Attention机制赋予各种气象因素不同的权重,结合双向长短期记忆神经网络(BiLSTM),提出了改进的Attention-BiLSTM混合模型去实现月尺度降水量的预测。以江西省南昌气象站为例,将1989—2018年的逐月降水量与逐月气象因素(气温、蒸发量、气压等)观测资料作为模型输入数据,通过Attention机制识别出各种气象因素的权重,从而提高BiLSTM模型对降水量的预测性能。结果表明:Attention-BiLSTM混合模型可有效地提高降水量预测的精度;通过Attention机制的修正,显著地改善了原有的BiLSTM模型降水量预测值偏低的问题。

基于TimeGAN和CNN-BiLSTM-Attention的大坝变形预测混合模型

基于历史数据的深度学习模型往往需要跨越数年的大量数据集,为了解决数据不足问题,提出一种将时间序列生成对抗性网络(TimeGAN)与CNN-BiLSTM-Attention相结合的混凝土面板堆石坝变形预测混合模型。首先,利用TimeGAN生成虚拟数据来扩展稀疏的数据集;然后,利用卷积神经网络(CNN)提取大坝传感器数据中的非线性局部特征,运用BiLSTM捕获双向时间序列特征;最后,引入注意力(Attention)机制对BiLSTM层提取的信息特征自动进行权重分配,通过全连接层输出最终预测结果。以贵州省毕节市某混凝土面板堆石坝为例,验证该混合模型的适用性。建立长短期记忆网络(LSTM)、CNN-LSTM、CNN-LSTM-Attention、CNN-BiLSTM-Attention 4种基模型,再分别引入TimeGAN,对比各模型的预测精度。结果表明:基于TimeGAN和CNN-BiLSTM-Attention的混合模型的拟合效果明显优于其他模型,其预测值与监测值最接近。相较于传统单一LSTM模型,混合模型的EMS、ERMS、EMA分别降低了71%、49%、45%,R2提升了20%。

基于新型多目标浣熊优化算法的BiLSTM-Attention预测模型及误差分析

工程造价预测在现代工程管理中具有重要意义。然而,受市场波动、人力成本等因素影响,工程造价预测一直具有挑战性。本文提出一种新型多目标浣熊优化算法,并提出基于该算法优化的双向长短期记忆网络(BiLSTM)和注意力机制(Attention)的变电工程造价预测模型。首先,将本文算法与主流多目标优化算法在8个测试问题上进行对比,验证多目标浣熊优化算法的有效性;其次,通过本文算法对预测模型进行优化,实现模型精度提升;通过BiLSTM-Attention模型捕捉历史数据中的潜在关系,提高变电工程造价预测的精度和可靠性;最后,将本文模型与主流的5种模型进行对比,使用某省110 kV变电工程的历史数据作为案例研究。结果显示,本文模型的平均绝对百分比误差为3.71%,相比BP减小了9.82个百分点,相比ANN减小了5.81个百分点,相比LSTM减小了5.40个百分点,相比LSTM-SVR减小2.03个百分点,相比CNN-LSTM减小1.00个百分点。

基于Self-Attention-BiLSTM网络的西瓜种苗叶片氮磷钾含量高光谱检测方法

元素含量无损检测技术可以为植物生长发育的环境精准调控提供关键实时数据。以西瓜苗为例,提出了一种基于图谱特征融合的氮磷钾含量深度学习检测方法。首先,使用高光谱仪拍摄西瓜苗叶片的高光谱图像,使用连续流动化学分析仪测定叶片的3种元素含量。然后,采用基线偏移校正(BOC)叠加高斯平滑滤波(GF)的光谱预处理方法和随机森林算法(RF)建立预测模型,基于竞争性自适应重加权采样(CARS)和连续投影算法(SPA)2种算法初步筛选出特征波长,再综合考虑波长数和建模精度设计了一种最优波长评价方法,将波长数进一步减少到3~4个。最后,提取使用U-Net网络分割的彩色图像颜色和纹理特征,和光谱反射率特征一起作为输入,基于自注意力机制-双向长短时记忆(Self-Attention-BiLSTM)网络构建了3种元素含量的预测模型。实验结果表明,氮磷钾含量预测的R2分别为0.961、0.954、0.958,RMSE分别为0.294%、0.262%、0.196%,实现了很好的建模效果。使用该模型对另2个品种西瓜进行测试,R2超过0.899、RMSE小于0.498%,表明该模型具有很好的泛化性。该高光谱建模方法使用少量波长光谱即实现了高精度检测,在精度和效率上达成了很好的平衡,为后续便携式高光谱检测装备开发奠定了理论基础。

基于XGBoost-WOA-BiLSTM-Attention的公共建筑暖通空调能耗预测研究

为在双碳目标下实现节能减排,降低能源成本,提出一种基于BiLSTM的公共建筑暖通空调能耗预测模型。在BiLSTM模型基础上,使用XGBoost算法对输入特征进行选择,剔除冗余特征,得到最佳模型输入特征;然后利用WOA优化算法对添加了Attention机制的BiLSTM模型中的6个超参数进行优化,将得到的最优参数代入BiLSTM-Attention神经网络中进行预测,并与BiLSTM模型、BiLSTM-Attention模型和WOA-BiLSTM-Attention模型进行对比。结果表明,所提出的XGBoost-WOA-BiLSTM-Attention模型的RMSE、MAE、R2分别为0.0106、0.006、0.9991,优于其他模型,且相对于持续模型在均方根误差RMSE上提升了98%,为降低公共建筑暖通空调能耗研究提供了参考。

基于改进蜣螂算法优化CNN-BiLSTM-Attention的串联电弧故障检测方法

针对故障电弧特征提取不足、检测精度不高等问题,提出一种多特征融合的改进蜣螂算法(IDBO)优化融合注意力(Attention)机制的卷积神经网络(CNN)和双向长短期记忆(BiLSTM)神经网络的串联电弧故障检测方法。通过实验平台提取电流的时域、频域、时频域以及信号自回归参数模型特征;利用核主成分分析(KPCA)对特征进行降维融合,并将求取的特征向量作为CNN-BiLSTM-Attention的输入向量;引入Cubic混沌映射、螺旋搜索策略、动态权重系数、高斯柯西变异策略对蜣螂算法进行改进,利用改进蜣螂算法对CNN-BiLSTM-Attention超参数优化实现串联电弧故障诊断。结果表明,所提方法故障电弧检测准确率达到97.92%,可高效识别串联电弧故障。

基于BiLSTM-Attention模型的缺血性脑卒中的年卒中风险预测

为实现缺血性脑卒中的年卒中风险的预测,提出一种基于BiLSTM(bi-directional long short-term memory)-Attention的预测模型。采用BiLSTM对患者诊断数据进行特征学习以捕获前向和后向序列数据中的信息;增加Attention机制,对隐藏层中指标信息进行权重分配来提高关键信息的有效利用率;数据集构建充分考虑缺血性脑卒中发生的影响因子,选取Logistic统计学分析方法进行确定,并定义一年为脑卒中研究时间周期,以患者当前及回归预测一年后的参数作为预测模型输入指标。试验结果表明,相比较单一模型,时序特征的提取融合Attention机制的BiLSTM模型的方法,在准确度、灵敏度、特异度等临床判断标准下的预测风险的效果较优,准确率达86%,在缺血性脑卒中疾病早筛查、早预防等领域具有良好的应用价值。

融合TCN与BiLSTM+Attention模型的疫情期间文本情感分析

鉴于目前主流的文本情感分析方法存在难以解决长期依赖和对上下文信息使用不足的缺陷,本文首次提出将时序卷积网络(TCN)和BiLSTM+Attention模型融合的文本情感分析模型。该模型利用TCN的因果卷积和扩张卷积结构获取更高层次的文本序列特征,并通过双向长短期记忆网络(BiLSTM)进一步学习上下文相关信息的情感特征;最后,引入自注意力机制(Self-Attention)帮助模型优化特征向量,提高情感分类的准确度。在新型冠状病毒疫情期间的微博文本数据集上进行对比实验,结果表明该模型的性能相较于其它模型有明显的提升。

基于LDA与BERT-BiLSTM-Attention模型的突发公共卫生事件网络舆情演化分析

[目的/意义]探索突发公共卫生事件网络舆情发展周期中的主题和情感演化历程,研究影响网民情感波动的因素,为网络舆情有效管控提供决策支持。[方法/过程]结合博文数量的时序特征和生命周期理论进行周期划分,利用LDA模型、BERT-BiLSTM-Attention模型构建研究框架,探究不同周期的舆情主题差异及情感演化。[结果/结论]线下病毒变异演化和线上舆情主题与情感演化具有关联性。在新型冠状病毒变异语料库中,BERT-BiLSTM-Attention模型分类准确率为0.8817,F1值为0.8778,其在情感演化分析上具有优越性。构建的“数据采集预处理、舆情周期划分、主题演化和情感演化到获得策略输出”的全过程分析框架对相关部门有效引导网络舆情提供了决策支持和理论支撑,BERT-BiLSTM-Attention模型能更准确地进行情感分类。[局限]数据源单一,面向时间维度上的演化历程未进行时空结合的演化分析。

基于双向LSTM-Attention模型的火电厂负荷预测研究

准确预测电厂负荷可指导火电厂制定发电计划和调度安排,有利于降低能源成本和污染物排放,对电厂的经济性和环保性有重要意义。本文提出一种基于双向LSTM-Attention的火电厂负荷预测方法。首先,通过皮尔逊系数筛选出关键特征变量;其次利用双向长短期记忆网络提取关键变量之间的长期依赖关系与短期变化特征,最后融合注意力权重机制以进一步突出关键时序信息,进而实现负荷的准确预测。以某在役600 MW超临界机组为对象进行验证。结果表明:相较于单向LSTM、双向LSTM、单向LSTM-Attention,本文所提方法的决定系数R^(2)、均方根误差S_(RMSE)和平均绝对误差S_(MAE)均为最优,分别为0.9566、16.3159、13.5043,能更准确地捕捉到负荷快速波动的趋势,为电厂的负荷预测和能源管理提供可行的方法。

基于BiLSTM+Attention模型的煤矿事故隐患自动分类研究

煤矿事故隐患排查是“三位一体”安全生产标准化体系建设的重要基础,大部分企业已经建立并利用安全生产信息系统开展隐患排查治理工作,但相关事故隐患数据并未得到充分利用。以新版《煤矿安全规程》为类别划分标准,构建了17个隐患大类和109个隐患小类的分类体系,作为煤矿安全隐患数据的样本标签;利用BiLSTM模型结合Attention机制对煤矿事故隐患数据进行了双层类别体系的文本分类,并以BERT模型作为基线进行了对比研究。计算结果表明:在隐患大类分类试验中,对于整体的分类结果,BiLSTM+Attention模型在准确率、精准率、召回率和F_(1)值上均高于BERT模型2个百分点;对于各隐患类别的分类结果,以F_(1)值作为主要衡量标准,BiLSTM+Attention模型的分类性能最高达到91%,普遍高于BERT模型1%至4%不等。在隐患小类分类试验中,BiLSTM+Attention模型的分类性能最高达到99%,同样普遍高于BERT模型1%到10%不等。可以看出,基于BiLSTM+Attention模型的煤矿事故隐患分类算法具有显著的分类效果,可以为煤矿事故隐患排查相关信息系统提供快速录入的便捷性应用。

基于BiLSTM-attention模型的NDVI预测研究

为给予牧民科学化养殖方案并对荒漠草原的宏观管理提供依据,针对现有预测模型常忽略其它气象因子的影响,无法实现对NDVI具体数据预测,以及模型的准确性差、适用性弱等局限性的问题,提出基于注意力机制的双向长短期记忆神经网络(BiLSTM-attention)的NDVI预测模型。结果表明,加入蒸发量、日照等影响因子可使模型的均方根误差降低20%左右,提升模型精度;提出的BiLSTM-attention预测模型能够有效利用多变量时间序列数据进行NDVI预测,与LSTM、GRU、BiLSTM和LSTM-attention预测模型相比具有较高的预测精度;最终实现2015年生长季逐月NDVI值的预测。上述模型可对农作物估产、产草量估算等研究提供有力的技术支撑,对草原生态系统未来制定生态保护策略,指导生态修复和管理也有重要的参考意义。

基于LSTM+Attention模型的典型配电台区短期负荷预测方法

为解决配电区短期负荷难预测,导致负荷调度不均匀问题,研究基于长短期记忆网络+注意力机制(LSTM+Attention)模型的典型配电台区短期负荷预测方法。考虑节假日、正常作息以及气温等不同变化因素导致的短期负荷变化,确定区域划分单元中各负载与影响因素间关系,集群分析负载抽样数据,根据不同成分特征向量的贡献率,统计负荷变化影响因素数量,利用长短期记忆网络充分存储历史信息,凭借注意力机制模型确定输入向量和网络中隐含层的实际状态值以及地区负载的主要参数,计算归一化后电力负载的实际概率密度,得出短期负荷预测结果。实验结果表明,所提方法响应速度快,预测准确度高,预测效果和拟合优度理想。

基于LSTM+Attention模型的区域用电负荷增长预测方法

在制冷、空调系统中,用电量受外界温度、建筑保温及室内人员活动等多种因素影响,形成复杂的用电依赖网络。若仅关注用电负荷增长值而忽视这些依赖关系,将显著增大预测负荷的损失。因此,提出基于LSTM+Attention模型的区域用电负荷增长预测方法。拟合分析区域的历史用电负荷数据,结合用电依赖性残差值的计算,分析用电负荷增长的周期性特征,引入LSTM+Attention模型识别用电负荷的影响因子特征,通过缩放线性回归方程,得到预测区域用电负荷增长值结果。实验结果表明:所提方法应用后得出的预测结果,表现出的预测负荷损失较小,预测准确度较高,满足了区域供电的电力调度决策需求。

基于经验模态分解与投资者情绪的Attention-BiLSTM股价趋势预测模型

股票价格的变动是投资者在股票市场关注的焦点,所以股价趋势预测一直是量化投资研究的热门话题。传统的机器学习预测模型难以处理非线性、高频率、高噪声的股价时间序列,使得股票价格趋势的预测精度低。为了提高预测精度,针对股票价格数据的时序性特征,提出用结合经验模态分解(EMD)、投资者情绪和注意力机制的双向长短期记忆神经网络来对股票价格进行涨跌预测。首先使用经验模态分解算法提取股票价格时间序列在不同时间尺度上的特征,并通过构建金融情感词典来提取上一个股票交易日收盘后至下一个交易日开盘前文本的投资者情绪指标,最后使用注意力机制优化的BiLSTM模型对下一个股票交易日进行涨跌预测。在股票价格序列的数据集上进行实验,结果表明,改进后的BiLSTM模型较改进前的BiLSTM模型,准确率从58.50%提升至71.26%;预测为涨的精确率从58.20%提升至70.06%,预测为跌的精确率从59.34%提升至72.36%;预测为涨的召回率从59.85%提升至73.41%,预测为跌的召回率从57.73%提升至69.11%;预测为涨的F1值从58.60%提升至71.61%,预测为跌的F1值从58.08%提升至70.53%;最终通过与长短期记忆(LSTM)网络、基于Attention机制的LSTM(Attention-LSTM)、支持向量机(SVM)、极端梯度提升(XGBoost)等4种典型的股价涨跌预测模型结果对比,验证了所提模型的准确有效性。

PCC-BiLSTM-GRU-Attention组合模型预测方法

传统预测模型在处理多元时间序列时,常常难以捕捉其非线性动力系统的复杂变化规律导致预测精度较低.针对此问题,本文将PCC-BiLSTM-GRU-Attention组合模型的预测方法进行了探讨和验证.该方法首先使用Pearson相关系数(PCC)进行相关性检验并删除无关特征,实现了对多元数据的降维选优.其次使用双向长短期记忆神经网络(BiLSTM)双向提取时序特征.最后使用GRU神经网络融合注意力机制(Attention),进一步学习双向时序特征的变化规律,精准捕捉关键时刻的信息.为了验证该方法在多元时间序列中的可行性,本文以股票价格预测作为实验场景,并与BP模型、LSTM模型、GRU模型、BiLSTM-GRU模型、BiLSTM-GRU-Attention模型进行对比.验证结果表明:本文探讨的PCC-BiLSTM-GRU-Attention组合模型的预测方法相比其他模型具有较高的预测精度,其平均绝对百分比误差(MAPE)达到了2.484%,决定系数达到了0.966.

CNN-BiLSTM-Attention模型在大规模计算系统故障预测的应用研究

大规模计算系统组成庞大且逻辑复杂,对系统的维护提出了挑战。在此以建立于山西吕梁的超级计算中心的天河二号中监控和采集到的故障日志数据作为输入量,提出一种基于HDBSCAN聚类和CNN-BiLSTM-Attention故障预测模型的大规模计算系统故障预测的方法,实现对故障节点和故障时间的预测。该方法首先对故障日志数据采用HDBSCAN聚类方法进行了分类,随后利用CNN-BiLSTM-Attention提取故障日志的时序特征。实验证明,该模型不仅具有很高的故障时间预测精度,而且故障发生节点位置预测的精度也不低于92.1%。