基于注意力Seq2Seq神经网络的生物强化系统厌氧发酵菌体质量预测研究

生物强化厌氧发酵系统能够提高发酵效率和产物质量。然而,在生物强化甲烷厌氧发酵过程中,关键的生物参数难以实时在线测量。为了解决这一问题,提出了一种基于注意力融入Seq2Seq-LSTM模型的质量预测方法。通过编码器将时间序列数据输入,并引入注意力机制以增强对重要信息的关注,从而得到更新后的中间向量;在解码器中同样引入注意力机制,利用LSTM神经网络对当前时刻的中间向量和输入信息进行综合处理。同时,为了提高模型的稳定性,使用了Adamw梯度下降优化器进行训练。最后,将该方法与LSTM、AM-LSTM模型一同应用于甲烷发酵菌体质量预测并进行对比。实验结果表明,该模型拟合能力和预测准确性均优于其他两种模型,能够更好适用于甲烷发酵菌体质量的在线预测。

基于并行SDAE-Seq2Seq模型的轴承寿命预测方法

基于数据驱动的轴承寿命预测方法大多需要人工提取退化特征,而且对于不同工况下的轴承需要进行针对性优化,也是依赖专家知识和经验进行特征提取。为此,提出一种并行堆叠降噪自动编码器算法(PSDAE)来提取轴承退化特征,并结合Seq2Seq模型预测轴承剩余寿命。通过PSDAE直接对原始振动信号进行降噪、降维,得到退化特征,通过神经网络的学习和训练自动获得不同工况下的轴承退化特征。其次,引入注意力机制,将提取的特征输入Seq2Seq模型进行训练,并在PHM2012数据集上验证模型的预测效果。实验结果表明:PSDAE通过并行集成方式降低了模型的训练参数和整体误差,提取的退化特征在单调性和可预测性方面优于堆叠降噪自动编码器(SDAE),使用该退化特征有效减少了Seq2Seq模型的预测误差,提高了预测得分,具有更好的预测效果和稳定性。

基于ALBERT-Seq2Seq-Attention模型的数字化档案多标签分类

针对现有的数字化档案多标签分类方法存在分类标签之间缺少关联性的问题,提出一种用于档案多标签分类的深层神经网络模型ALBERT-Seq2Seq-Attention.该模型通过ALBERT(A Little BERT)预训练语言模型内部多层双向的Transfomer结构获取进行文本特征向量的提取,并获得上下文语义信息;将预训练提取的文本特征作为Seq2Seq-Attention(Sequence to Sequence-Attention)模型的输入序列,构建标签字典以获取多标签间的关联关系.将分类模型在3种数据集上分别进行对比实验,结果表明:模型分类的效果F1值均超过90%.该模型不仅能提高档案文本的多标签分类效果,也能关注标签之间的相关关系.

基于注意力Seq2Seq模型的终端区航空器航迹预测

为充分挖掘机场终端区航空器航迹时间依赖性,解决中长期、多步长航迹预测精度不稳定的问题,引入注意力机制(attention mechanism)和教师监督(teacher forcing)中的指数衰减(exponential decay)采样方法,提出了一种基于序列到序列框架的机场终端区航迹预测模型(Seq2Seq-attention mechanism-exponential decay,SAE)。序列到序列框架实现了多步长预测,注意力机制提高解码器预测精度,指数衰减采样方法加速了训练阶段模型收敛,在一定程度上提高了模型的泛化性。最后,为了验证提出方法的有效性,利用天津终端区28架次、90 d ADS-B航迹数据构建原始数据集,以平均绝对误差(mean squared error,MAE)和均方根误差(root mean squared error,RMSE)作为模型性能评价指标,进行了航迹预测实验,实验结果表明:高度、经度和纬度在序列到序列框架中的循环神经网络分别采用LSTM、GRU和LSTM可以获得最好预测性能;以4种预测长度1、3、5和10 min进行建模,与基线模型中预测性能最好的结果比较,所提出方法在验证集上的高度、经度和纬度指标表现最优,10 min预测窗口下的平均绝对误差分别降低了66.30%、54.62%和36.59%,均方根误差分别降低了65.45%、38.16%和20.57%,同时,上述4种预测时长下所提出方法预测结果的均值和方差最小,表明随着预测时长的增加,模型预测结果的稳定性最好。此外,引入的注意力机制与指数衰减采样方法对有效捕捉航迹时间依赖性、提高模型泛化性均具有积极的贡献。

基于Seq2Seq深度学习方法的气象预警纠错模型研究

针对全国气象预警信息发布语义类错误,研发一种预警信息纠错模型。通过建立全国气象历史预警信息语料库,训练基于Seq2Seq深度学习方法的纠错模型,并与基于统计方法的规则模型相互验证,形成预警预报信息合法性监测质控平台,构建“智能语义分析+人工验证”的质控业务流程,实现敏感词的快速定位与提醒。预警质控平台业务应用后,信息内容错情率较上一年降低70%,语义纠错效果显著。

基于Seq2Seq模型的工作流动态调度多目标进化算法

将数据处理类工作流在云计算环境下的调度问题建模为动态多目标优化问题,同时为了解决静态多目标优化算法在环境参数动态变化下可能出现的种群多样性缺失问题,在NSGA-II算法的基础上结合Seq2Seq深度学习模型,提出了DNSGA-II-Seq2Seq算法,算法通过Seq2Seq模型学习连续历史环境下局部最优解的变化规律,在环境变化时预测新的解并将其加入NSGA-II算法的种群中,以解决多样性缺失问题,同时加速算法收敛。在改进的WorkflowSim上进行的实验表明,与其他经典的算法相比,DNSGA-II-Seq2Seq算法预测的解和最终结果在多项指标上均优于其他算法,验证了算法的有效性。

基于L-S-Seq2Seq的双通道超短期电力负荷预测

针对传统方法在电力负荷预测中的输入序列长度选择问题与特征提取能力弱的问题,文章提出了一种同时接受长序列和短序列输入的双通道L-S-Seq2Seq超短期负荷预测模型。该模型主要由处理长序列输入的L-Seq2Seq通道和处理短序列输入的S-Seq2Seq通道组成,2个通道的编码器均使用C-CNN-LSTM融合电力负荷的全局特征和局部特征,并生成相关的隐藏向量。通过引入注意力机制使解码器在预测不同时间负荷时关注不同时刻的隐藏向量,其中L-Seq2Seq解码器采用基于周期和时变的CC-B注意力机制,S-Seq2Seq解码器采用基于时变的C-B注意力机制,最后通过融合2种解码器的结果输出超短期电力负荷预测值。对该模型进行了公开数据集上的验证,实验结果表明,与其他对比模型相比,文章提出的模型在MAE、RMSE、MAPE指标上分别至少降低了14.58%、7.28%、16.64%,而且R2达到了0.994 5。

基于改进Seq2Seq模型的电力智能客服系统设计方法研究

随着电力用户规模不断增长、业务量不断扩大,传统客服模式已不能满足繁重的用户业务咨询需求,在此背景下设计一种精准的客户服务模式就显得至关重要。针对这一需求,文章首先提出了一种融合注意力机制+双向长短期记忆网络+双向门控循环单元(Attention+BiLSTM+BiGRU)的序列到序列(Seq2Seq)模型;然后通过对上下文语义信息的深层时序特征提取及赋权,有效提高了模型对话性能;最后通过算例仿真,实验结果从定性和定量的角度验证了所述方法具有回答效果更佳、问题识别能力更高的特点,对在线电力智能客服系统的设计和实现具有一定的参考价值。

基于时空注意力-Seq2Seq模型的多风电机组多步风速预测算法

针对在多风电机组风速预测任务中,卷积运算不适用于提取排布不规则的多风电机组空间相关性的问题,提出一种基于时空注意力-Seq2Seq模型的多风电机组多步风速预测算法。首先使用空间注意力机制强化风速序列的空间相关性,并对常规空间注意力机制进行改进;之后使用Seq2Seq模型中的编码器进行编码;最后使用结合时间注意力机制的解码器计算多风电机组的多步预测结果。以河北市某风电场的实际数据为算例进行实验,结果表明相比其他对比算法,所提算法的平均绝对误差下降约4.3%~15.0%,精度有较大提高。

基于Seq2seq模型的多特征短期母线负荷预测

母线负荷短期预测对电力系统调度运行及电力现货交易市场具有重要意义,由于母线负荷受到复杂多因素的影响,单独采用母线负荷历史数据进行预测不能取得很好的效果。为提升多因素影响下母线负荷预测的准确率,本文结合特征工程和深度学习法,对母线负荷的影响因素进行斯皮尔曼相关性分析,设计时间连续性周期编码;对Seq2seq模型的编码器和解码器设置不同的特征组进行消融实验;将实验结果与采用离散小波变换分解提取特征的方法进行对比,结果表明,本文提出的特征工程结合深度学习Seq2seq框架的母线负荷短期预测效果更佳。

基于Seq2Seq深度学习模型的焦炉煤气发生量预测方法研究

为实现钢铁生产过程中副产煤气的精准预测,构建了基于序列到序列的深度学习模型.通过编码器计算输入序列的隐状态得到隐状态矩阵,并通过解码器对其进行解码得到预测结果.根据灰色关联度分析关联度较高的输入参数,针对钢铁生产中煤气产量不稳定波动的特点,利用箱线图和hampel滤波对原始数据的极端异常点和突变点进行处理,对输入模型分别进行单步和多步预测.结果表明:单步预测时基于Seq2Seq结构的模型较单一模型预测性能有所提高,其中LSTM2GRU模型对峰谷值拟合表现最优;多步预测时LSTM2GRU模型可有效降低模型性能下降趋势,通过在2个数据集与LSTM2LSTM模型和GRU2GRU模型对比发现,LSTM2GRU模型均方根误差分别下降了5.3%、5.6%和9%、7.7%,平均绝对误差分别下降了7.3%、7%和9.7%、7.8%.因此,LSTM2GRU模型相比其他模型更适合长尺度时间序列的预测,在模型中引入GRU结构提高了预测精度,缩短了预测耗时.

基于VMD-Seq2seq模型的扬声器短期寿命预测研究

随着音频载体设备的发展,扬声器在向着体积小、功率大的趋势发展,长时间工作在大信号驱动时音圈发热严重,会出现音圈断路等热损坏问题,通过对扬声器电参量数据的预测,可以降低功放功率等方法保护音圈,延长使用寿命。针对功率试验中扬声器电参量数据的时序特性,提高预测准确率,提出一种基于变分模态分解(variational mode decomposition,VMD)和编解码器(sequence to sequence,Seq2seq)模型的扬声器电参量多步预测方法。该方法首先使用VMD将原始数据进行分解,降低数据的非平稳性,利用分解后的数据构建训练集并使用Seq2seq网络模型进行训练和多步预测。仿真结果表明,所提出的预测模型在单步预测情况下,模型评价指标均方根误差(RMSE)为0.044、平均绝对百分比误差(MAPE)为0.15%、决定系数(R^(2))为0.94,在五步预测的情况下,模型评价指标RMSE为0.05、MAPE为0.17%、R^(2)为0.92,均优于其余对比模型,表明所提出模型的精度更高。

基于大感知域LSTM-Seq2Seq模型的代码缺陷检测方法

针对现有基于深度神经网络的代码缺陷检测方法无法分析缺陷特征并输出相关评审建议的问题,提出一种基于大感知域LSTM-Seq2Seq模型的代码缺陷检测方法。首先,使用长短期记忆网络(LSTM,long short-term memory)学习缺陷代码的编码特征,建立缺陷判别模型。其次,针对模型与数据集不匹配的问题,向序列到序列模型(Seq2Seq,sequence to sequence)引入代码段长度系数,提升模型对代码评审任务的适用度;通过建立代码缺陷特征与评审建议特征间的映射关系建立了代码分析模型,实现评审输出功能。最后,利用公开数据集SARD对该方法进行了验证,该方法在准确率、召回率、F1值方面的测试结果分别为92.50%、87.20%、87.60%,典型代码缺陷输出的评审文本与专家评审的文本相似度为85.99%,可有效减少评审过程对专家经验的依赖。

基于双注意力机制的Seq2Seq短期负荷预测

针对经典的深度学习方法在多步长预测精度不高问题,提出一种基于双注意力序列到序列的短期负荷预测模型。通过自注意力机制有效提取影响负荷数据的隐藏相关因素,使模型能更好地发现负荷数据之间的规律,自适应地学习了负荷数据之间的相关特征,时间注意力机制捕获与时间相关的时序特征。经2个实际负荷数据实验,仿真结果表明,在(t+12)预测情况下,模型评价指标MAPE(Mean Absolute Percentage Error)为2.09%,较LSTM(Long Short-Term Memory)模型损失下降56.69%。验证了模型的正确性和可行性,模型较线性回归、 LSTM模型和Seq2Seq(Sequence to Sequence)模型的预测效果更好。

基于Seq2Seq模型的GRACE降尺度研究

为了克服GRACE数据低空间分辨率的局限,采用序列到序列(Seq2Seq)模型,对三种输入时间序列(地表温度、归一化植被指数和降雨)与GRACE时间序列的经验关系进行建模,将美国加利福尼亚州的GRACE数据空间分辨率由1°降尺度到0.1°。结果表明,Seq2Seq模型能获取到较为准确的时序特征与映射关系,通过遗传算法选出最佳超参数后的Seq2Seq模型,纳什系数可达0.97,均方根误差仅为0.23。通过实测地下水的验证可知,降尺度的GRACE数据与实测值有较强的相关性,相关系数最高可达0.85,能较为准确地反映地下水储量的变化。

基于LSTM与seq2seq模型的短期电力负荷预测方法

为了提高短期负荷预测的精度,利用长短期记忆(Long Short-Term Memory,LSTM)与seq2seq(sequence to sequence)模型预测短期电力负荷。根据电力负荷数据的组成结构和产生原理,收集历史负荷数据,通过缺失补全、归一化等步骤,完成初始收集数据的预处理。构建LSTM与seq2seq模型,利用该模型提取历史电力负荷数据特征,推导出电力负荷数据的变化规律。综合考虑了各因素对电网的影响,得到了电网的短期负荷预测结果。实验结果证明,与传统预测方法相比,在工作日和休息日中,优化设计预测方法的平均误差分别降低了5.64 kW·h和3.53 kW·h,提高了电力负荷预测精度。

带场景信息的新结构Seq2Seq模型研究

目前存在许多不同结构的深度学习模型适用于不同领域的时间序列分析任务,其中之一是序列到序列(Seq2Seq)模型。经典的Seq2Seq模型一般由基于循环神经网络的编码器和解码器组成,其能对时序数据在时间维度上的变化规律进行建模。为了进一步提升模型拟合时间序列的效果,在经典的Seq2Seq模型的基础上提出了三项改进。第1项改进旨在引入外部信息,第2项改进旨在提升模型的学习能力,第3项改进旨在减小模型拟合存在较大数量级变化的序列的误差。在某企业对企业服务的成交总额数据集上进行了实验,结果是这3项改进都能提升模型拟合的效果,且同时使用3项改进的提升比只用任何1项的效果好。可得出结论,所提改进能够提升Seq2Seq模型拟合有外部信息,结构复杂,且存在较大数量级变化的时间序列的效果。

基于Seq2Seq模型的SparQL查询预测

近年来,随着以数据为中心的应用大量增加,图数据模型逐渐被人们所关注,图数据库的发展也非常迅速,对于用户而言,往往更关心其在使用数据库过程中的效率问题.主要研究如何利用已有的信息进行图数据库的查询预测,从而进行数据的预加载与缓存,提高系统的响应效率.为了使得方法具有跨数据移植性,并深入挖掘数据间的联系,将SparQL查询提取为序列的形式,使用Seq2Seq模型对其进行数据分析和预测,并使用真实的数据集对方法进行测试,实验结果表明,本方案具有良好的效果.

基于LSTM-Seq2Seq的兔舍环境多参数预测

为解决传统兔舍环境参数预测方法忽略环境参数间耦合关系的问题,提出了基于LSTM的Seq2Seq兔舍环境多参数关联序列预测模型。在建模过程中,使用双层LSTM作为Seq2Seq结构的编码器和解码器,以提高环境参数预测模型的表征能力及预测精度,而Seq2Seq结构不仅能够有效提取兔舍环境参数序列自身时间相关性,还能够挖掘参数间的耦合关系。利用该模型对浙江省嵊州市某兔场兔舍环境数据进行实验及预测。结果显示,该兔舍环境多参数预测模型取得了良好的预测性能,分别与标准LSTM、标准SVR模型对比分析,温度预测精度分别提高28.41%和48.60%,相对湿度预测精度分别提高9.84%和56.08%,二氧化碳浓度预测精度分别提高5.39%和11.19%。表明所提出的兔舍环境多参数预测模型能够充分挖掘关联环境参数序列间的耦合关系,满足兔舍环境数据精准预测的需要。

基于深度特征和Seq2Seq模型的网络态势预测方法

针对目前大多数的网络态势预测方法不能挖掘数据中的深度信息且需要手动提取与构造特征的问题,提出了深度特征网络态势预测方法DFS-Seq2Seq。首先将网络流、日志和系统事件等产生的数据进行清洗处理,使用深度特征融合算法自动合成深度关系特征,然后采用自动编码器对合成的特征进行提取,最后使用长短期记忆网络(LSTM)构建Seq2Seq模型对数据进行预测。通过设计缜密的实验在公开数据集Kent2016上对所提方法进行验证,结果显示在深度为2时与支持向量机(SVM)、贝叶斯、随机森林(RF)和LSTM这四种分类模型相比,其召回率分别提升了7.4%、11.5%、6.5%、3.0%。实验结果表明DFS-Seq2Seq可以在实际应用中有效地识别网络身份验证中的危险事件,对网络态势作出有效的预测。