基于并行SDAE-Seq2Seq模型的轴承寿命预测方法

基于数据驱动的轴承寿命预测方法大多需要人工提取退化特征,而且对于不同工况下的轴承需要进行针对性优化,也是依赖专家知识和经验进行特征提取。为此,提出一种并行堆叠降噪自动编码器算法(PSDAE)来提取轴承退化特征,并结合Seq2Seq模型预测轴承剩余寿命。通过PSDAE直接对原始振动信号进行降噪、降维,得到退化特征,通过神经网络的学习和训练自动获得不同工况下的轴承退化特征。其次,引入注意力机制,将提取的特征输入Seq2Seq模型进行训练,并在PHM2012数据集上验证模型的预测效果。实验结果表明:PSDAE通过并行集成方式降低了模型的训练参数和整体误差,提取的退化特征在单调性和可预测性方面优于堆叠降噪自动编码器(SDAE),使用该退化特征有效减少了Seq2Seq模型的预测误差,提高了预测得分,具有更好的预测效果和稳定性。

基于注意力Seq2Seq神经网络的生物强化系统厌氧发酵菌体质量预测研究

生物强化厌氧发酵系统能够提高发酵效率和产物质量。然而,在生物强化甲烷厌氧发酵过程中,关键的生物参数难以实时在线测量。为了解决这一问题,提出了一种基于注意力融入Seq2Seq-LSTM模型的质量预测方法。通过编码器将时间序列数据输入,并引入注意力机制以增强对重要信息的关注,从而得到更新后的中间向量;在解码器中同样引入注意力机制,利用LSTM神经网络对当前时刻的中间向量和输入信息进行综合处理。同时,为了提高模型的稳定性,使用了Adamw梯度下降优化器进行训练。最后,将该方法与LSTM、AM-LSTM模型一同应用于甲烷发酵菌体质量预测并进行对比。实验结果表明,该模型拟合能力和预测准确性均优于其他两种模型,能够更好适用于甲烷发酵菌体质量的在线预测。

基于Seq2Seq模型的SparQL查询预测

近年来,随着以数据为中心的应用大量增加,图数据模型逐渐被人们所关注,图数据库的发展也非常迅速,对于用户而言,往往更关心其在使用数据库过程中的效率问题.主要研究如何利用已有的信息进行图数据库的查询预测,从而进行数据的预加载与缓存,提高系统的响应效率.为了使得方法具有跨数据移植性,并深入挖掘数据间的联系,将SparQL查询提取为序列的形式,使用Seq2Seq模型对其进行数据分析和预测,并使用真实的数据集对方法进行测试,实验结果表明,本方案具有良好的效果.

基于深度特征和Seq2Seq模型的网络态势预测方法

针对目前大多数的网络态势预测方法不能挖掘数据中的深度信息且需要手动提取与构造特征的问题,提出了深度特征网络态势预测方法DFS-Seq2Seq。首先将网络流、日志和系统事件等产生的数据进行清洗处理,使用深度特征融合算法自动合成深度关系特征,然后采用自动编码器对合成的特征进行提取,最后使用长短期记忆网络(LSTM)构建Seq2Seq模型对数据进行预测。通过设计缜密的实验在公开数据集Kent2016上对所提方法进行验证,结果显示在深度为2时与支持向量机(SVM)、贝叶斯、随机森林(RF)和LSTM这四种分类模型相比,其召回率分别提升了7.4%、11.5%、6.5%、3.0%。实验结果表明DFS-Seq2Seq可以在实际应用中有效地识别网络身份验证中的危险事件,对网络态势作出有效的预测。

基于注意力机制优化LSTM-Seq2seq模型的径流模拟研究

实时准确地预测中长期日径流对干旱半干旱地区水资源合理利用具有重要意义。针对长短期记忆网络(long short-term memory,LSTM)模型输入输出时间步长度相等、处理长序列遗忘多、无法按重要程度分配权重等不足,构建了一种基于注意力机制(attention mechanism,Attention)优化的LSTMSeq2seq组合模型(LSTM-Seq2seq-Attention)。该模型将序列到序列模型(sequence to sequence,Seq2seq)中编码器、解码器设置为三层LSTM结构,并在解码器输出序列前引入注意力机制对模型进一步优化。为验证LSTM-Seq2seq-Attention模型的有效性,本研究以党河上游为研究区域,基于历史数据对流域未来1~7 d的日径流进行模拟预测;预测结果与传统的机器学习模型支持向量机(support vector machines,SVM)以及单一的LSTM模型预测结果进行了对比。结果表明:SVM、LSTM和LSTMSeq2seq-Attention模型均可用于短期日径流预测;但相比之下,LSTM-Seq2seq-Attention模型在中长期日径流预测中的预测效果更突出。说明LSTM-Seq2seq-Attention模型较单一模型具备更强的预测能力,可作为干旱半干旱地区中长期日径流预测模拟的可靠工具。

基于LightGBM-Seq2Seq的异常天气下的风电功率预测

异常天气下新能源出力剧烈变化会严重威胁电网的安全运行,针对气象因素的异常变化导致的风电功率预测准确率低的问题,文章提出了一种基于LightGBM-Seq2Seq的异常天气下的风电功率预测方法。首先,由于目前新能源发电中缺乏有关异常天气的定量判据,文中设计了异常天气判别标准,并采用多尺度滑动窗口进行异常样本提取。其次,针对异常天气下气象波动和功率波动的匹配性差、风电出力情况难以估测的问题,提出基于LightGBM的功率基准值预测模型计算异常天气下的基准功率,同时针对异常气象波动引起的实际功率与基准功率的偏差,提出基于Seq2Seq的功率增量预测模型,通过功率增量对功率基准值进行修正,以实现异常时段的风电功率预测。最后通过实际算例验证了所提方法能够有效提高异常天气下的风电功率预测精度。

基于Seq2Seq深度学习方法的气象预警纠错模型研究

针对全国气象预警信息发布语义类错误,研发一种预警信息纠错模型。通过建立全国气象历史预警信息语料库,训练基于Seq2Seq深度学习方法的纠错模型,并与基于统计方法的规则模型相互验证,形成预警预报信息合法性监测质控平台,构建“智能语义分析+人工验证”的质控业务流程,实现敏感词的快速定位与提醒。预警质控平台业务应用后,信息内容错情率较上一年降低70%,语义纠错效果显著。

基于Seq2Seq深度学习模型的焦炉煤气发生量预测方法研究

为实现钢铁生产过程中副产煤气的精准预测,构建了基于序列到序列的深度学习模型.通过编码器计算输入序列的隐状态得到隐状态矩阵,并通过解码器对其进行解码得到预测结果.根据灰色关联度分析关联度较高的输入参数,针对钢铁生产中煤气产量不稳定波动的特点,利用箱线图和hampel滤波对原始数据的极端异常点和突变点进行处理,对输入模型分别进行单步和多步预测.结果表明:单步预测时基于Seq2Seq结构的模型较单一模型预测性能有所提高,其中LSTM2GRU模型对峰谷值拟合表现最优;多步预测时LSTM2GRU模型可有效降低模型性能下降趋势,通过在2个数据集与LSTM2LSTM模型和GRU2GRU模型对比发现,LSTM2GRU模型均方根误差分别下降了5.3%、5.6%和9%、7.7%,平均绝对误差分别下降了7.3%、7%和9.7%、7.8%.因此,LSTM2GRU模型相比其他模型更适合长尺度时间序列的预测,在模型中引入GRU结构提高了预测精度,缩短了预测耗时.

基于股票预测的Seq2Seq RNN和LSTM模型比较

股票作为金融市场的重要组成部分,股市的波动与市场经济息息相关。对于股票价格的各种分析预测问题伴随着金融市场的建立一直存在,为此本文使用上证A股50的历史交易数据作为研究对象,对其进行短期价格趋势预测分析。依照交易数据各自特点,选取递归神经网络(RNN)、长短时间记忆网络(LSTM)和Seq2Seq及其优化模型4种神经网络结构,进行验证比较。经过实证研究,结合误差指标和交易绩效等展示模型预测精度和预测效果,最后得出基于Seq2Seq的深度神经网络模型具有较好的预测精度。并且通过使用多种深度学习方法,从金融市场的历史交易数据中发现当前市场中潜在的获利机会,指导机构和个人投资者进行更好的投资行为。

基于小波去噪和LSTM的Seq2Seq水质预测模型

建立水质模型预测水质变化是保障饮用水安全、人类健康和维持生态平衡的关键.本文提出了基于小波分解去噪和LSTM的双层双向Seq2Seq混合模型(W-Bi2Seq2Seq)来预测水质的变化.使用Daubechies5 (db5)小波将数据集分解为低频序列和高频序列,高频序列作为噪声去除,仅保留低频信号用作所提出模型的输入.选取了烟台市门楼水库的4项水质指标数据(pH、氨氮、电导率和浊度)用于模型的训练,验证和测试.所提出的小波双层双向模型(Bi2)与小波单层单向模型(Uni1)、小波单层双向模型(Bi1)、小波双层单向模型(Uni2)、传统的LSTM模型以及基于小波分解的LSTM模型(W-LSTM),进行比较实验.其实验结果显示,在训练过程中, 4个Seq2Seq模型都具有很好的性能,都能够很好拟合4项水质指标的历史数据集.然而,测试结果表明, Bi2在预测精度和泛化能力方面优于其他5个模型,并且显著提高复杂度较高的水质数据的预测精度.

基于LSTM与seq2seq模型的短期电力负荷预测方法

为了提高短期负荷预测的精度,利用长短期记忆(Long Short-Term Memory,LSTM)与seq2seq(sequence to sequence)模型预测短期电力负荷。根据电力负荷数据的组成结构和产生原理,收集历史负荷数据,通过缺失补全、归一化等步骤,完成初始收集数据的预处理。构建LSTM与seq2seq模型,利用该模型提取历史电力负荷数据特征,推导出电力负荷数据的变化规律。综合考虑了各因素对电网的影响,得到了电网的短期负荷预测结果。实验结果证明,与传统预测方法相比,在工作日和休息日中,优化设计预测方法的平均误差分别降低了5.64 kW·h和3.53 kW·h,提高了电力负荷预测精度。

用于云资源负载预测的Seq2seq模型

随着云计算数据量的迅速增大,对资源管理策略的要求也越来越高,而负载的预测在云资源优化配置中起着举足轻重的作用。针对云计算的负载变化兼有短期动态不确定性与长期统计规律的稳定性,利用经过改进的Seq2seq模型,可通过采集一段时间内的历史负载信息,对负载时间序列数据进行建模,以实现较为准确的未来一段时间的负载预测,并通过dropout来提高模型的泛化能力。经实验分析改进后,Seq2seq模型较原Seq2seq模型在资源负载较长期预测上的准确率有很大提升。

引入小波分解的Seq2Seq水质多步预测模型研究

针对现有水质预测模型对水质多步预测大多采用向量输出的预测模式,忽略了时序预测的输出之间存在的时序联系,导致水质多步预测性能较差的问题,采用小波分解(WD)分解水质数据来提取隐藏的水质特征,然后基于分解所得的序列,建立以长短时记忆(LSTM)网络作为编码器和解码器的序列到序列(Seq2Seq)的预测模型,以期望解决时序预测的输出序列之间存在的依赖性问题。采用珠江流域老口站的溶解氧数据验证模型进行7日预测的效果,实验结果表明,LSTM模型处理该问题的能力要强于传统的MLP及SVR模型,而在LSTM模型的基础上构成的WD-Seq2Seq模型的预测效果进一步提升,溶解氧的7日预测平均MAE仅有0.1471,7日预测平均MSE仅有0.0412,7日预测平均RMSE仅有0.1973,水质类别的7日预测平均准确率达到93.26%。

基于VMD-Seq2seq模型的扬声器短期寿命预测研究

随着音频载体设备的发展,扬声器在向着体积小、功率大的趋势发展,长时间工作在大信号驱动时音圈发热严重,会出现音圈断路等热损坏问题,通过对扬声器电参量数据的预测,可以降低功放功率等方法保护音圈,延长使用寿命。针对功率试验中扬声器电参量数据的时序特性,提高预测准确率,提出一种基于变分模态分解(variational mode decomposition,VMD)和编解码器(sequence to sequence,Seq2seq)模型的扬声器电参量多步预测方法。该方法首先使用VMD将原始数据进行分解,降低数据的非平稳性,利用分解后的数据构建训练集并使用Seq2seq网络模型进行训练和多步预测。仿真结果表明,所提出的预测模型在单步预测情况下,模型评价指标均方根误差(RMSE)为0.044、平均绝对百分比误差(MAPE)为0.15%、决定系数(R^(2))为0.94,在五步预测的情况下,模型评价指标RMSE为0.05、MAPE为0.17%、R^(2)为0.92,均优于其余对比模型,表明所提出模型的精度更高。

基于LSTM-Seq2Seq的兔舍环境多参数预测

为解决传统兔舍环境参数预测方法忽略环境参数间耦合关系的问题,提出了基于LSTM的Seq2Seq兔舍环境多参数关联序列预测模型。在建模过程中,使用双层LSTM作为Seq2Seq结构的编码器和解码器,以提高环境参数预测模型的表征能力及预测精度,而Seq2Seq结构不仅能够有效提取兔舍环境参数序列自身时间相关性,还能够挖掘参数间的耦合关系。利用该模型对浙江省嵊州市某兔场兔舍环境数据进行实验及预测。结果显示,该兔舍环境多参数预测模型取得了良好的预测性能,分别与标准LSTM、标准SVR模型对比分析,温度预测精度分别提高28.41%和48.60%,相对湿度预测精度分别提高9.84%和56.08%,二氧化碳浓度预测精度分别提高5.39%和11.19%。表明所提出的兔舍环境多参数预测模型能够充分挖掘关联环境参数序列间的耦合关系,满足兔舍环境数据精准预测的需要。

基于L-S-Seq2Seq的双通道超短期电力负荷预测

针对传统方法在电力负荷预测中的输入序列长度选择问题与特征提取能力弱的问题,文章提出了一种同时接受长序列和短序列输入的双通道L-S-Seq2Seq超短期负荷预测模型。该模型主要由处理长序列输入的L-Seq2Seq通道和处理短序列输入的S-Seq2Seq通道组成,2个通道的编码器均使用C-CNN-LSTM融合电力负荷的全局特征和局部特征,并生成相关的隐藏向量。通过引入注意力机制使解码器在预测不同时间负荷时关注不同时刻的隐藏向量,其中L-Seq2Seq解码器采用基于周期和时变的CC-B注意力机制,S-Seq2Seq解码器采用基于时变的C-B注意力机制,最后通过融合2种解码器的结果输出超短期电力负荷预测值。对该模型进行了公开数据集上的验证,实验结果表明,与其他对比模型相比,文章提出的模型在MAE、RMSE、MAPE指标上分别至少降低了14.58%、7.28%、16.64%,而且R2达到了0.994 5。

基于时空注意力-Seq2Seq网络的ISAR包络对齐方法

包络对齐是逆合成孔径雷达(Inverse Synthetic Aperture Radar,ISAR)成像中平动补偿处理的第一步,包络对齐的精度对于方位聚焦和成像质量具有重要影响。针对稀疏孔径和低信噪比条件下传统的包络对齐算法性能显著降低的问题,本文提出一种基于时空注意力-Seq2Seq网络的包络对齐方法。该网络模型以门控循环单元为编码解码单元,针对点目标距离像包络的能量分布特征对空间注意力机制进行改进后,添加时间和空间两维注意力机制形成对ISAR距离像回波包络进行对齐的能力。数据生成方面,基于电磁波仿真参数和目标运动仿真参数进行成像模拟仿真构造了ISAR回波数据集,经过8倍插值后输入网络进行训练,使网络学习到从未对齐回波到对齐回波的映射关系。所提方法以离线训练代替在线相关计算,融合了Seq2Seq模型在处理序列到序列问题上的结构优势、时间注意力机制在捕捉长期依赖关系和空间注意力机制在提取区域特征上的突出能力,实现了稀疏孔径和低信噪比条件下对距离-慢时间域ISAR回波的自动对齐。通过向训练好的时空注意力-Seq2Seq网络输入未对齐的回波序列,网络可以在不改变回波相位结构的前提下自动实现包络对齐。仿真和实测数据对齐结果表明,和传统的包络对齐方法相比,所提方法在稀疏孔径和低信噪比条件下优势明显,在欠采样率为50%、信噪比为0 dB条件下对雅克-42飞机实测回波数据的包络对齐实验中,该方法将循环移位误差由39、26减小至6,将成像结果的图像熵由4.58、4.22减小至1.71,验证了其良好性能。

基于seq2seq模型的民航报文智能纠错研究

针对民航报文在传输过程中,存在人为或者环境影响,导致出现错误,尤其是航路字段出现错误的现象,提出了一种基于seq2seq模型的深度学习方法,发现并纠正航路中存在的多点、少点、错点或混合错误的报文错误。并在seq2seq模型中加入attention机制,解决模型的输入输出序列不对应问题,有效提高了纠错得准确率。通过仿真实验验证了结合注意力机制的条件生成模型可以有效地发现并纠正报文中的航路错误,有效地减少管制员的压力,提高了航空安全性。

基于改进seq2seq模型的英汉翻译研究

目前机器翻译主要对印欧语系进行优化与评测,很少有对中文进行优化的,而且机器翻译领域效果最好的基于注意力机制的神经机器翻译模型—seq2seq模型也没有考虑到不同语言间语法的变换。提出一种优化的英汉翻译模型,使用不同的文本预处理和嵌入层参数初始化方法,并改进seq2seq模型结构,在编码器和解码器之间添加一层用于语法变化的转换层。通过预处理,能缩减翻译模型的参数规模和训练时间20%,且翻译性能提高0.4BLEU。使用转换层的seq2seq模型在翻译性能上提升0.7~1.0BLEU。实验表明,在规模大小不同的语料英汉翻译任务中,该模型与现有的基于注意力机制的seq2seq主流模型相比,训练时长一致,性能提高了1~2BLEU。

基于Seq2Seq模型的命名实体识别方法

本文针对传统命名实体识别方法中存在严重依赖大量人工特征导致文本特征表示不充分的问题,提出一种基于Seq2Seq模型的命名实体识别方法。利用BRET预训练模型动态生成字的语义向量,通过Seq2Seq模型中的编码器对字向量进行编码,并引入注意力机制为词语分配权重,从而获取文本局部特征和全局特征。最后,将得到的特征输入到解码器中,通过softmax层预测序列标签。实验结果表明,该方法在准确率、召回率与F1值上均有所提升,具有良好的适用性。