具有活跃节点的多层网络作用下时滞SEQS模型分析

疾病传播的研究使得对疫情分布和发展的预测更为准确。现有的疾病传播模型对不同城市间流动人口对疾病传播造成的影响研究较少,为此,该文提出了具有活跃节点的多层网络作用下的时滞SEQS(Susceptible-Exposed-Quarantined-Susceptible)模型。其中,时滞SEQS重点研究疾病潜伏期、恢复期及恢复后可再次感染等特性对传播行为的影响,模型中每层静态网络表示不同城市的社交网络,活跃节点表示城市间流动人口,活跃节点的存在使得该多层网络具有时变性,同时模型引入检测机制,以隔离态节点为中心,对在其检测半径内的邻接节点进行检测。研究表明,该模型的传播行为最终演化状态存在3种主要模式:稳态、周期性振荡和非周期性振荡,在能有效降低疾病传染率的情况下,划定精准检测范围可有效控制疾病大规模传播。

基于并行SDAE-Seq2Seq模型的轴承寿命预测方法

基于数据驱动的轴承寿命预测方法大多需要人工提取退化特征,而且对于不同工况下的轴承需要进行针对性优化,也是依赖专家知识和经验进行特征提取。为此,提出一种并行堆叠降噪自动编码器算法(PSDAE)来提取轴承退化特征,并结合Seq2Seq模型预测轴承剩余寿命。通过PSDAE直接对原始振动信号进行降噪、降维,得到退化特征,通过神经网络的学习和训练自动获得不同工况下的轴承退化特征。其次,引入注意力机制,将提取的特征输入Seq2Seq模型进行训练,并在PHM2012数据集上验证模型的预测效果。实验结果表明:PSDAE通过并行集成方式降低了模型的训练参数和整体误差,提取的退化特征在单调性和可预测性方面优于堆叠降噪自动编码器(SDAE),使用该退化特征有效减少了Seq2Seq模型的预测误差,提高了预测得分,具有更好的预测效果和稳定性。

基于注意力Seq2Seq神经网络的生物强化系统厌氧发酵菌体质量预测研究

生物强化厌氧发酵系统能够提高发酵效率和产物质量。然而,在生物强化甲烷厌氧发酵过程中,关键的生物参数难以实时在线测量。为了解决这一问题,提出了一种基于注意力融入Seq2Seq-LSTM模型的质量预测方法。通过编码器将时间序列数据输入,并引入注意力机制以增强对重要信息的关注,从而得到更新后的中间向量;在解码器中同样引入注意力机制,利用LSTM神经网络对当前时刻的中间向量和输入信息进行综合处理。同时,为了提高模型的稳定性,使用了Adamw梯度下降优化器进行训练。最后,将该方法与LSTM、AM-LSTM模型一同应用于甲烷发酵菌体质量预测并进行对比。实验结果表明,该模型拟合能力和预测准确性均优于其他两种模型,能够更好适用于甲烷发酵菌体质量的在线预测。

基于Seq2Seq深度学习模型的焦炉煤气发生量预测方法研究

为实现钢铁生产过程中副产煤气的精准预测,构建了基于序列到序列的深度学习模型.通过编码器计算输入序列的隐状态得到隐状态矩阵,并通过解码器对其进行解码得到预测结果.根据灰色关联度分析关联度较高的输入参数,针对钢铁生产中煤气产量不稳定波动的特点,利用箱线图和hampel滤波对原始数据的极端异常点和突变点进行处理,对输入模型分别进行单步和多步预测.结果表明:单步预测时基于Seq2Seq结构的模型较单一模型预测性能有所提高,其中LSTM2GRU模型对峰谷值拟合表现最优;多步预测时LSTM2GRU模型可有效降低模型性能下降趋势,通过在2个数据集与LSTM2LSTM模型和GRU2GRU模型对比发现,LSTM2GRU模型均方根误差分别下降了5.3%、5.6%和9%、7.7%,平均绝对误差分别下降了7.3%、7%和9.7%、7.8%.因此,LSTM2GRU模型相比其他模型更适合长尺度时间序列的预测,在模型中引入GRU结构提高了预测精度,缩短了预测耗时.

基于Seq2Seq模型的工作流动态调度多目标进化算法

将数据处理类工作流在云计算环境下的调度问题建模为动态多目标优化问题,同时为了解决静态多目标优化算法在环境参数动态变化下可能出现的种群多样性缺失问题,在NSGA-II算法的基础上结合Seq2Seq深度学习模型,提出了DNSGA-II-Seq2Seq算法,算法通过Seq2Seq模型学习连续历史环境下局部最优解的变化规律,在环境变化时预测新的解并将其加入NSGA-II算法的种群中,以解决多样性缺失问题,同时加速算法收敛。在改进的WorkflowSim上进行的实验表明,与其他经典的算法相比,DNSGA-II-Seq2Seq算法预测的解和最终结果在多项指标上均优于其他算法,验证了算法的有效性。

基于VMD-Seq2seq模型的扬声器短期寿命预测研究

随着音频载体设备的发展,扬声器在向着体积小、功率大的趋势发展,长时间工作在大信号驱动时音圈发热严重,会出现音圈断路等热损坏问题,通过对扬声器电参量数据的预测,可以降低功放功率等方法保护音圈,延长使用寿命。针对功率试验中扬声器电参量数据的时序特性,提高预测准确率,提出一种基于变分模态分解(variational mode decomposition,VMD)和编解码器(sequence to sequence,Seq2seq)模型的扬声器电参量多步预测方法。该方法首先使用VMD将原始数据进行分解,降低数据的非平稳性,利用分解后的数据构建训练集并使用Seq2seq网络模型进行训练和多步预测。仿真结果表明,所提出的预测模型在单步预测情况下,模型评价指标均方根误差(RMSE)为0.044、平均绝对百分比误差(MAPE)为0.15%、决定系数(R^(2))为0.94,在五步预测的情况下,模型评价指标RMSE为0.05、MAPE为0.17%、R^(2)为0.92,均优于其余对比模型,表明所提出模型的精度更高。

基于大感知域LSTM-Seq2Seq模型的代码缺陷检测方法

针对现有基于深度神经网络的代码缺陷检测方法无法分析缺陷特征并输出相关评审建议的问题,提出一种基于大感知域LSTM-Seq2Seq模型的代码缺陷检测方法。首先,使用长短期记忆网络(LSTM,long short-term memory)学习缺陷代码的编码特征,建立缺陷判别模型。其次,针对模型与数据集不匹配的问题,向序列到序列模型(Seq2Seq,sequence to sequence)引入代码段长度系数,提升模型对代码评审任务的适用度;通过建立代码缺陷特征与评审建议特征间的映射关系建立了代码分析模型,实现评审输出功能。最后,利用公开数据集SARD对该方法进行了验证,该方法在准确率、召回率、F1值方面的测试结果分别为92.50%、87.20%、87.60%,典型代码缺陷输出的评审文本与专家评审的文本相似度为85.99%,可有效减少评审过程对专家经验的依赖。

基于LSTM与seq2seq模型的短期电力负荷预测方法

为了提高短期负荷预测的精度,利用长短期记忆(Long Short-Term Memory,LSTM)与seq2seq(sequence to sequence)模型预测短期电力负荷。根据电力负荷数据的组成结构和产生原理,收集历史负荷数据,通过缺失补全、归一化等步骤,完成初始收集数据的预处理。构建LSTM与seq2seq模型,利用该模型提取历史电力负荷数据特征,推导出电力负荷数据的变化规律。综合考虑了各因素对电网的影响,得到了电网的短期负荷预测结果。实验结果证明,与传统预测方法相比,在工作日和休息日中,优化设计预测方法的平均误差分别降低了5.64 kW·h和3.53 kW·h,提高了电力负荷预测精度。

基于Seq2Seq模型的SparQL查询预测

近年来,随着以数据为中心的应用大量增加,图数据模型逐渐被人们所关注,图数据库的发展也非常迅速,对于用户而言,往往更关心其在使用数据库过程中的效率问题.主要研究如何利用已有的信息进行图数据库的查询预测,从而进行数据的预加载与缓存,提高系统的响应效率.为了使得方法具有跨数据移植性,并深入挖掘数据间的联系,将SparQL查询提取为序列的形式,使用Seq2Seq模型对其进行数据分析和预测,并使用真实的数据集对方法进行测试,实验结果表明,本方案具有良好的效果.

基于深度特征和Seq2Seq模型的网络态势预测方法

针对目前大多数的网络态势预测方法不能挖掘数据中的深度信息且需要手动提取与构造特征的问题,提出了深度特征网络态势预测方法DFS-Seq2Seq。首先将网络流、日志和系统事件等产生的数据进行清洗处理,使用深度特征融合算法自动合成深度关系特征,然后采用自动编码器对合成的特征进行提取,最后使用长短期记忆网络(LSTM)构建Seq2Seq模型对数据进行预测。通过设计缜密的实验在公开数据集Kent2016上对所提方法进行验证,结果显示在深度为2时与支持向量机(SVM)、贝叶斯、随机森林(RF)和LSTM这四种分类模型相比,其召回率分别提升了7.4%、11.5%、6.5%、3.0%。实验结果表明DFS-Seq2Seq可以在实际应用中有效地识别网络身份验证中的危险事件,对网络态势作出有效的预测。

基于seq2seq模型的民航报文智能纠错研究

针对民航报文在传输过程中,存在人为或者环境影响,导致出现错误,尤其是航路字段出现错误的现象,提出了一种基于seq2seq模型的深度学习方法,发现并纠正航路中存在的多点、少点、错点或混合错误的报文错误。并在seq2seq模型中加入attention机制,解决模型的输入输出序列不对应问题,有效提高了纠错得准确率。通过仿真实验验证了结合注意力机制的条件生成模型可以有效地发现并纠正报文中的航路错误,有效地减少管制员的压力,提高了航空安全性。

基于改进seq2seq模型的英汉翻译研究

目前机器翻译主要对印欧语系进行优化与评测,很少有对中文进行优化的,而且机器翻译领域效果最好的基于注意力机制的神经机器翻译模型—seq2seq模型也没有考虑到不同语言间语法的变换。提出一种优化的英汉翻译模型,使用不同的文本预处理和嵌入层参数初始化方法,并改进seq2seq模型结构,在编码器和解码器之间添加一层用于语法变化的转换层。通过预处理,能缩减翻译模型的参数规模和训练时间20%,且翻译性能提高0.4BLEU。使用转换层的seq2seq模型在翻译性能上提升0.7~1.0BLEU。实验表明,在规模大小不同的语料英汉翻译任务中,该模型与现有的基于注意力机制的seq2seq主流模型相比,训练时长一致,性能提高了1~2BLEU。

基于Seq2Seq模型的命名实体识别方法

本文针对传统命名实体识别方法中存在严重依赖大量人工特征导致文本特征表示不充分的问题,提出一种基于Seq2Seq模型的命名实体识别方法。利用BRET预训练模型动态生成字的语义向量,通过Seq2Seq模型中的编码器对字向量进行编码,并引入注意力机制为词语分配权重,从而获取文本局部特征和全局特征。最后,将得到的特征输入到解码器中,通过softmax层预测序列标签。实验结果表明,该方法在准确率、召回率与F1值上均有所提升,具有良好的适用性。

基于Seq2Seq模型的自定义古诗生成

当前,古诗句生成任务大多基于单一的循环神经网络(RNN)结构,在生成时需事先给定一个起始字,然后以该起始字为基础进行古诗句生成,生成过程的可控性较差,往往达不到预期效果。针对以上问题,将注意力机制引入Seq2Seq模型,通过自建的数据集进行训练,实现了基于关键字的自定义古诗句生成。在生成阶段,首先输入一段描述性内容,并从中提取出关键字。当关键字不足时,使用word2vec进行有效的关键字补全操作。此外,针对古诗体裁难以控制问题,在Seq2Seq模型中的Encoder端增加格式控制符,有效解决了以往模型在生成古诗时,体裁选择的随机性问题。实验表明,所提出的模型较好地达到了预期的生成效果。

基于改进Seq2Seq-Attention模型的文本摘要生成方法

针对文本摘要生成中词汇语义表达不准确,重复生成以及核心词丢失等问题,提出了一种混合式文本摘要自动生成方法进行摘要抽取,并通过Seq2Seq-Attention模型进行文本摘要生成,在注意力机制中加入核心词,结合指针网络生成模型,该模型可以通过核心词中的重要信息,构建出摘要框架,生成信息全面精炼的文章摘要。解决重复生成以及核心词丢失等问题,文本词汇语义表达准确率明显提高,使得生成的摘要更加流畅。将模型混合进行实验,模型实验数据表明,BERT⁃SUM+Seq2Seq-Attention模型相比于传统模型ROUGE平均值提高了1.6%,混合模型的文本摘要自动生成技术能够提取文本数据中的关键词,形成简单有效的文本段落。

基于Seq2seq模型的推荐应用研究

日常生活的信息纷繁复杂,因此需要推荐系统来帮助人们进行信息筛选。传统的推荐系统将推荐过程看成是静态的,缺少对序列数据短期或长期的依赖关系的研究。循环神经网络由于在处理序列化数据时有突出的表现,因此可应用到具有序列特征的推荐数据中。文中采用循环神经网络的seq2seq模型来构造这种推荐系统,将推荐过程看作一个序列的翻译过程或答案生成的过程,利用大量用户以往的交互数据,找出其中的频繁模式,将其应用到其他用户对物品的行为预测中。实验在两个常用数据集上进行,使用BLEU衡量推荐结果,实验结果表明:该方法可以做出序列化的推荐。该方法只需要用户和物品的互动数据,摆脱了评分矩阵,避免了数据稀疏性的问题。

基于小波去噪和LSTM的Seq2Seq水质预测模型

建立水质模型预测水质变化是保障饮用水安全、人类健康和维持生态平衡的关键.本文提出了基于小波分解去噪和LSTM的双层双向Seq2Seq混合模型(W-Bi2Seq2Seq)来预测水质的变化.使用Daubechies5 (db5)小波将数据集分解为低频序列和高频序列,高频序列作为噪声去除,仅保留低频信号用作所提出模型的输入.选取了烟台市门楼水库的4项水质指标数据(pH、氨氮、电导率和浊度)用于模型的训练,验证和测试.所提出的小波双层双向模型(Bi2)与小波单层单向模型(Uni1)、小波单层双向模型(Bi1)、小波双层单向模型(Uni2)、传统的LSTM模型以及基于小波分解的LSTM模型(W-LSTM),进行比较实验.其实验结果显示,在训练过程中, 4个Seq2Seq模型都具有很好的性能,都能够很好拟合4项水质指标的历史数据集.然而,测试结果表明, Bi2在预测精度和泛化能力方面优于其他5个模型,并且显著提高复杂度较高的水质数据的预测精度.

基于seq2seq模型的心理咨询对话系统的研究

随着互联网的发展,深度神经网络、语言建模和语言生成的最新进展为人工智能领域引入了新的思想。因此,深度神经模型,如序列到序列,记忆网络已经成为最先进的对话系统的关键成分。对话系统结合深度学习将成为该领域的一个研究热点。本系统使用python作为开发语言,选用开源的文本语料库并结合seq2seq模型的方法,系统设计遵循代码模块化的思路实现心理咨询对话服务。本文首先回顾了对话系统的研究工作,并且介绍了相关技术和系统的整体框架以及对话建模中使用的方法,最后总结并展望了未来可能的发展趋势。

用于云资源负载预测的Seq2seq模型

随着云计算数据量的迅速增大,对资源管理策略的要求也越来越高,而负载的预测在云资源优化配置中起着举足轻重的作用。针对云计算的负载变化兼有短期动态不确定性与长期统计规律的稳定性,利用经过改进的Seq2seq模型,可通过采集一段时间内的历史负载信息,对负载时间序列数据进行建模,以实现较为准确的未来一段时间的负载预测,并通过dropout来提高模型的泛化能力。经实验分析改进后,Seq2seq模型较原Seq2seq模型在资源负载较长期预测上的准确率有很大提升。

引入小波分解的Seq2Seq水质多步预测模型研究

针对现有水质预测模型对水质多步预测大多采用向量输出的预测模式,忽略了时序预测的输出之间存在的时序联系,导致水质多步预测性能较差的问题,采用小波分解(WD)分解水质数据来提取隐藏的水质特征,然后基于分解所得的序列,建立以长短时记忆(LSTM)网络作为编码器和解码器的序列到序列(Seq2Seq)的预测模型,以期望解决时序预测的输出序列之间存在的依赖性问题。采用珠江流域老口站的溶解氧数据验证模型进行7日预测的效果,实验结果表明,LSTM模型处理该问题的能力要强于传统的MLP及SVR模型,而在LSTM模型的基础上构成的WD-Seq2Seq模型的预测效果进一步提升,溶解氧的7日预测平均MAE仅有0.1471,7日预测平均MSE仅有0.0412,7日预测平均RMSE仅有0.1973,水质类别的7日预测平均准确率达到93.26%。