基于注意力Seq2Seq神经网络的生物强化系统厌氧发酵菌体质量预测研究

生物强化厌氧发酵系统能够提高发酵效率和产物质量。然而,在生物强化甲烷厌氧发酵过程中,关键的生物参数难以实时在线测量。为了解决这一问题,提出了一种基于注意力融入Seq2Seq-LSTM模型的质量预测方法。通过编码器将时间序列数据输入,并引入注意力机制以增强对重要信息的关注,从而得到更新后的中间向量;在解码器中同样引入注意力机制,利用LSTM神经网络对当前时刻的中间向量和输入信息进行综合处理。同时,为了提高模型的稳定性,使用了Adamw梯度下降优化器进行训练。最后,将该方法与LSTM、AM-LSTM模型一同应用于甲烷发酵菌体质量预测并进行对比。实验结果表明,该模型拟合能力和预测准确性均优于其他两种模型,能够更好适用于甲烷发酵菌体质量的在线预测。

基于时空注意力-Seq2Seq网络的ISAR包络对齐方法

包络对齐是逆合成孔径雷达(Inverse Synthetic Aperture Radar,ISAR)成像中平动补偿处理的第一步,包络对齐的精度对于方位聚焦和成像质量具有重要影响。针对稀疏孔径和低信噪比条件下传统的包络对齐算法性能显著降低的问题,本文提出一种基于时空注意力-Seq2Seq网络的包络对齐方法。该网络模型以门控循环单元为编码解码单元,针对点目标距离像包络的能量分布特征对空间注意力机制进行改进后,添加时间和空间两维注意力机制形成对ISAR距离像回波包络进行对齐的能力。数据生成方面,基于电磁波仿真参数和目标运动仿真参数进行成像模拟仿真构造了ISAR回波数据集,经过8倍插值后输入网络进行训练,使网络学习到从未对齐回波到对齐回波的映射关系。所提方法以离线训练代替在线相关计算,融合了Seq2Seq模型在处理序列到序列问题上的结构优势、时间注意力机制在捕捉长期依赖关系和空间注意力机制在提取区域特征上的突出能力,实现了稀疏孔径和低信噪比条件下对距离-慢时间域ISAR回波的自动对齐。通过向训练好的时空注意力-Seq2Seq网络输入未对齐的回波序列,网络可以在不改变回波相位结构的前提下自动实现包络对齐。仿真和实测数据对齐结果表明,和传统的包络对齐方法相比,所提方法在稀疏孔径和低信噪比条件下优势明显,在欠采样率为50%、信噪比为0 dB条件下对雅克-42飞机实测回波数据的包络对齐实验中,该方法将循环移位误差由39、26减小至6,将成像结果的图像熵由4.58、4.22减小至1.71,验证了其良好性能。

基于seq2seq模型的非侵入式负荷分解算法

非侵入式负荷分解对于节能减排、负荷调峰、智能用能等方面均具有重要的现实意义。针对目前非侵入式负荷分解方法在低频采样条件下(1 Hz及以下)分解准确率较低的问题,提出了一种基于卷积神经网络(convolution netural network,CNN)与长短期记忆网络(long short-term memory,LSTM)相结合的seq2seq的非侵入式负荷分解算法(seq2seq based on CNN and LSTM,seq2seqBCL)。该深度学习模型将功率时间序列作为网络的输入,通过CNN做特征提取。考虑到电力数据的时序性,增加了LSTM层进行电器识别,相比于NILMTK中seq2seq模型降低了网络层数,简化了网络结构。在REDD数据集上对算法性能进行了评估,所提出的算法提升了整个网络系统的性能,与FHMM、CO和传统seq2seq算法相比,负荷分解准确率有明显提升。

基于ALBERT-Seq2Seq-Attention模型的数字化档案多标签分类

针对现有的数字化档案多标签分类方法存在分类标签之间缺少关联性的问题,提出一种用于档案多标签分类的深层神经网络模型ALBERT-Seq2Seq-Attention.该模型通过ALBERT(A Little BERT)预训练语言模型内部多层双向的Transfomer结构获取进行文本特征向量的提取,并获得上下文语义信息;将预训练提取的文本特征作为Seq2Seq-Attention(Sequence to Sequence-Attention)模型的输入序列,构建标签字典以获取多标签间的关联关系.将分类模型在3种数据集上分别进行对比实验,结果表明:模型分类的效果F1值均超过90%.该模型不仅能提高档案文本的多标签分类效果,也能关注标签之间的相关关系.

基于并行SDAE-Seq2Seq模型的轴承寿命预测方法

基于数据驱动的轴承寿命预测方法大多需要人工提取退化特征,而且对于不同工况下的轴承需要进行针对性优化,也是依赖专家知识和经验进行特征提取。为此,提出一种并行堆叠降噪自动编码器算法(PSDAE)来提取轴承退化特征,并结合Seq2Seq模型预测轴承剩余寿命。通过PSDAE直接对原始振动信号进行降噪、降维,得到退化特征,通过神经网络的学习和训练自动获得不同工况下的轴承退化特征。其次,引入注意力机制,将提取的特征输入Seq2Seq模型进行训练,并在PHM2012数据集上验证模型的预测效果。实验结果表明:PSDAE通过并行集成方式降低了模型的训练参数和整体误差,提取的退化特征在单调性和可预测性方面优于堆叠降噪自动编码器(SDAE),使用该退化特征有效减少了Seq2Seq模型的预测误差,提高了预测得分,具有更好的预测效果和稳定性。

基于注意力机制优化LSTM-Seq2seq模型的径流模拟研究

实时准确地预测中长期日径流对干旱半干旱地区水资源合理利用具有重要意义。针对长短期记忆网络(long short-term memory,LSTM)模型输入输出时间步长度相等、处理长序列遗忘多、无法按重要程度分配权重等不足,构建了一种基于注意力机制(attention mechanism,Attention)优化的LSTMSeq2seq组合模型(LSTM-Seq2seq-Attention)。该模型将序列到序列模型(sequence to sequence,Seq2seq)中编码器、解码器设置为三层LSTM结构,并在解码器输出序列前引入注意力机制对模型进一步优化。为验证LSTM-Seq2seq-Attention模型的有效性,本研究以党河上游为研究区域,基于历史数据对流域未来1~7 d的日径流进行模拟预测;预测结果与传统的机器学习模型支持向量机(support vector machines,SVM)以及单一的LSTM模型预测结果进行了对比。结果表明:SVM、LSTM和LSTMSeq2seq-Attention模型均可用于短期日径流预测;但相比之下,LSTM-Seq2seq-Attention模型在中长期日径流预测中的预测效果更突出。说明LSTM-Seq2seq-Attention模型较单一模型具备更强的预测能力,可作为干旱半干旱地区中长期日径流预测模拟的可靠工具。

基于LightGBM-Seq2Seq的异常天气下的风电功率预测

异常天气下新能源出力剧烈变化会严重威胁电网的安全运行,针对气象因素的异常变化导致的风电功率预测准确率低的问题,文章提出了一种基于LightGBM-Seq2Seq的异常天气下的风电功率预测方法。首先,由于目前新能源发电中缺乏有关异常天气的定量判据,文中设计了异常天气判别标准,并采用多尺度滑动窗口进行异常样本提取。其次,针对异常天气下气象波动和功率波动的匹配性差、风电出力情况难以估测的问题,提出基于LightGBM的功率基准值预测模型计算异常天气下的基准功率,同时针对异常气象波动引起的实际功率与基准功率的偏差,提出基于Seq2Seq的功率增量预测模型,通过功率增量对功率基准值进行修正,以实现异常时段的风电功率预测。最后通过实际算例验证了所提方法能够有效提高异常天气下的风电功率预测精度。

基于seq2seq和SVM双层融合的非侵入式用户异常行为检测

以非侵入式负荷分解为基础,对用户异常用电行为进行研究。采用Kmeans聚类算法提取负荷状态特征;采用深度学习算法中的序列到序列翻译(sequence to sequence, seq2seq)模型,将电力用户用电总数据分解成单个电器的功耗数据;结合SVM算法对分解后多种家用电器用电数据进行异常检测。在UKDALE数据集实验结果表明,该模型不仅能提高分解准确度、降低分解误差,而且多个电器数据结合分析实现了用户异常行为检测。

基于Seq2Seq深度学习方法的气象预警纠错模型研究

针对全国气象预警信息发布语义类错误,研发一种预警信息纠错模型。通过建立全国气象历史预警信息语料库,训练基于Seq2Seq深度学习方法的纠错模型,并与基于统计方法的规则模型相互验证,形成预警预报信息合法性监测质控平台,构建“智能语义分析+人工验证”的质控业务流程,实现敏感词的快速定位与提醒。预警质控平台业务应用后,信息内容错情率较上一年降低70%,语义纠错效果显著。

基于改进Seq2Seq模型的电力智能客服系统设计方法研究

随着电力用户规模不断增长、业务量不断扩大,传统客服模式已不能满足繁重的用户业务咨询需求,在此背景下设计一种精准的客户服务模式就显得至关重要。针对这一需求,文章首先提出了一种融合注意力机制+双向长短期记忆网络+双向门控循环单元(Attention+BiLSTM+BiGRU)的序列到序列(Seq2Seq)模型;然后通过对上下文语义信息的深层时序特征提取及赋权,有效提高了模型对话性能;最后通过算例仿真,实验结果从定性和定量的角度验证了所述方法具有回答效果更佳、问题识别能力更高的特点,对在线电力智能客服系统的设计和实现具有一定的参考价值。

基于L-S-Seq2Seq的双通道超短期电力负荷预测

针对传统方法在电力负荷预测中的输入序列长度选择问题与特征提取能力弱的问题,文章提出了一种同时接受长序列和短序列输入的双通道L-S-Seq2Seq超短期负荷预测模型。该模型主要由处理长序列输入的L-Seq2Seq通道和处理短序列输入的S-Seq2Seq通道组成,2个通道的编码器均使用C-CNN-LSTM融合电力负荷的全局特征和局部特征,并生成相关的隐藏向量。通过引入注意力机制使解码器在预测不同时间负荷时关注不同时刻的隐藏向量,其中L-Seq2Seq解码器采用基于周期和时变的CC-B注意力机制,S-Seq2Seq解码器采用基于时变的C-B注意力机制,最后通过融合2种解码器的结果输出超短期电力负荷预测值。对该模型进行了公开数据集上的验证,实验结果表明,与其他对比模型相比,文章提出的模型在MAE、RMSE、MAPE指标上分别至少降低了14.58%、7.28%、16.64%,而且R2达到了0.994 5。

基于时空注意力-Seq2Seq模型的多风电机组多步风速预测算法

针对在多风电机组风速预测任务中,卷积运算不适用于提取排布不规则的多风电机组空间相关性的问题,提出一种基于时空注意力-Seq2Seq模型的多风电机组多步风速预测算法。首先使用空间注意力机制强化风速序列的空间相关性,并对常规空间注意力机制进行改进;之后使用Seq2Seq模型中的编码器进行编码;最后使用结合时间注意力机制的解码器计算多风电机组的多步预测结果。以河北市某风电场的实际数据为算例进行实验,结果表明相比其他对比算法,所提算法的平均绝对误差下降约4.3%~15.0%,精度有较大提高。

基于Seq2seq模型的多特征短期母线负荷预测

母线负荷短期预测对电力系统调度运行及电力现货交易市场具有重要意义,由于母线负荷受到复杂多因素的影响,单独采用母线负荷历史数据进行预测不能取得很好的效果。为提升多因素影响下母线负荷预测的准确率,本文结合特征工程和深度学习法,对母线负荷的影响因素进行斯皮尔曼相关性分析,设计时间连续性周期编码;对Seq2seq模型的编码器和解码器设置不同的特征组进行消融实验;将实验结果与采用离散小波变换分解提取特征的方法进行对比,结果表明,本文提出的特征工程结合深度学习Seq2seq框架的母线负荷短期预测效果更佳。

基于Seq2Seq深度学习模型的焦炉煤气发生量预测方法研究

为实现钢铁生产过程中副产煤气的精准预测,构建了基于序列到序列的深度学习模型.通过编码器计算输入序列的隐状态得到隐状态矩阵,并通过解码器对其进行解码得到预测结果.根据灰色关联度分析关联度较高的输入参数,针对钢铁生产中煤气产量不稳定波动的特点,利用箱线图和hampel滤波对原始数据的极端异常点和突变点进行处理,对输入模型分别进行单步和多步预测.结果表明:单步预测时基于Seq2Seq结构的模型较单一模型预测性能有所提高,其中LSTM2GRU模型对峰谷值拟合表现最优;多步预测时LSTM2GRU模型可有效降低模型性能下降趋势,通过在2个数据集与LSTM2LSTM模型和GRU2GRU模型对比发现,LSTM2GRU模型均方根误差分别下降了5.3%、5.6%和9%、7.7%,平均绝对误差分别下降了7.3%、7%和9.7%、7.8%.因此,LSTM2GRU模型相比其他模型更适合长尺度时间序列的预测,在模型中引入GRU结构提高了预测精度,缩短了预测耗时.

基于Seq2Seq模型的工作流动态调度多目标进化算法

将数据处理类工作流在云计算环境下的调度问题建模为动态多目标优化问题,同时为了解决静态多目标优化算法在环境参数动态变化下可能出现的种群多样性缺失问题,在NSGA-II算法的基础上结合Seq2Seq深度学习模型,提出了DNSGA-II-Seq2Seq算法,算法通过Seq2Seq模型学习连续历史环境下局部最优解的变化规律,在环境变化时预测新的解并将其加入NSGA-II算法的种群中,以解决多样性缺失问题,同时加速算法收敛。在改进的WorkflowSim上进行的实验表明,与其他经典的算法相比,DNSGA-II-Seq2Seq算法预测的解和最终结果在多项指标上均优于其他算法,验证了算法的有效性。

基于LSTM与seq2seq模型的短期电力负荷预测方法

为了提高短期负荷预测的精度,利用长短期记忆(Long Short-Term Memory,LSTM)与seq2seq(sequence to sequence)模型预测短期电力负荷。根据电力负荷数据的组成结构和产生原理,收集历史负荷数据,通过缺失补全、归一化等步骤,完成初始收集数据的预处理。构建LSTM与seq2seq模型,利用该模型提取历史电力负荷数据特征,推导出电力负荷数据的变化规律。综合考虑了各因素对电网的影响,得到了电网的短期负荷预测结果。实验结果证明,与传统预测方法相比,在工作日和休息日中,优化设计预测方法的平均误差分别降低了5.64 kW·h和3.53 kW·h,提高了电力负荷预测精度。

基于大感知域LSTM-Seq2Seq模型的代码缺陷检测方法

针对现有基于深度神经网络的代码缺陷检测方法无法分析缺陷特征并输出相关评审建议的问题,提出一种基于大感知域LSTM-Seq2Seq模型的代码缺陷检测方法。首先,使用长短期记忆网络(LSTM,long short-term memory)学习缺陷代码的编码特征,建立缺陷判别模型。其次,针对模型与数据集不匹配的问题,向序列到序列模型(Seq2Seq,sequence to sequence)引入代码段长度系数,提升模型对代码评审任务的适用度;通过建立代码缺陷特征与评审建议特征间的映射关系建立了代码分析模型,实现评审输出功能。最后,利用公开数据集SARD对该方法进行了验证,该方法在准确率、召回率、F1值方面的测试结果分别为92.50%、87.20%、87.60%,典型代码缺陷输出的评审文本与专家评审的文本相似度为85.99%,可有效减少评审过程对专家经验的依赖。

基于VMD-Seq2seq模型的扬声器短期寿命预测研究

随着音频载体设备的发展,扬声器在向着体积小、功率大的趋势发展,长时间工作在大信号驱动时音圈发热严重,会出现音圈断路等热损坏问题,通过对扬声器电参量数据的预测,可以降低功放功率等方法保护音圈,延长使用寿命。针对功率试验中扬声器电参量数据的时序特性,提高预测准确率,提出一种基于变分模态分解(variational mode decomposition,VMD)和编解码器(sequence to sequence,Seq2seq)模型的扬声器电参量多步预测方法。该方法首先使用VMD将原始数据进行分解,降低数据的非平稳性,利用分解后的数据构建训练集并使用Seq2seq网络模型进行训练和多步预测。仿真结果表明,所提出的预测模型在单步预测情况下,模型评价指标均方根误差(RMSE)为0.044、平均绝对百分比误差(MAPE)为0.15%、决定系数(R^(2))为0.94,在五步预测的情况下,模型评价指标RMSE为0.05、MAPE为0.17%、R^(2)为0.92,均优于其余对比模型,表明所提出模型的精度更高。

基于注意力机制的Tree2Seq代码注释自动生成

代码注释可以帮助开发人员快速理解代码,降低代码维护成本。为了保留代码的结构信息,针对经典的Seq2Seq模型将代码的结构信息压缩为序列,导致结构信息丢失的问题,提出使用Tree-LSTM编码器直接将代码转化成抽象语法树进行编码,使注释生成模型能有效获取代码的结构信息,提升注释生成效果。采用基于注意力机制的Tree2Seq模型实现代码注释生成任务,避免了编码器端将所有输入信息压缩为固定向量,导致部分信息丢失的情况。通过在Java和Python 2种编程语言的数据集上进行实验,使用3种机器翻译常用的自动评测指标进行评估验证,并选取一部分测试数据进行了人工评估。实验结果表明,基于注意力机制的Tree2Seq模型能为解码器提供更全面且丰富的语义结构信息,为后续实验分析和改进提供指导。

基于Seq2Seq模型的GRACE降尺度研究

为了克服GRACE数据低空间分辨率的局限,采用序列到序列(Seq2Seq)模型,对三种输入时间序列(地表温度、归一化植被指数和降雨)与GRACE时间序列的经验关系进行建模,将美国加利福尼亚州的GRACE数据空间分辨率由1°降尺度到0.1°。结果表明,Seq2Seq模型能获取到较为准确的时序特征与映射关系,通过遗传算法选出最佳超参数后的Seq2Seq模型,纳什系数可达0.97,均方根误差仅为0.23。通过实测地下水的验证可知,降尺度的GRACE数据与实测值有较强的相关性,相关系数最高可达0.85,能较为准确地反映地下水储量的变化。