基于多头注意力机制和门控循环单元神经网络的居民充电桩容量预测

居民充电桩的容量预测可为其定容选址提供参考,助力实现“双碳”目标,为此提出了一种基于数据驱动的居民充电桩容量预测方法。首先,采集了居民充电桩的历史容量数据并进行预处理;其次,利用不同大小的时序窗口对其进行切片作为输入特征;最后,构建了结合多头注意力机制和门控循环单元神经网络的预测模型,将特征输入模型从而实现了对未来容量的精准预测。通过实例分析表明,该模型预测结果的平均绝对误差和均方根误差分别为33.19和102.14%,预测精度相较于其他模型有较大提升,为居民充电桩的容量预测提供了新思路。

基于门控循环单元-注意力机制模型的股票价格预测

考虑到股票价格具有高噪声和非线性的特点,构建了一个基于门控循环单元-注意力机制(Gated Recurrent Unit-Attention Mechanism,GRU-AM)的股票价格预测模型.首先将经过处理后的股票数据输入到门控循环单元(Gated Recurrent Unit,GRU)中,使其能够充分地学习数据并挖掘更深层次的数据特征.接着将从GRU中学习到的特征向量传入注意力机制(Attention Mechanism,AM).其次通过这种方式,可以学习到不同时间特征状态的权重,从而更有效地捕捉时间特征的重要性.最后通过与七种基准模型在多个数据集上的对比,验证了模型的有效性.

基于注意力机制—门控循环单元—BP神经网络的智能多工序工艺参数关联预测

鉴于流程制造工序间能质流耦合严重,性能指标影响因素众多,工艺参数时序特征显著,现有制造模式下难以精准预测产品质量,在分析流程制造工艺性能指标多维、强时序、关联耦合特征的基础上,提出一种基于注意力机制—门控循环单元-BP神经网络(Attention AM-GRU-BPNN)的多工序耦合参数关联预测方法。首先采用互信息方法筛选多态异构生产数据作为输入,建立ConvGRU自编码器,通过无监督学习对过程数据、工艺参数、操作参数等进行时序特征提取,同时引入时序注意力机制提取不同工序的耦合关联特征并进行向量嵌入,为不同工序的工艺参数分配注意力权重。在此基础上,设计Attention网络自学习不同时刻下工艺关联特征对质量性能指标的影响差异,再通过门控循环单元网络对重要的关联特征进行增强,并按照时序特征对单工序预测模型进行聚合,实现多工序时序特征融合,最后通过输出层BPNN神经网络精准预测产品工艺质量。实验表明,AM-GRU-BPNN有效提高了预测精度,从多工序角度为生产线工序的加工过程控制提供了依据。

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元(gated recurrent unit,GRU)网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F1值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断。在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法。将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息。实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率。

融合门控循环单元和自注意力机制的矿山微震P波到时拾取方法

基于深度学习方法提出了一种矿山微震P波到时拾取方法。首先构建CNNDet模型进行事件监测和到时预拾取;其次引入自注意力机制,融合门控循环单元(GRU)构建CGANet模型,对检测到的事件进行P波到时精确拾取;最后将该方法与长短时窗能量比法、DPick和PpkNet方法进行对比,结果显示测试集的事件检测精确率和召回率都达到98%以上,P波到时估计的误差均值和标准差分别为0.014 s和0.051 s,说明本文方法在精确率、召回率及标准差等方面均明显优于上述三种方法。此外,对不同信噪比样本进行测试的结果也证明,本文方法在低信噪比下依然能保持较高的精度。在实际震源定位中,该方法也展现出了更优异的性能。

基于门控循环单元的日志异常检测方法

针对现有日志特征提取不充分且存在噪音等问题,提出一种基于门控循环单元(Gate Recurrent Unit,GRU)的日志异常检测方法。该方法使用BERT(Bidirectional Encoder Representations from Transfomers)提取日志的语义特征,然后利用事件逆频率加权对特征进行优化。采用基于注意力和门控循环单元的模型进行日志异常检测,以减少日志噪声对检测结果的影响。在2个真实的数据集上的实验结果表明,该方法在异常检测任务中表现出色,F1值平均达到0.98,与基准方法DeepLog(Deep Log Anomaly Detection)相比,分别提高了3.36%和11.0%。

基于注意力机制的特征融合-双向门控循环单元多模态情感分析

针对视频多模态情感分析中,未考虑跨模态的交互作用以及各模态贡献程度对最后情感分类结果的影响的问题,提出一种基于注意力机制的特征融合-双向门控循环单元多模态情感分析模型(AMF-BiGRU)。首先,利用双向门控循环单元(BiGRU)来考虑各模态中话语间的相互依赖关系,并得到各模态的内部信息;其次,通过跨模态注意力交互网络层将模态内部信息与模态之间的交互作用相结合;然后,引入注意力机制来确定各模态的注意力权重,并将各模态特征进行有效融合;最后,通过全连接层和softmax层获取情感分类结果。在公开的CMU-MOSI和CMUMOSEI数据集上进行实验。实验结果表明,与传统的多模态情感分析方法(如多注意力循环网络(MARN))相比,AMF-BiGRU模型在CMU-MOSI数据集上的准确率和F1值分别提升了6.01%和6.52%,在CMU-MOSEI数据集上的准确率和F1值分别提升了2.72%和2.30%。可见,AMF-BiGRU模型能够有效提高多模态的情感分类性能。

融合自注意力机制与门控循环单元网络的宽工况锂离子电池SOC估计

准确估计宽工况条件下的锂离子电池荷电状态(SOC)对于电动汽车的运行安全性和可靠性至关重要,是电池管理系统最重要的任务之一。本工作充分利用门控循环单元(GRU)神经网络短时处理能力与注意力机制(SAM)长时序特征提取能力,提出了一种融合SAM与GRU的神经网络模型学习锂离子电池可测参数(电压、电流)与其SOC的非线性映射关系,实现了高精度的SOC估计,从而解决锂离子电池SOC的长序列相关特征难以有效表征问题。通过北京公交动态应力测试(BBDST)数据的验证表明,与传统GRU网络相比,本文提出的SAM-GRU神经网络模型对于不同放电倍率、环境温度以及放电倍率-环境温度混合工况下工作的锂离子电池均取得了更准确的SOC估计,估计精度提升分别不小于26%、25%和11%。

融合双重注意力机制与并行门控循环单元的晶圆加工周期预测方法

晶圆制造过程中的生产特征数据大规模、特征间复杂关联和特征样本强相关特性导致晶圆加工周期预测效率低与预测精度不高,因此提出了一种融合双重注意力机制与并行门控循环单元的晶圆加工周期预测方法。首先,利用Relief-F算法对生产特征数据进行降维处理;然后,基于模糊C均值算法对数据样本进行工艺相似性聚类,并设计并行门控循环单元网络来挖掘晶圆lot特征样本间的强相关特性;最后,设计了双重注意力机制来学习关键特征内部及特征与加工周期的复杂关联信息。实验结果表明,所提出方法能有效缩短预测训练时间,提高预测精度。

基于循环门单元和注意力机制的学生学习积极性预测模型

为了挖掘校园无线网络数据中蕴含的学生行为,更好地辅助教学管理,本文提出了基于循环门单元和注意力机制(gated recurrent unit-attention,GRU-Attention)的学生学习积极性预测模型。首先对采集到的学生行为轨迹数据进行预处理和聚类分析,根据学生在校园各个场所的平均逗留时间对学习积极性做出预判断。然后根据无线流量的连接频率及用途对学生行为特征数据进行二次判断,并引入学生学习成绩作为参考标准。最后将数据集输入到GRU信息提取层,并在Attention层进行加权处理,计算得出概率分布。实验结果表明,GRU-Attention模型准确度优于其他常见预测模型,可以更好地帮助辅导员去管理和引导学生树立良好的学习态度。

融合门控循环单元及自注意力机制的生成对抗语音增强

因其通过两种网络对抗训练并不断提升网络映射能力的特性,生成对抗网络(Generative Adversarial Networks,GAN)具有强大的降噪能力,近年来被应用于语音增强领域。针对现有生成对抗网络语音增强方法未充分利用语音特征序列中的时间相关性和全局相关性这一不足,提出一种融合门控循环单元(Gated Recurrent Unit,GRU)和自注意力机制(self-attention)的语音增强GAN网络。该网络利用串联和并联两种方式构建了时间建模模块,可捕获语音特征序列的时间相关性和上下文信息。与基线算法相比,所设计的新型GAN网络语音质量听觉估计分数(PESQ)提高了4%,且在语音信号分段信噪比(SSNR)和短时客观可懂度(STOI)等多个客观评价指标上表现更优。该研究结果表明,融合语音特征序列中的时间相关性和全局相关性有助于提升GAN网络语音增强的性能。

基于双注意力机制门控循环单元的光通信采样定时偏差估计方案

在光通信中,由接收器的模数转换器产生的采样定时偏差(sampling time offset,STO)是接入网中需要估计的一个重要参数。随着现代信息传输量的增加,要求的传输速度也越来越快。现有的传统估计方法存在与升高的调制格式不兼容、估计误差大、估计时间长等问题。此方案提出了一种用于误差估计的双重注意机制门循环单元神经网络(dual attention gated recurrent unit,DAGRU)。DAGRU可以根据信号序列,从全局级别和群级别两个层面分别使用注意力机制,选择性地提取有用信息作为学习的特征。实验结果证明,DAGRU可用于多种调制格式的长距离传输,适用于1.25倍的采样率,抗噪声能力强,鲁棒性好。

基于注意力机制的门控密集卷积网络调制识别算法

自动调制识别(AMR)是非合作通信系统中的重要组成部分,也是一个通信领域的研究难点。针对该难点,利用深度学习,将密集卷积网络(DenseNet)、门控循环单元(GRU)和注意力机制(Attention)三者结合,提出一种基于注意力机制的门控密集卷积网络(AGDCN)的调制识别算法。该算法提取了信号的空间特征和时序特征,将两者相结合解决了信号识别率低的问题。同时,在网络中加入注意力机制,对GRU训练过程进行权重的自适应调整,有效地加强关键特征的学习。通过实验验证了AGDCN模型性能优于其他神经网络算法,在信噪比超过2 dB时,对11种调制类型的识别率可以达到90%。

基于自注意力机制与改进循环神经网络混合模型的特高压换流变压器顶层油温预测方法

变压器的运行寿命与变压器绝缘性能直接相关。对于特高压换流变压器来说,油温预测可作为其绝缘性能评估的重要依据。为提高换流变油温预测精度,提出一种基于长短期记忆网络(long-short term memory network,LSTM)、自注意力机制(self-attention mechanism,SA)和门控循环单元(gated recurrent unit,GRU)串并行混合模型的换流变顶层油温预测方法。首先,对换流变顶层油温数据进行滚动滑窗预处理;然后,建立LSTM与SA并行的预测模型,并利用GRU对并行预测的结果进行融合,经全连接层调节后输出最终预测结果。对比实验表明,相较于单一预测模型,采用混合预测模型在换流变顶层油温预测中可以取得更高的精度。

一种基于注意序列到序列门控循环单元的风力发电预测模型

针对现有风力发电预测精度低的问题,提出一种改进的注意序列到序列门控循环单元(attention sequence-to-sequence gated recurrent unit,ASSGRU)的风力发电预测模型。该模型为典型的多输入多输出(multiple input multiple output,MIMO)模型,并基于注意力机制选择重要特征,从而提高风力发电预测的精度和稳定性。通过中国某电力公司发布的风电数据集对提出的预测模型进行验证。与自适应小波神经网络(adaptive wavelet neural network,AWNN)、K均值聚类的前馈神经网络(k-means-feedforward neural network,K-FNN)和长短时记忆(long short-term memory,LSTM)等模型相比,所提模型均方根误差变异系数(coefficient variation of root mean square error,CV-RMSE)、平均绝对百分比误差(mean absolute percent error,MAPE)以及归一化均方根误差(normalized root mean square error,NRMSE)等指标更优,从而验证了所提模型的可行性和有效性。该模型对混合智能电网智能化服务及新能源调度规划具有一定借鉴作用。

融合CNN-BiGRU和注意力机制的网络入侵检测模型

为提高网络入侵检测模型特征提取能力和分类准确率,提出了一种融合双向门控循环单元(CNN-BiGRU)和注意力机制的网络入侵检测模型.使用CNN有效提取流量数据集中的非线性特征;双向门控循环单元(BiGRU)提取数据集中的时序特征,最后融合注意力机制对不同类型流量数据通过加权的方式进行重要程度的区分,从而整体提高该模型特征提取与分类的性能.实验结果表明:其整体精确率比双向长短期记忆网络(BiLSTM)模型提升了2.25%.K折交叉验证结果表明:该模型泛化性能良好,避免了过拟合现象的发生,印证了该模型的有效性与合理性.

基于门控循环单元和Transformer的车辆轨迹预测方法

为增强自动驾驶车辆对动态环境的理解能力及其道路行驶安全性,提出基于门控循环单元(GRU)和Transformer的车辆轨迹预测模型STGTF,使用GRU提取车辆的历史轨迹特征,通过双层多头注意力(MHA)机制提取车辆的时空交互特征,生成预测轨迹。试验结果表明,预测结果的均方根误差(RMSE)平均降低7.3%,STGTF在短期预测和长期预测方面均有不同程度的提升,验证了模型的有效性。

基于注意力机制和特征融合的股票预测方法

基于人工智能在金融数据中的应用,提出了一种新的股票预测方法,称为AFG。AFG使用位置编码和时间编码获取股票数据的位置信息和时间信息,然后通过门控循环单元和多头自注意力机制对股票数据分别进行特征提取。在将两类股票特征融合之后,由全连接层导出最终的股票预测曲线。

基于TCN-BiGRU结合自注意力机制的储粮温度预测研究

粮食仓储管理对于国家具有重要意义,储粮温度是判断粮食仓储安全的重要指标之一。准确地预测储粮温度并及时做出相应的防护措施能够有效降低粮食仓储损耗。针对传统储粮温度预测模型预测准确度较低的问题,提出一种融合时域卷积网络(TCN)、自注意力机制(Self-Attention)和双向门控循环单元(BiGRU)的网络模型。首先通过TCN提取储粮温度数据的局部特征,并根据储粮温度数据的时序特征将自注意力机制加入网络为不同粮情特征分配权重,突出对储粮温度预测影响更大的特征,之后利用BiGRU网络学习粮情序列的双向依赖关系来获取序列中的更多信息,实现对储粮温度的预测。结果表明,所提出的模型均方根误差RMSE为0.389 5,平均绝对误差MAE为0.328 1,确定系数R2为0.991 2,与其他模型相比误差小,预测精度高,能够为粮仓的温度管控提供决策依据。