变压器油中乙炔门控循环单元网络多步预测超参数优化方法

油中溶解乙炔作为电力变压器中重要的放电程度表征参量之一,对其进行多步预测可以为变压器故障诊断及预警提供重要依据。现有的状态预测模型主要集中于单步预测,对于未来更长时期变化趋势的预测手段不足。此外,基于深度学习的多步预测模型的超参数选择大多基于经验和朴素的单一控制变量法,超参数之间的耦合关系没有得到充分的研究。文中提出基于多输出策略的门控循环单元(gated recurrent unit,GRU)神经网络多步预测模型,通过改变模型结构超参数和训练超参数研究超参数之间的耦合关系,使用多目标灰狼优化算法对不同预测结果倾向的GRU模型进行超参数优化。结果表明,GRU模型可以较为准确的对变压器油中乙炔含量进行30天预测,GRU模型的各超参数对输出预测结果的影响规律并不统一且相互影响,一组超参数无法同时达到多目标最优。多目标灰狼优化算法能够根据预测目标的不同,优化选择合适的超参数,为人工智能算法超参数的选取提供参考。

基于门控循环单元网络的低阻油层测井流体识别方法

研究区块低阻油层发育广泛,油层和水层的电阻率相差不大,导致测井流体识别较为困难。为了有效识别低阻油层,采用少数类过采样技术(synthetic minority oversampling technique,Smote)对油水同层,油层等少数类样本进行过采样使数据集均衡;并利用门控循环单元(gated recurrent unit,GRU)网络模型进行低阻油层的流体识别。通过相关性分析确定自然伽马(GR)、深侧向电阻率(RD)、密度(DEN)等8条测井曲线数据作为输入训练模型,应用于中实际资料中,并将GRU与传统RNN和其他3种机器学习算法对比。结果表明:序列数据模型的流体识别效果比传统机器学习模型好,且基于Smote-GRU的流体识别模型的符合率达到89.5%,相对传统循环神经网络(recurrent neural network,RNN)的81.1%,取得了较好的应用效果。通过对照试验还证实了Smote算法提高了分类器对少数类样本的识别率。所提出的方法可为样本不均衡的低阻油层的流体识别提供参考。

基于门控循环单元强化学习的晶圆光刻区实时调度方法研究

为求解具有动态性、实时性、多约束、多目标特点的晶圆光刻区调度问题,提出一种基于门控循环单元强化学习的晶圆光刻区实时调度方法。设计引入门控循环单元学习光刻区历史调度决策与状态的时序信息,为双深度强化学习模型提供辅助决策信息;设计双深度强化学习模型的输入状态空间、输出动作集,并面向晶圆最小化最大完工时间和晶圆准时交货率指标设计多目标奖励函数,为智能体优化调度输出;设计设备专用性约束与掩模版约束的解约束规则与调度方法相结合,提高调度方案实施的实用性。通过某晶圆制造企业实际算例,将该方法与传统双深度强化学习和光刻区启发式规则方法比较,该方法均为最优,证明了其解决此问题的有效性。

基于小波散射网络-贝叶斯优化门控循环单元的电力变压器声纹识别方法

针对小规模样本下电力变压器的声纹识别问题,本文提出一种基于小波散射网络-贝叶斯优化门控循环单元(GRU)的声纹识别方法。首先,为滤除干扰分量,提高声纹识别的正确率,通过经验小波变换(EWT)与快速独立成分分析算法(FastICA)对原始信号进行盲源分离,得到变压器本体声纹信号。然后,为降低模型输入数据的复杂度,采用小波散射网络提取声纹信号的特征向量作为声纹识别模型的输入,并采用GRU作为模型分类器。最后,通过贝叶斯算法完成对GRU网络层数与初始学习率的超参数优化。实验结果表明,在样本规模偏小的情况下,相较于当前普遍使用的声纹时频谱——深度卷积神经网络模型,本文所构建的模型收敛用时缩短,识别正确率提高,性能得到了明显改善。

基于忆阻器的门控循环单元电路

时间序列数据分析可用于识别长期趋势并进行正确的预测,与人工神经网络(artificial neural network,ANN)相比,门控循环单元(gated recurrent unit,GRU)可以处理时间序列信号,在自然语言处理、语音识别、机器翻译等方面有着广泛的应用。然而,由于参数和模型的复杂性,GRU模型在硬件实现中遇到了瓶颈。文章构建一个基于忆阻器的GRU硬件电路,具有完整的GRU功能,而且输入/输出参数更少。仿真结果表明,电路的平均误差为0.0075,能够有效地实现GRU网络的功能。将设计的GRU电路应用在搭建的序列预测模型中,可以预测股票价格变化趋势,且其预测的R2分数达到0.9234。因此基于忆阻器的GRU硬件电路的设计在机器学习和人工智能方面具有一定的应用潜力。

预测轴承寿命的gate递归单元特征融合域自适应模型

采用现有的数据驱动模型对不同工况下的轴承剩余使用寿命(RUL)进行预测时,精度会大幅下降。针对这一问题,提出了一种基于门控递归单元特征融合领域自适应(GFFDA)模型的轴承RUL预测方法。首先,采用信号分析方法对轴承振动信号进行了特征提取,并采用特征评价的方法选择出了5个最优特征,在最优特征的基础上,采用粒子群算法优化后的支持向量机的方法对轴承的健康阶段进行了划分;然后,选择目标域和源域退化阶段的最优特征子集作为GFFDA模型的输入,采用源域数据对特征提取器和寿命预测模块进行了预训练;最后,更新了目标特征提取器和寿命预测模块,对目标域的RUL进行了预测;并使用西安交通大学的轴承数据集对该GFFDA模型的有效性进行了验证。研究结果表明:相比于现有的数据驱动模型,GFFDA模型具有更好的跨工况分析能力和更出色的信息提取能力;同时,在对变工况的轴承寿命进行预测时,采用GFFDA模型具有更好的性能。

基于变分模态分解-门控循环单元-麻雀搜索算法的电能质量稳态指标预测

准确的电能质量预测有助于电网的安全可靠运行,本文提出一种基于变分模态分解(VMD)、门控循环单元(GRU)及麻雀搜索算法(SSA)的混合模型,用于预测电能质量稳态指标。首先利用VMD对电能质量历史数据进行分解,然后通过SSA对GRU神经网络的参数进行寻优,并将分解出的电能质量数据分量输入GRU神经网络,最后将每个分量的预测值相加,得到电能质量稳态指标预测值。以某监测点的电能质量数据对模型进行验证,并将该模型与GRU、VMD-GRU模型进行对比,结果表明所提预测模型的平均绝对百分比误差低于7%,预测效果更佳。

门控循环单元网络下的空气污染物预测模型

论文针对现有环境空气污染物预测方法大多是基于单一数据集和浅层神经网络,未能充分挖掘时间序列中潜藏的数据信息的问题,提出了一种基于门控循坏单元网络的空气污染物预测方法。首先,对时间序列缺失值进行设计填充算法;接着,设置监督实验,在批尺寸和训练步、训练优化算法、网络权值初始化和Dropout正则化四个方面进行参数调优;最后,进行了验证与分析,并与长短时记忆神经网络进行了参数对比。研究结果表明,与长短时记忆神经网络相比,门控循环单元网络不仅训练时间快,并且在预测性能上更为显著,是一种可行且有效的预测方法。

基于门控递归单元神经网络的高速公路行程时间预测

为了更高效地预测高速公路行程时间,以高速公路行程时间为研究对象,通过采集车辆在高速公路进出口收费站的刷卡数据获取行程时间,利用门控递归单元神经网络对行程时间进行预测.按照所设计的预测流程,利用广州市机场高速南线高速公路收费数据进行验证,结果显示,预测拟合效果较好,并与LSTM神经网路和BP神经网络进行了对比分析.结果表明:门控递归单元神经网络具有更好的预测准确度.

基于双向门控式宽度学习系统的监测数据结构变形预测

监测数据深度学习预测模型运算量大、实时性差,为此结合宽度学习系统(BLS)和双向长短时记忆(Bi-LSTM)模型的优势,提出基于双向门控式宽度学习系统(Bi-G-BLS)的结构变形预测模型.对BLS的特征节点增加循环反馈和遗忘门结构,提高当前节点对前一节点的依赖关系,分别从正向和反向提取时间序列的内部特征,充分挖掘数据的双向特征,在提高模型预测精确度的同时减少模型预测时间.基于实测的地铁基坑沉降监测数据的测试结果显示,所提预测模型与门控循环单元(GRU)、BLS、Bi-LSTM、G-BLS模型相比,均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)平均分别降低了21.04%、12.81%、24.41%;在预测精度相近的情况下,所提模型的预测时间比Bi-LSTM模型降低了99.59%.结果表明,所提模型在预测速度和精确度上较对比模型有明显提升.

基于小波分解和ARIMA-GARCH-GRU组合模型的制造业PMI预测

制造业采购经理人指数(PMI)是反映国家经济运行情况的重要指标,而传统预测模型对该类时序数据预测精度不高。针对制造业PMI指数的非线性、波动性和数据量少的特点,提出一种基于一维离散小波变换进行数据预处理的组合模型。时序数据经过小波变换,由整合移动平均自回归–广义自回归条件异方差模型(ARIMA-GARCH)处理稳态低频数据,门控循环单元(GRU)处理波动性强的高频数据,将各频段预测结果进行融合得到最终预测结果。为验证模型有效性,选取一定数据量的PMI指数进行实验。结果表明,与其他常见模型对比,本文构建的组合模型具有较好的预测精度与性能,平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)分别达到0.00329、0.004162、0.65%。

基于GRU的密集连接时空图注意力网络的城市交通预测

城市道路拓扑结构的复杂性、交通流量的实时变化以及多元的外部环境等因素给交通预测带来了极大的困难。现有方法对交通路网的时空特征挖掘性不足,缺乏对外部因素的考虑,为此本文提出了一种基于门控循环单元(GRU)的时空图注意力密集连接网络,通过门控循环单元来捕获路网数据的动态规律,并以图注意力密集连接网络来提取路网复杂的空间结构特征,建立城市交通网络对时空的依赖关系。针对外部客观因素,采用独热编码的方式对城市各路段发生的交通事件进行数据建模,增强交通网络的信息属性。以杭州申花路及周围共309个路段为例,对所提出模型的预测能力和可行性进行验证。实验结果表明,模型预测精度最高达到了81.64%,与传统数学模型和主流的神经网络模型对比,预测精度较ARIMA提高了35.42%,较图注意力网络(GAT)和GRU神经网络分别提高了17.45%和3.02%。实验证明该方法可以适应复杂的交通流进行长期的交通预测任务,同时也能增强交通管理能力,减少交通拥堵成本。

基于改进门控循环单元神经网络的锂电池组荷电状态预测

准确预测锂电池组的荷电状态(state of charge,SOC)能够有效防止电池过度充电或者放电,是储能设备安全运行的重要保障。为了解决SOC无法通过测量直接获得的问题,提出了一种基于猎人猎物优化算法(hunter prey optimization,HPO)优化门控循环单元(gated recurrent unit,GRU)神经网络的预测模型。在GRU的基础上添加Dropout机制,来增强模型的泛化能力,并通过HPO算法优化GRU的超参数,使锂电池的数据特征与网络拓扑相匹配。为了验证HPO-GRU模型的有效性,以某储能公司现场采集的储能锂电池组历史数据进行仿真实验,并与反向传播神经网络(back propagation,BP)、长短期记忆网络(long short term memory,LSTM)和GRU 3种预测模型的预测结果进行对比分析。可得HPO-GRU模型预测值与真实值的误差最小,在5%以内。可见HPO-GRU模型的预测精度最高,具有良好的鲁棒性以及较强的泛化能力。

门控递归单元神经网络坐标变换盲均衡算法

针对数字信号传输过程中的码间干扰问题,提出了门控递归单元神经网络坐标变换盲均衡算法(GRUNN-CT-CMA).首先,在递归神经网络基础上加入门控结构,使门控递归单元神经网络(GRUNN)对长时间跨度信息的感知能力更强、记忆力更持久.其次,在GRUNN中引入坐标变换得到的盲均衡算法,进一步降低了稳态误差、加快了代价函数收敛速度.结果表明,与常模盲均衡算法(CMA)和延迟单元递归神经网络盲均衡算法(BRNN-CMA)相比,GRUNN-CT-CMA在均衡高阶多模信号时,稳态误差最小、收敛速度最快、输出信号星座图最清晰.

基于多重分形的改进GRU滑坡位移预测模型

门控机制设计难以学习序列变化趋势,导致传统记忆网络模型对滑坡位移非平稳跃变段预测效果较差.基于多重分形改进门控循环单元(GRU),通过量化序列的变化特征来动态更新门控权重,引入循环神经网络单元的状态融合策略以学习数据的长程相关性特征.采用变分模态分解算法将滑坡累积位移分解成趋势项、周期项及随机项,利用改进GRU进行位移分量的训练和预测.选取三峡库区白水河滑坡监测点ZG93、ZG118进行仿真实验.实验结果表明,相比传统预测模型,新模型的滑坡位移形变趋势特征学习能力更强,预测精度更高.

基于EKF-GRU的车辆轨迹预测

为提升行车安全,实现自动驾驶车辆正确的决策规划,提出基于扩展卡尔曼滤波(EKF)-门控循环单元(GRU)的车辆轨迹预测方法,结合学习方法与物理模型,在提升预测精度的同时,提高轨迹预测的合理性。首先,基于GRU构建预测网络,通过提取车辆的历史轨迹特征预测车辆的纵向加速度及横摆角速度;其次,基于车辆非线性运动学构建EKF状态估计器,结合观测值生成车辆未来有限时域的行驶轨迹;最后,在高速公路多车轨迹数据集NGSIM I-80和US-101上进行轨迹预测方法验证。结果表明:采用传统的物理模型生成预测轨迹,其最终距离误差(FDE)、均方根误差(RMSE)、平均距离误差(ADE)值分别为6.48、7.69和3.03 m。相比之下,利用EKF-GRU生成的预测轨迹表现出更高的准确性,对应的数值分别为5.45、6.67和2.56 m,分别提升15.90%、13.26%和15.51%。

基于ZOA CNN GRU模型的煤层底板突水等级预测

针对传统循环神经网络煤层底板突水等级预测模型存在预测精度低、模型参数过多造成模型训练速率下降和出现过拟合现象等问题,引入斑马优化算法对卷积神经网络和门控循环单元神经网络的组合模型进行优化,建立ZOA CNN GRU神经网络煤层底板突水等级预测模型。为验证模型的可行性,采用九龙矿区煤层底板突水数据对模型进行训练,并将所建模型和CNN GRU神经网络以及GRU神经网络进行对比分析。研究结果表明:与CNN GRU神经网络和GRU神经网络模型相比,ZOA CNN GRU神经网络模型预测准确率最高,达到98%,且ZOA CNN GRU神经网络模型稳定性、泛化能力均优于对比模型。

VAE-ATTGRU模型的股指期货价格预测研究

针对股指期货市场高波动、非平稳、非线性和高信噪比等特性造成的预测难度大的问题,利用变分自编码器(VAE)和循环神经网络(RNN)提出一种基于VAE-ATTGRU的混合深度学习股指期货价格预测模型。利用变分自编码器对股指期货技术指标进行学习,将VAE学习到的潜在因子与原始数据融合实现数据增强,得到更丰富的因子表示;使用循环神经网络对股指期货价格进行预测,发现结合了注意力机制的门控循环单元(ATTGRU)可以对VAE增强后的股指期货数据进行充分学习,对关键特征信息进行捕捉并重新赋予权重。在沪深300股指期货、中证500股指期货和上证50股指期货数据上进行实验,通过均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)和决定系数R2对VAE-ATTGRU模型进行评估,发现其在预测精度上优于其他模型。

基于CNN-GRU的移动APP流行度预测模型

移动APP流行度预测对应用推荐、广告投放等意义重大。但是现有方法大多依赖手工特征工程,工作量大且效率较低。为此,提出一种基于深度神经网络的移动APP流行度预测模型。利用最大信息系数进行特征相关性分析以确保特征选取有效性,结合历史流行度特征,通过门控循环单元(gate recurrent unit,GRU)和注意力机制构建长期演化模型来推演发展趋势,基于多尺度卷积神经网络(convolutional neural networks,CNN)和注意力机制构建短期波动模型以实现预测动态优化,结合其他重要特征利用GRU和注意力机制建立多因素影响模型。通过时间注意力模块将上述模型融合,实现流行度预测。实验结果表明,所提模型在移动APP流行度预测方面相对更为精准有效。

基于VMD-LSTM-IPSO-GRU的电力负荷预测

为了挖掘电力负荷数据中的潜藏信息,提高短期负荷预测的精度,针对电力负荷强非线性、非平稳性等特点,提出一种基于变分模态分解(variational mode decomposition,VMD)、长短时记忆神经网络(long-term and short-term memory network,LSTM)、改进的粒子群算法(improve particle swarm optimization,IPSO)和门控循环单元(gated recurrent unit neural network,GRU)的混合预测模型。首先,使用相关性分析确定输入因素,再将负荷数据运用VMD算法结合样本熵分解为一系列本征模态分量(intrinsic mode fuction,IMF)和残差量,进而合理地确定分解层数和惩罚因子;其次,根据过零率将这些量划分为低频和高频,低频分量使用LSTM网络,高频分量利用IPSO-GRU网络分别进行预测;最后,将预测结果重构得到电力负荷的最终结果。仿真结果表明:相对于其他模型,所提混合模型可有效的提取模态特征,具有更高的预测精度。