基于改进门控循环神经网络的采煤机滚筒调高量预测

采煤机自适应截割技术是实现综采工作面智能化开采的关键技术。针对采煤机在复杂煤层下自动截割精度较低的问题,提出了一种基于改进门控循环神经网络(GRU)的采煤机滚筒调高量预测方法。鉴于截割轨迹纵向及横向相邻数据之间的相关性,采用定长滑动时间窗法对获取的采煤机滚筒高度数据进行预处理,将输入数据划分为连续、大小可调的子序列,同时处理横向、纵向的特征信息。为提高模型预测效率,满足循环截割的实时性要求,提出了一种用因果卷积改进的门控循环神经网络(CC-GRU),对输入数据进行双重特征提取和双重数据过滤。CC-GRU利用因果卷积提前聚焦序列纵向的局部时间特征,以减少计算成本,提高运算速度;利用门控机制对卷积得到的特征进行序列化建模,以捕捉元素之间的长期依赖关系。实验结果表明,采用CC-GRU模型对采煤机滚筒调高量进行预测,平均绝对误差(MAE)为43.80 mm,平均绝对百分比误差(MAPE)为1.90%,均方根误差(RMSE)为50.35 mm,决定系数为0.65,预测时间仅为0.17 s;相比于长短时记忆(LSTM)神经网络、GRU、时域卷积网络(TCN),CC-GRU模型的预测速度较快且预测精度较高,能够更准确地对采煤机调高轨迹进行实时预测,为工作面煤层模型的建立和采煤机调高轨迹的预测提供了依据。

循环神经网络模型下道路碳排放浓度预测

以湖南省永州市永州大道基本路段CO_(2)浓度时序数据为研究对象,旨在实现道路CO_(2)浓度的实时预测。测得用于模型训练和预测精度计算的路段CO_(2)浓度数据,利用Savitzky-Golay滤波器对数据进行平滑去噪,在调试并建立循环神经网络最优模型结构的基础上,引入多元预测模型(MLR、SVR、BP)和时序预测模型(BP、RF、RNN、LSTM、GRU)进行预测性能对比,为路段CO_(2)浓度的实时预测提供参照。结果表明:时序预测模型相比于多元预测模型具有更好的预测效果,特别是循环神经网络模型中的GRU表现出较高的预测精度,其次是LSTM,最后是RNN;循环神经网络模型在处理路段CO_(2)浓度时序数据的训练和预测任务中具备突出性能,能够实时且精准预测道路路段CO_(2)浓度。

基于模型嵌入循环神经网络的损伤识别方法

目前,绝大多数基于深度学习的结构损伤识别方法依靠深度神经网络自动提取结构的损伤敏感特征,并通过损伤状态之间特征的差异实现模式分类识别.然而,这些方法面临着损伤量化难度大的挑战,并且需要大量的模型训练数据.本文提出基于模型嵌入循环神经网络(Model-Embedding Recurrent Neural Network,MERNN)的损伤识别方法.首先,通过数据驱动的卷积神经网络(Convolutional Neural Network,CNN)建立荷载-响应之间的映射关系,然后,利用龙格库塔法改进传统的循环神经网络,建立基于循环神经网络架构的数值计算单元.最后,基于结构响应计算值与实测响应残差构成的损失函数与神经网络的自动微分机制来实现结构刚度参数的更新,进而实现结构损伤识别.数值模拟框架与实验室的3层剪切型框架的损伤识别结果表明,本文提出的方法能基于少量响应数据准确量化结构损伤.

基于改进循环神经网络的半导体质量预测

在复杂的半导体生产过程中,为了减少成本、缩短周期,须优化质量检测过程。本文对半导体的生产特点进行分析,结合数据预测的深度学习理念,构建基于长短期记忆网络(Long Short-Term Memory,LSTM)的质量预测模型。与基础预测模型相比,该模型考虑在复杂加工过程中使用的不同工具,引入工具识别模块。改进后的模型提高了质量预测的准确性和预测能力。对薄膜晶体管液晶显示器(TFT-LCD)的生产数据进行验证,本文方法预测结果更接近真实值,均方根误差(Root Mean Square Error,RMSE)和平均绝对误差(Mean Absolute Error,MAE)2类指标均大幅度降低。

基于循环神经网络的2-DOF软体机械臂运动建模与控制

因现有软体机械臂材料刚度小、模量不稳定,导致建模与控制难度大.提出一种基于循环神经网络(recurrentneuralnetwork,RNN)的方法,用于二自由度(two-degree-of-freedom,2-DOF)软体机械臂的运动建模与控制.使用动作捕捉仪采集不同气压、负载下的位置坐标,并将其导入门控循环单元(gated recurrentunit,GRU)神经网络模型进行训练.当调节超参数至网络结构最优时,测试集准确度可达98.87%.在此基础上,构建气压与负载到末端位置的映射函数.实验结果表明,本方法可将机械臂的控制精度提升至6»8 mm,显著降低了软体机器人的控制与建模难度.

基于自注意力和门控循环神经网络的雷达回波外推算法研究

为提升现有神经网络对雷达回波序列的时、空特征提取能力,建立外推性能更优的时、空序列预测模型,开展雷达回波外推算法改进研究。基于深圳市气象局与中国香港天文台共同建立的雷达回波数据集,在数据处理层面,通过改进对雷达回波图像序列归一化的方法,提升了常用的5种时、空序列预测模型对强回波的预测水平;在模型算法层面,将两个联立的自注意力结构引入ST-LSTM结构,组成新的循环门控单元,并将这些循环门控单元进行堆叠,建立ST-SARNN模型。选用CSI和POD作为精度评价指标,进行模型对比分析得到:(1)改进的归一化方法提升了近几年内常用的5种时、空序列预测模型对强回波的预测水平。(2)加入自注意力的ST-SARNN模型对雷达回波的预测性能显著优于ConvLSTM、PredRNN和MIM等模型。改进的归一化方法能改变样本数据分布,并在一定程度上提升模型外推性能;自注意力结构能够有效挖掘雷达回波序列的时、空特征,进而改进神经网络的外推表现。

联合张量补全与循环神经网络的时间序列插补法

现存的插补方法大致分为基于统计的插补法和基于深度学习的插补法。基于统计的插补法只能捕捉线性时间关系,导致无法精准建模时间序列的非线性关系;基于深度学习的插补法往往没有考虑到不同时间序列之间的相关性。针对现有方法的问题,本文提出了联合张量补全与循环神经网络的时间序列插补法。首先,将多元时间序列建模成张量,通过张量的低秩补全捕获不同时间序列之间的关系。其次,提出了一个基于时间的动态权重,将张量插补结果和循环神经网络的预测结果进行融合,避免因为连续缺失导致的预测误差累积。最后,在多个真实的时间序列数据集上对所提方法进行了实验评估,结果显示该模型优于已有相关模型,且基于插补后的时间序列可以提升时间序列预测效果。

基于循环神经网络的GDP预测研究与分析

GDP(Gross Domestic Product)和人均GDP是一个国家经济实力的标志性指标,反映一个国家经济发展状况。通过世界银行提供各国1976年以来的GDP和人均GDP数据对LSTM(Long Short-Term Memory)网络进行了训练,用训练好的LSTM网络对6个国家的人均GDP进行了预测。通过对预测值和实际值的比较,结果显示LSTM网络对人均GDP的预测效果明显优于传统的统计学方法。

基于循环神经网络的工程专业语义智能分析方法研究

针对传统翻译方法学习能力差、翻译质量较低的问题,提出了一种基于循环神经网络的专业英语机器翻译方法。该方法以编码器-解码器为模型框架,利用改进的循环卷积神经网络对输入数据加以训练。同时编码器使用多头注意力机制对输入数据进行共同训练,进而使算法兼具局部与全局特性。解码器单层则采用三子层结构,分别为多头注意力子层、上下文信息子层及全连接子层,可保证句子翻译的流畅性。在实验测试中,所提算法的BLEU值与其他算法相比提升了2.7;而在专业语料翻译测试中,相较于网络翻译,该算法的准确性和流畅度均更优,由此表明其性能较好,具有一定的工程应用价值。

基于时钟循环神经网络的光伏故障诊断

光伏电站大多地处恶劣环境,遭受风沙雨雪腐蚀,电池板容易出现多类型故障,如何对故障进行有效识别与定位尤为重要。为此,提出了一种基于时钟循环神经网络(clockwork-recurrent neural network,CW-RNN)的光伏故障诊断策略。首先,建立了光伏阵列系统仿真模型,分析了光伏发电故障的成因,模拟了不同故障下的光伏阵列输出特征;其次,采用CW-RNN方法建立了故障诊断模型,对光伏阵列故障进行识别与定位;最后,基于实时数据库系统搭建了光伏发电故障分析平台,对所提出的故障诊断模型性能进行验证,结果表明其有效性和准确性,对光伏电站高效地进行故障准确识别与定位具有一定参考意义。

基于层级循环神经网络的多分区医疗影像智能推荐算法

针对传统的医疗影像智能推荐算法未进行数据预处理和特征向量提取,导致推荐准确度低、加速比小的问题,提出基于层级循环神经网络的多分区医疗影像智能推荐算法。首先,计算得到Gini增益,获取多分区医疗影像;其次,采用等方性处理方法对医疗影像进行插值,采用高斯滤波方法滤除医疗影像中噪声,基于此去除干扰信息;最后,将去除干扰信息后医疗影像输入到层级循环神经网络模型中,训练模型中的个数、深度、内部节点的数量,确定梯度向量,获取推荐结果。

基于循环神经网络的欧亚中高纬夏季极端高温年代际预测模型研究

近几十年来频繁发生的极端高温事件严重威胁着自然生态系统、社会经济发展和人类生命安全。针对生态环境脆弱的欧亚中高纬地区,首先评估了当前主流动力模式(CMIP6 DCPP)对于该地区夏季极端高温的年代际预测水平,并构建了基于循环神经网络(Recurrent Neural Networks,RNN)的年代际预测模型。多模式集合平均(Multi-Model Ensemble,MME)的评估结果显示,得益于大样本和初始化的贡献,当前动力模式对于60°N以南区域(South Eurasia,SEA)展现了预测技巧,准确预测出了其线性增长趋势和1968—2008年间主要的年代际变率,然而模式对于60°N以北区域(North Eurasia,NEA)极端高温的年代际变率几乎没有任何预测技巧,仅预测出比观测低的线性增长趋势。基于86个初始场的动力模式大样本预测结果,RNN将2008—2020年间NEA和SEA极端高温的年代际变率预测技巧显著提高,距平相关系数技巧从MME中的-0.61和-0.03,提升至0.86和0.83,均方差技巧评分从MME中的-1.10和-0.94,提升至0.37和0.52。RNN的实时预测结果表明,在2021—2026年,SEA区域的极端高温将持续增加,2026年很可能发生突破历史极值的极端高温事件,NEA区域在2022年异常偏低,而后将呈现波动上升。

循环神经网络和注意力增强的门控图神经网络会话推荐模型

现有大部分基于图神经网络的会话推荐系统都可较好捕捉商品在会话图中的近邻上下文关系,但少有重点关注时序关系的系统.然而,这两种关系都对电商场景下的精准推荐具有重要作用.为此,文中基于双向长短期记忆网络和门控图神经网络,提出循环神经网络和注意力增强的门控图神经网络会话推荐模型,旨在实现不同网络结构的优势互补,充分学习用户在当前会话中表现的兴趣偏好.具体地,文中模型采用并行化框架结构,分别学习电商场景下用户会话点击流中商品间的近邻上下文特征和时序关系,再分别使用注意力机制进行去噪处理,最后基于门控机制实现这两种特征间的自适应融合.在3个真实数据集上的实验表明文中模型的性能较优.文中模型代码见https://github.com/usernameAI/RAGGNN.

基于注意力机制循环神经网络的液体火箭发动机故障检测

针对液体火箭发动机主级段工作过程,采用多变量非线性时间序列分析理论,在两级注意力机制循环神经网络(Dual Stage Attention Based Recurrent Neural Networks,DA-RNN)的基础上,提出一种新型时序分析工具——卷积两级注意力机制循环神经网络(Convolutional Dual Stage Attention Based Recurrent Neural Networks,CDA-RNN),从而建立故障趋势预测模型。通过对预测残差进行自相关性分析并定义故障置信概率,提出了故障检测量化依据。利用发生微弱故障的热试车数据进行验证,结果表明,CDA-RNN模型对非稳态工作段微弱故障多参数检测具有良好鲁棒性,该方法十分有效,具有直接应用价值。

基于LSTM循环神经网络的船舶运动极短期预报

长短期记忆(LSTM)循环神经网络对于预报非线性时间序列有优势,尝试将LSTM网络应用于船舶运动极短期预报。利用某破冰船在北冰洋航行时两段典型海况下的横摇和纵摇运动实测数据,探究LSTM神经网络模型的预报精度和有效时长。研究发现,LSTM神经网络模型在海况良好、船舶的运动周期性强且主导频率突出时可以取得满意预报效果。但随着时长的增加,误差会不断累积,精确度逐步降低。在编码器-解码器逐步迭代框架基础上利用多层感知机提出直接多步预报改进模型。研究发现,改进模型可以有效减少误差积累、提高预报精度和延长有效时间,尤其在恶劣海况下预报结果改善更为显著。研究成果可以为基于神经网络开发高效准确的船舶运动极短期预报方法提供参考。

基于多任务循环神经网络带状回归模型的乳腺癌个体生存分析

针对乳腺癌病程长、疾病发展较缓和的特点,提出了一种多任务循环神经网络带状回归模型进行乳腺癌个体生存分析。首先,提出一种基于循环神经网络的多任务带状回归模型,通过识别各病理特征对不同患者之间影响的区别,优化患者个体生存分析。其次,对带状校验矩阵的形式进行拓展并研究其对患者风险分布的影响。最后,在乳腺癌真实数据集上进行生存分析,不同患者之间产生明显的差异性,验证了模型的有效性。在2个乳腺癌真实数据集上进行的生存分析结果显示,基于循环神经网络的多任务带状回归模型的一致性指数(Concordance Index, C-index)较医学上常用的Cox回归模型有较大提升,并有着更小的95%置信区间。

多船会遇场景下基于循环神经网络的船舶航速预测

为进一步提高复杂环境下的船舶航速预测精度,提出一种在多船会遇场景下基于循环神经网络(recurrent neural network,RNN)的船舶航速预测模型。从船舶自动识别系统(automatic identification system,AIS)数据中提取构成多船会遇场景的船舶航行动态信息(时间、航速等),采用插值法进行等时间间隔化处理,并构建基于RNN的船舶航速预测模型。采用长江口外水域的AIS数据,分别在不同会遇场景下进行实例验证。实验结果表明:在案例1和案例2场景下,RNN模型预测结果的平均绝对误差、均方误差、均方根误差、平均绝对百分比误差均比长短期记忆神经网络模型和支持向量机模型的小,说明RNN模型的预测精度比其他两种模型的高。

基于JEC-FDTD等效循环神经网络的电磁建模和等离子体参数反演

磁化等离子体中的电磁波传播是重要的研究课题,针对特定场景下的电磁等离子耦合问题,进行有效且准确的方程建模与参数求解具有极强的研究价值和挑战性,这是探究电磁波与等离子体复杂非线性相互作用机制的关键。文中设计了一种可用于电磁等离子体正逆向建模的循环神经网络(recurrent neural network,RNN),该网络正向传播过程等价于任意磁倾角情况下的电流密度卷积时域有限差分(current density convolution finite-difference time-domain,JEC-FDTD)方法,因此可以求解给定的电磁建模问题,并易于大规模并行计算。通过构建前向可微模拟过程,JEC-FDTD方法可以使用自动微分技术准确且高效地计算梯度,然后通过训练网络来解决反问题。因此,该方法可以有效利用观测到的时域散射场信号反演重要的等离子体参数。JEC-FDTD方法和RNN相结合,形成了较强的协同效应,使得模型具有可解释性和高效的计算效率,受益于深度学习提供的优化策略和专用硬件支持,可以适用于不同仿真场景下的电磁建模和等离子体参数反演。

基于循环神经网络的超大直径盾构掘进地表沉降预测方法研究

为了研究超大直径盾构掘进过程地面沉降规律,以武汉市和平大道南延线盾构工程为研究对象,首先收集了超大直径盾构下穿过程掘进参数和地层地质参数,并使用盾构掘进过程深跨比描述超大直径盾构影响特征;其次,通过收集现场沉降测点数据分析盾构隧道施工阶段地表沉降的影响范围,计算了90%、95%、99%三种置信区间下地表沉降影响范围;最后,选取不同范围内的多元时序数据作为输入参数,分别建立了基于贝叶斯优化算法(BO)的长短期记忆(LSTM)、BP神经网络和随机森林(RF)大直径盾构地面沉降预测模型.模型运行过程中,通过贝叶斯优化算法分别寻找三种不同模型下的最优超参数,并通过四种评价指标对比模型精度.结果如下:①在90%置信水平下三种算法均表现出最高精度,通过区间计算筛选有效输入参数能有效提高模型预测精度;②LSTM对隧道沉降的预测结果优于传统机器学习算法模型,MAPE最低达到8.91%,R^(2)达到90%.

基于循环神经网络模型的创伤重症患者临床结局的动态预测

目的 探讨基于循环神经网络(RNN)算法构建的动态预测模型用于创伤重症患者临床结局动态预测的价值,并研究动态策略和实时预测模型可行的搭建方案及路径。方法 本研究数据来源于美国重症监护医学信息数据库(MIMIC)-Ⅳ2.0。以创伤重症患者院内结局为预测目标,使用长短时记忆(LSTM)和门控循环单元(GRU)2种RNN算法分别在4、6和8 h时间窗下训练动态预测模型。使用灵敏度、特异度、F1值和AUC值对模型性能进行评价,并分析不同RNN算法和时间窗对模型性能的影响。在8 h时间窗下分别训练隐马尔科夫模型(HMM)、随机森林(RF)模型和logistic模型作为对照,横向比较2种RNN算法模型与对照模型的性能指标,并分析各模型的时间趋势变化。结果 在不同时间窗时,RNN动态模型在灵敏度、特异度、F1值和AUC值等4个性能指标上差异均有统计学意义(均P<0.001),在8 h时间窗时模型的各性能指标均高于6 h和4 h时;不同RNN算法(LSTM和GRU)间仅特异度差异有统计学意义(P=0.036)。横向比较结果显示,2种RNN算法模型和其他模型间各性能指标差异均有统计学意义(均P<0.001),2种RNN算法模型各指标均高于HMM、RF和logistic模型;各算法模型灵敏度、特异度和F1值的ICC均小于0.400(95% CI未包含0),而AUC值的ICC在统计学上证据不足(95% CI包含0)。结论 基于RNN算法的动态模型对创伤重症患者临床结局的预测效果较其他常见模型具有一定优势,且时间窗对模型性能可能存在影响。