一种新型复合指数型局部有源忆阻器耦合的Hopfield神经网络

由忆阻耦合的神经网络模型,因其能更真实地反映生物神经系统的复杂动力学特性而被广泛研究.目前用于耦合神经网络的忆阻器数学模型主要集中在一次函数、绝对值函数、双曲正切函数等,为进一步丰富忆阻耦合神经网络模型,且考虑到一些掺杂半导体中粒子的运动规律,设计了一种新的复合指数型局部有源忆阻器,并将其作为耦合突触用于Hopfield神经网络,利用基本的动力学分析方法,研究了系统在不同参数下的动力学行为,以及在不同初始值下多种分岔模式共存的现象.实验结果表明,忆阻突触内部参数对系统具有调控作用,且该系统拥有丰富的动力学行为,包括对称吸引子共存、非对称吸引子共存、大范围的混沌状态和簇发振荡等.最后,用STM32单片机对系统进行了硬件实现.

基于模型嵌入循环神经网络的损伤识别方法

目前,绝大多数基于深度学习的结构损伤识别方法依靠深度神经网络自动提取结构的损伤敏感特征,并通过损伤状态之间特征的差异实现模式分类识别.然而,这些方法面临着损伤量化难度大的挑战,并且需要大量的模型训练数据.本文提出基于模型嵌入循环神经网络(Model-Embedding Recurrent Neural Network,MERNN)的损伤识别方法.首先,通过数据驱动的卷积神经网络(Convolutional Neural Network,CNN)建立荷载-响应之间的映射关系,然后,利用龙格库塔法改进传统的循环神经网络,建立基于循环神经网络架构的数值计算单元.最后,基于结构响应计算值与实测响应残差构成的损失函数与神经网络的自动微分机制来实现结构刚度参数的更新,进而实现结构损伤识别.数值模拟框架与实验室的3层剪切型框架的损伤识别结果表明,本文提出的方法能基于少量响应数据准确量化结构损伤.

混合图神经网络和门控循环网络的短期光伏功率预测

为了能从大量历史光伏发电数据中提取出有效的时序特征以及在非欧几里得域中的关联,建立了基于混合图神经网络以及门控循环网络的短期光伏功率预测模型。该模型首先通过最邻近分类算法生成气象及出力数据的最邻近图,再将其结合图神经网络作为编码器对气象及出力数据进行编码形成时间序列,最后通过门控循环网络以及全连接层解码输出光伏功率预测结果。通过仿真分析验证,该模型具有更优的特征挖掘能力和分析性能,能更好地突出某时间节点的气象及出力数据特征,适应天气突变带来特征变化,从而提升光伏预测整体模型的表达能力。

基于改进门控循环神经网络的采煤机滚筒调高量预测

采煤机自适应截割技术是实现综采工作面智能化开采的关键技术。针对采煤机在复杂煤层下自动截割精度较低的问题,提出了一种基于改进门控循环神经网络(GRU)的采煤机滚筒调高量预测方法。鉴于截割轨迹纵向及横向相邻数据之间的相关性,采用定长滑动时间窗法对获取的采煤机滚筒高度数据进行预处理,将输入数据划分为连续、大小可调的子序列,同时处理横向、纵向的特征信息。为提高模型预测效率,满足循环截割的实时性要求,提出了一种用因果卷积改进的门控循环神经网络(CC-GRU),对输入数据进行双重特征提取和双重数据过滤。CC-GRU利用因果卷积提前聚焦序列纵向的局部时间特征,以减少计算成本,提高运算速度;利用门控机制对卷积得到的特征进行序列化建模,以捕捉元素之间的长期依赖关系。实验结果表明,采用CC-GRU模型对采煤机滚筒调高量进行预测,平均绝对误差(MAE)为43.80 mm,平均绝对百分比误差(MAPE)为1.90%,均方根误差(RMSE)为50.35 mm,决定系数为0.65,预测时间仅为0.17 s;相比于长短时记忆(LSTM)神经网络、GRU、时域卷积网络(TCN),CC-GRU模型的预测速度较快且预测精度较高,能够更准确地对采煤机调高轨迹进行实时预测,为工作面煤层模型的建立和采煤机调高轨迹的预测提供了依据。

联合张量补全与循环神经网络的时间序列插补法

现存的插补方法大致分为基于统计的插补法和基于深度学习的插补法。基于统计的插补法只能捕捉线性时间关系,导致无法精准建模时间序列的非线性关系;基于深度学习的插补法往往没有考虑到不同时间序列之间的相关性。针对现有方法的问题,本文提出了联合张量补全与循环神经网络的时间序列插补法。首先,将多元时间序列建模成张量,通过张量的低秩补全捕获不同时间序列之间的关系。其次,提出了一个基于时间的动态权重,将张量插补结果和循环神经网络的预测结果进行融合,避免因为连续缺失导致的预测误差累积。最后,在多个真实的时间序列数据集上对所提方法进行了实验评估,结果显示该模型优于已有相关模型,且基于插补后的时间序列可以提升时间序列预测效果。

基于循环神经网络的GDP预测研究与分析

GDP(Gross Domestic Product)和人均GDP是一个国家经济实力的标志性指标,反映一个国家经济发展状况。通过世界银行提供各国1976年以来的GDP和人均GDP数据对LSTM(Long Short-Term Memory)网络进行了训练,用训练好的LSTM网络对6个国家的人均GDP进行了预测。通过对预测值和实际值的比较,结果显示LSTM网络对人均GDP的预测效果明显优于传统的统计学方法。

基于自注意力和门控循环神经网络的雷达回波外推算法研究

为提升现有神经网络对雷达回波序列的时、空特征提取能力,建立外推性能更优的时、空序列预测模型,开展雷达回波外推算法改进研究。基于深圳市气象局与中国香港天文台共同建立的雷达回波数据集,在数据处理层面,通过改进对雷达回波图像序列归一化的方法,提升了常用的5种时、空序列预测模型对强回波的预测水平;在模型算法层面,将两个联立的自注意力结构引入ST-LSTM结构,组成新的循环门控单元,并将这些循环门控单元进行堆叠,建立ST-SARNN模型。选用CSI和POD作为精度评价指标,进行模型对比分析得到:(1)改进的归一化方法提升了近几年内常用的5种时、空序列预测模型对强回波的预测水平。(2)加入自注意力的ST-SARNN模型对雷达回波的预测性能显著优于ConvLSTM、PredRNN和MIM等模型。改进的归一化方法能改变样本数据分布,并在一定程度上提升模型外推性能;自注意力结构能够有效挖掘雷达回波序列的时、空特征,进而改进神经网络的外推表现。

循环神经网络模型下道路碳排放浓度预测

以湖南省永州市永州大道基本路段CO_(2)浓度时序数据为研究对象,旨在实现道路CO_(2)浓度的实时预测。测得用于模型训练和预测精度计算的路段CO_(2)浓度数据,利用Savitzky-Golay滤波器对数据进行平滑去噪,在调试并建立循环神经网络最优模型结构的基础上,引入多元预测模型(MLR、SVR、BP)和时序预测模型(BP、RF、RNN、LSTM、GRU)进行预测性能对比,为路段CO_(2)浓度的实时预测提供参照。结果表明:时序预测模型相比于多元预测模型具有更好的预测效果,特别是循环神经网络模型中的GRU表现出较高的预测精度,其次是LSTM,最后是RNN;循环神经网络模型在处理路段CO_(2)浓度时序数据的训练和预测任务中具备突出性能,能够实时且精准预测道路路段CO_(2)浓度。

基于时钟循环神经网络的光伏故障诊断

光伏电站大多地处恶劣环境,遭受风沙雨雪腐蚀,电池板容易出现多类型故障,如何对故障进行有效识别与定位尤为重要。为此,提出了一种基于时钟循环神经网络(clockwork-recurrent neural network,CW-RNN)的光伏故障诊断策略。首先,建立了光伏阵列系统仿真模型,分析了光伏发电故障的成因,模拟了不同故障下的光伏阵列输出特征;其次,采用CW-RNN方法建立了故障诊断模型,对光伏阵列故障进行识别与定位;最后,基于实时数据库系统搭建了光伏发电故障分析平台,对所提出的故障诊断模型性能进行验证,结果表明其有效性和准确性,对光伏电站高效地进行故障准确识别与定位具有一定参考意义。

基于循环神经网络的工程专业语义智能分析方法研究

针对传统翻译方法学习能力差、翻译质量较低的问题,提出了一种基于循环神经网络的专业英语机器翻译方法。该方法以编码器-解码器为模型框架,利用改进的循环卷积神经网络对输入数据加以训练。同时编码器使用多头注意力机制对输入数据进行共同训练,进而使算法兼具局部与全局特性。解码器单层则采用三子层结构,分别为多头注意力子层、上下文信息子层及全连接子层,可保证句子翻译的流畅性。在实验测试中,所提算法的BLEU值与其他算法相比提升了2.7;而在专业语料翻译测试中,相较于网络翻译,该算法的准确性和流畅度均更优,由此表明其性能较好,具有一定的工程应用价值。

基于门控循环神经网络的边缘服务中心风光荷组合预测方法

边缘计算因数据处理快、低成本和高实时等优点近年来在能源行业中受到广泛关注,而在边缘服务器上开展预测有助于对能源精细化管控。因此,针对边缘服务资源的有限性,基于差分自回归整合移动平均(autoregressive integrated moving average,ARIMA)模型和门控循环单元(gated recurrent unit,GRU)神经网络,提出考虑线性和非线性特征的风、光、荷组合预测方法。ARIMA用于提取源、荷的线性特征,将其与真实值进行拟合,得到包含非线性特征的残差。其次,将残差作为GRU的训练数据集建立预测模型,再引入剪枝和量化方法优化及压缩GRU模型,减小预测模型规模,以适应边缘服务器部署。大量仿真结果表明,所构建的GRU压缩模型规模小、预测精度高,适合边缘服务器的部署应用。

循环神经网络和注意力增强的门控图神经网络会话推荐模型

现有大部分基于图神经网络的会话推荐系统都可较好捕捉商品在会话图中的近邻上下文关系,但少有重点关注时序关系的系统.然而,这两种关系都对电商场景下的精准推荐具有重要作用.为此,文中基于双向长短期记忆网络和门控图神经网络,提出循环神经网络和注意力增强的门控图神经网络会话推荐模型,旨在实现不同网络结构的优势互补,充分学习用户在当前会话中表现的兴趣偏好.具体地,文中模型采用并行化框架结构,分别学习电商场景下用户会话点击流中商品间的近邻上下文特征和时序关系,再分别使用注意力机制进行去噪处理,最后基于门控机制实现这两种特征间的自适应融合.在3个真实数据集上的实验表明文中模型的性能较优.文中模型代码见https://github.com/usernameAI/RAGGNN.

采用门控循环单元神经网络和多特征融合的铣削刀具磨损监测

为实现汽车发动机缸盖生产中刀具磨损状态的监测,提高刀具磨损监测方法的计算效率和识别精度,基于门控循环单元神经网络和多特征融合方法提出了面向铣刀后刀面磨损带宽度识别的刀具状态监测方法。通过铣削力信号数据对所提出方法的有效性进行了验证,分析了不同超参数设置对模型识别精度的影响机制,给出了最优超参数,实现了对铣削刀具磨损的精确识别。

基于循环神经网络的欧亚中高纬夏季极端高温年代际预测模型研究

近几十年来频繁发生的极端高温事件严重威胁着自然生态系统、社会经济发展和人类生命安全。针对生态环境脆弱的欧亚中高纬地区,首先评估了当前主流动力模式(CMIP6 DCPP)对于该地区夏季极端高温的年代际预测水平,并构建了基于循环神经网络(Recurrent Neural Networks,RNN)的年代际预测模型。多模式集合平均(Multi-Model Ensemble,MME)的评估结果显示,得益于大样本和初始化的贡献,当前动力模式对于60°N以南区域(South Eurasia,SEA)展现了预测技巧,准确预测出了其线性增长趋势和1968—2008年间主要的年代际变率,然而模式对于60°N以北区域(North Eurasia,NEA)极端高温的年代际变率几乎没有任何预测技巧,仅预测出比观测低的线性增长趋势。基于86个初始场的动力模式大样本预测结果,RNN将2008—2020年间NEA和SEA极端高温的年代际变率预测技巧显著提高,距平相关系数技巧从MME中的-0.61和-0.03,提升至0.86和0.83,均方差技巧评分从MME中的-1.10和-0.94,提升至0.37和0.52。RNN的实时预测结果表明,在2021—2026年,SEA区域的极端高温将持续增加,2026年很可能发生突破历史极值的极端高温事件,NEA区域在2022年异常偏低,而后将呈现波动上升。

基于注意力机制循环神经网络的液体火箭发动机故障检测

针对液体火箭发动机主级段工作过程,采用多变量非线性时间序列分析理论,在两级注意力机制循环神经网络(Dual Stage Attention Based Recurrent Neural Networks,DA-RNN)的基础上,提出一种新型时序分析工具——卷积两级注意力机制循环神经网络(Convolutional Dual Stage Attention Based Recurrent Neural Networks,CDA-RNN),从而建立故障趋势预测模型。通过对预测残差进行自相关性分析并定义故障置信概率,提出了故障检测量化依据。利用发生微弱故障的热试车数据进行验证,结果表明,CDA-RNN模型对非稳态工作段微弱故障多参数检测具有良好鲁棒性,该方法十分有效,具有直接应用价值。

基于多任务循环神经网络带状回归模型的乳腺癌个体生存分析

针对乳腺癌病程长、疾病发展较缓和的特点,提出了一种多任务循环神经网络带状回归模型进行乳腺癌个体生存分析。首先,提出一种基于循环神经网络的多任务带状回归模型,通过识别各病理特征对不同患者之间影响的区别,优化患者个体生存分析。其次,对带状校验矩阵的形式进行拓展并研究其对患者风险分布的影响。最后,在乳腺癌真实数据集上进行生存分析,不同患者之间产生明显的差异性,验证了模型的有效性。在2个乳腺癌真实数据集上进行的生存分析结果显示,基于循环神经网络的多任务带状回归模型的一致性指数(Concordance Index, C-index)较医学上常用的Cox回归模型有较大提升,并有着更小的95%置信区间。

基于循环神经网络的超大直径盾构掘进地表沉降预测方法研究

为了研究超大直径盾构掘进过程地面沉降规律,以武汉市和平大道南延线盾构工程为研究对象,首先收集了超大直径盾构下穿过程掘进参数和地层地质参数,并使用盾构掘进过程深跨比描述超大直径盾构影响特征;其次,通过收集现场沉降测点数据分析盾构隧道施工阶段地表沉降的影响范围,计算了90%、95%、99%三种置信区间下地表沉降影响范围;最后,选取不同范围内的多元时序数据作为输入参数,分别建立了基于贝叶斯优化算法(BO)的长短期记忆(LSTM)、BP神经网络和随机森林(RF)大直径盾构地面沉降预测模型.模型运行过程中,通过贝叶斯优化算法分别寻找三种不同模型下的最优超参数,并通过四种评价指标对比模型精度.结果如下:①在90%置信水平下三种算法均表现出最高精度,通过区间计算筛选有效输入参数能有效提高模型预测精度;②LSTM对隧道沉降的预测结果优于传统机器学习算法模型,MAPE最低达到8.91%,R^(2)达到90%.

基于双胞循环神经网络的雷达捷变频行为识别

雷达程控捷变频行为具有一定的抗窄带瞄准式干扰能力,同时能够实现测量和动目标指示等功能,给干扰引导带来一定的困难。对此,提出随机频率模板的方法,对雷达程控捷变频行为进行建模,并设计了一种双胞循环神经网络识别程控捷变频行为。仿真实验结果表明,双胞循环神经网络能够有效识别雷达程控捷变频行为,并以一定的概率预测未来的频率序列,能够有效地为窄带瞄准式干扰提供引导。仿真结果也表明,所提网络能够有效记忆和识别一组非线性时间序列。

多船会遇场景下基于循环神经网络的船舶航速预测

为进一步提高复杂环境下的船舶航速预测精度,提出一种在多船会遇场景下基于循环神经网络(recurrent neural network,RNN)的船舶航速预测模型。从船舶自动识别系统(automatic identification system,AIS)数据中提取构成多船会遇场景的船舶航行动态信息(时间、航速等),采用插值法进行等时间间隔化处理,并构建基于RNN的船舶航速预测模型。采用长江口外水域的AIS数据,分别在不同会遇场景下进行实例验证。实验结果表明:在案例1和案例2场景下,RNN模型预测结果的平均绝对误差、均方误差、均方根误差、平均绝对百分比误差均比长短期记忆神经网络模型和支持向量机模型的小,说明RNN模型的预测精度比其他两种模型的高。

基于深度自回归循环神经网络的边缘负载预测

为了更好地支持边缘计算服务提供商进行资源的提前配置与合理分配,负载预测被认为是边缘计算中的一项重要的技术支撑.传统的负载预测方法在面对具有明显趋势或规律性的负载时能取得良好的预测效果,但是它们无法有效地对边缘环境中高度变化的负载取得精确的预测.此外,这些方法通常将预测模型拟合到独立的时间序列上,进而进行单点负载实值预测.但是在实际边缘计算场景中,得到未来负载变化的概率分布情况会比直接预测未来负载的实值更具应用价值.为了解决上述问题,本文提出了一种基于深度自回归循环神经网络的边缘负载预测方法(Edge Load Prediction with Deep Auto-regressive Recurrent networks,ELP-DAR).所提出的ELP-DAR方法利用边缘负载时序数据训练深度自回归循环神经网络,将LSTM集成至S2S框架中,进而直接预测下一时间点负载概率分布的所有参数.因此,ELP-DAR方法能够高效地提取边缘负载的重要表征,学习复杂的边缘负载模式进而实现对高度变化的边缘负载精确的概率分布预测.基于真实的边缘负载数据集,通过大量仿真实验对所提出ELP-DAR方法的有效性进行了验证与分析.实验结果表明,相比于其他基准方法,所提出的ELP-DAR方法可以取得更高的预测精度,并且在不同预测长度下均展现出了优越的性能表现.