RNN在线学习框架下CNN-LSTM模型对黄金期货价格的预测

黄金是一种特殊的金融商品,具有避险功能。黄金期货价格受多方面因素的影响,一般认为黄金期货价格变化趋势呈现非线性非平稳的时间序列,传统的预测模型难以对其进行有效的预测。文章向传统在线学习算法中加入信息传递,提出基于RNN的在线学习算法ROA(RNN-based Online Algorithm);选用芝加哥商品交易所黄金期货价格数据进行实证分析,使用CNN-LSTM作为基础预测模型,以MAE、RMSE、R^(2)作为评价指标,结果表明在所有评价指标中ROA的预测性能均优于传统在线学习算法。

基于改进DBSCAN-RNN的电力负荷建模及可调特征提取

针对面向能源消纳的电力负荷实时调控需求,以电热水器为例建立调控模型,提出一种改进DBSCANRNN算法的电力负荷可调特征提取与可调潜力挖掘方法。以改进DBSCAN聚类结果作为RNN输入获得一种深度学习新策略,基于改进DBSCAN-RNN进行电器群设定温度与天气温度、电器负荷功率的建模,考虑用户电器使用习惯,输出输入量对电器实际功率的影响因子以及电器可调功率与真实功率对应的状态方程参数。某市电热水器群实际数据结果表明所提方法可正确有效地获取海量电热水器群聚合负荷模型及其可调功率。

基于RNN算法的煤矿井下瓦斯浓度预测研究

煤矿瓦斯事故往往是由瓦斯浓度过高引起的,为使瓦斯浓度保持在安全范围内,利用Lasso回归算法实现瓦斯浓度时间序列的特征选择,并以瓦斯浓度特征集合为对象,建立了基于递归神经网络(RNN)的瓦斯浓度预测模型。以平均绝对百分比误差(MAPE)为性能指标,对RNN算法与SVR和BP神经网络算法模型进行对比分析,结果表明:RNN算法不仅提高了预测精度,而且将相对误差限制在最小范围内,具有更高的稳定性,MAPE可降低到0.305%,预测某矿1206工作面9月28日9:30瓦斯浓度为0.8019%,建议工作人员实时关注该区域瓦斯浓度变化情况并采用必要的防治措施,能够为矿井瓦斯浓度预测提供理论指导。

基于遗传优化聚类的GRU无损电力监测数据压缩

针对电力调度中心监测数据记录体量大、存储困难的问题,提出基于遗传优化K-means聚类的门控循环单元神经网络无损数据压缩方法。首先,搭建分布式集群,将多维原始电力数据聚类成相似性较高的数据块,并利用遗传算法对聚类进行寻优,提高数据聚类的效果;再通过门控循环单元神经网络训练数据编码的概率分布模型,结合算术编码对数据进行编码压缩;最后,以多个电力数据集为算例进行分析。经验证本文所提的压缩算法能实现数据的高比例压缩、优化集群性能。

HS-RNN在机械主轴振动预报方法中的研究

机械主轴在高速运行过程中由于转子质量分布不均,造成主轴振动,从而影响其加工精度,因此常常采用动平衡方法来降低此类原因造成的振动。由于机械主轴长时间工作在变化频繁的工况条件下,难以在较短的时间内对主轴振动值进行准确调节,因此机械主轴振动预报模型对动平衡调节有着重要意义。机械主轴振动预报模型机理复杂,振动幅值具有随转速变化而非线性变化的特性,难以建立精确的机械主轴振动预报模型。且内置平衡块位置的选择忽略了变化工况对位置更新参数的影响,导致机械主轴振动预报模型精度较低。采用RNN(Recurrent Neural Network)递归神经网络建立机械主轴振动预报模型,对内置平衡块不同位置和主轴转速下的振动幅值预报,并引入HS(Harmony Search)和声搜索算法对平衡块位置参数通过自学习更新,从而提高机械主轴振动预报模型的精度。实验结果表明,提出的基于HSRNN的机械主轴振动预报方法能够自动确定网络结构,并对机械主轴的振动幅值进行准确预报。

基于GRU改进RNN神经网络的飞机燃油流量预测

利用从飞机快速存储记录器(quick access recorder,QAR)中获取的大量数据设计研究了一种利用循环神经网络(recurrent neural network,RNN)及其改进网络门控循环单元(gate recurrent unit,GRU)进行飞机燃油流量预测的模型。首先使用基于时间的反向传播算法(back propagation trough time,BPTT)训练网络,Adam优化算法加速迭代更新神经网络权重。在参数调整实验中发现循环神经网络对历史信息利用能力不足,极易发生梯度消失与梯度爆炸,遂提出改进网络结构,引入GRU重构燃油流量预测模型。在最优的超参数条件下,重构模型在训练集和测试集上的损失函数均方误差(mean squared error,MSE)值分别为0.00108、0.00097。通过与朴素RNN的预测曲线和MSE对比可以发现,改进后的GRU网络能够“记忆”更多历史信息而不易出现梯度消失或梯度爆炸的问题,预测精度与曲线拟合能力显著提高。因此,GRU重构模型显著改善了预测能力,并通过实际案例验证该预测模型在故障诊断等领域的应用。

基于汉语语素对RNN语音识别系统的改进与研究

近年来,由于循环神经网络(RNN,Recurrent Neural Networks)建模技术在语音建模及语音识别方面表现出了极强的适应性,在各个大型语音公司甚至将基于RNN的改进模型应用于实际生活.本文主要基于汉语语素的特殊性对RNN提出改进方法,通过在原始RNN模型上建立双层模型,首先识别单词的声母,然后匹配识别单词,来提高语音的识别率和识别速度.结合相关的算法研究,对RNN语音模型进行改进,并在实验台上搭建改进的语音系统进行试验,与原模型对比找到改进方法的优点与不足.

一种类RNN的改进ISTA稀疏脉冲反褶积

稀疏脉冲反褶积方法对提高地震资料分辨率有着重要作用,迭代阈值收缩算法(ISTA)是其核心算法,首先利用地震数据提取子波,再利用ISTA求解反射系数.当地震子波提取不准确时,反褶积效果不理想.为此,在ISTA基础上,结合循环神经网络(RNN)中反向传播(BPTT)的思想,研究形成了一种类RNN的改进ISTA稀疏脉冲反褶积方法.该算法首先使用常规手段从实际地震数据中提取地震子波,构建反褶积的子波字典;然后将构建的地震子波字典作为已知的初始条件,结合ISTA求取的反射系数;再根据BPTT算法思想,将求取的反射系数与子波褶积并与实际数据进行比较,反向修改地震子波;最终,经过多次迭代修改获得合理的地震子波字典,并利用该地震子波字典求解实际地震数据的反射系数序列.为验证算法的有效性,采用不同信噪比的理论地震记录,给定存在较大误差的初始子波,进行了反褶积计算.采用传统的ISTA和类RNN的改进ISTA进行对比处理,结果表明,改进ISTA具有较好的抗噪能力和子波自适应能力,可使实测地震资料的有效频带拓展约1.5倍,能够较好地适应实际地震资料的反褶积处理.

基于LSTM-RNN的苏格兰鱼群迁移问题研究

本文旨在通过建立北大西洋研究海域海洋温度时间序列模型预测苏格兰鲱鱼和鲭鱼鱼群未来50年的迁移轨迹,给予周边渔业公司经营战略。首先,本文通过对影响鲱鱼和鲭鱼鱼群迁移的相关因素进行机理分析,选取适宜温度最佳阈值,接着结合研究海域的相关情况选取合适的样本点建立基于LSTM-RNN的海洋温度时间序列模型,从而给出了未来50年鱼群最可能出没的位置。同时根据预测得到的海水温度变化情况,给出鱼群位置变化的极端情况,进而为周边渔业公司提出经营策略。最后,综合考虑军事政治因素,验证了我们模型具有较强的适用性和合理性。

基于RNN的多模块大型生产设备的能耗分析

有效的能耗预测方法对智能制造有着重要的意义。传统的能耗预测主要基于单台设备各种指标和机器学习算法来进行能耗状态的判断,虽然预测效果在不断地提高,但是对需要多个模块协同作用的大型生产设备的能耗的预测效果时有不佳。提出了一种基于Pearson相关性分析、RNN算法的多模块的大型生产设备的能耗预测方法,该方法首先计算不同模块能耗的Pearson相关系数,对不同模块进行分组,再为各个分组收集多种异常状态下的数据,使用LSTM、GRU等RNN算法进行预测。实验表明,提出的方法有较高准确度、召回率、F1-score,对多模块的大型生产设备的能耗预测具有显著优势。

基于RNN-LSTM的船舶位置预测分析

针对传统马尔科夫模型在长时序跨度条件下,预测船舶的下一位置精度较低且系统复杂度较高的问题,提出了一种基于长短型记忆循环神经网络(Recurrent Neural Networks-Long Short-Term Memory,RNN-LSTM)的船舶位置预测模型。利用DBSCAN聚类算法提取历史轨迹中的目标位置序列作为预测模型的输入,降低预测系统复杂度。引入Word2Vec模型中的Skip-grams算法将目标位置转换成位置向量,提升目标位置的区分度。实验结果表明,适当调整聚类算法参数可有效提升预测精度,所提模型预测准确度也高于传统预测模型。

针对数据缺失的电力系统暂态稳定评估方法

为解决量测数据缺失时电力系统暂态稳定评估模型泛化能力不足的问题,基于多向循环神经网络和XGBoost算法,提出一种针对数据缺失的电力系统暂态稳定评估方法。首先使用多向循环神经网络修复缺失数据;然后采用完整的数据集对XGBoost模型进行训练;最后基于SHAP理论量化不同输入特征对模型输出结果的影响。此外,还提出了一种模型更新机制,在系统工况发生改变时对模型进行持续更新。在新英格兰10机39节点系统上仿真结果表明,所提方法相较于传统方法具有更好的数据修复能力,能显著提高暂态稳定评估性能。

面向煤矿混合气体检测的神经网络算法研究进展

煤矿气体传感器用于混合气体检测时测量信号之间有交叉干扰,难以保证检测准确性。对于相同的待识别气体,传统气体识别算法的识别精度低于基于神经网络的气体识别算法,神经网络通过调整其网络层、每层神经元的数量、神经元的激活函数和各层网络之间的权重等来实现更高的气体识别精度。介绍了煤矿混合气体检测系统结构,通过构建气体传感阵列,利用其多维空间气体响应模式,并结合特定的气体识别算法,实现对混合气体的定性定量识别。重点分析了几种面向煤矿混合气体检测的神经网络算法并进行了对比分析,主要包括反向传播(BP)神经网络、卷积神经网络(CNN)、循环神经网络(RNN)、径向基函数(RBF)神经网络:BP神经网络通常可以达到较高的分类精度,然而需要训练大量的参数,训练时间长,通常为了减少时长和提高精度,可以将BP神经网络与其他算法相结合;CNN可以自动提取数据特征,精度和训练速度都优于BP神经网络,但其易于陷入局部最优;RNN可以使用更少的数据并提取更有效的特征,但容易出现梯度消失等问题;RBF神经网络具有较强的鲁棒性和在线学习能力,但其通常需要大量数据完成模型训练。神经网络算法的应用将大幅提升煤矿混合气体的检测精度,保障煤矿智能化的实现。

基于长短期偏好的自适应融合推荐算法

现有的推荐算法能够以静态方式捕获用户长期兴趣特征,但忽略用户兴趣不断变化的特性,对短期动态偏好捕获无效,使推荐效果大打折扣.为有效结合用户长期和短期兴趣偏好,学习历史行为序列中蕴含的短期兴趣特征,提出了一种新的算法(RUCF),通过矩阵分解(MF)学习用户和项目信息从而捕获长期兴趣,再使用两层门控循环单元(GRU)捕获历史交互行为序列中的短期动态兴趣,最后,将长期和短期兴趣偏好自适应融合进行预测推荐.算法在门控循环单元中引入注意力机制改进更新门结构,能够学习更有价值的短期兴趣,通过MovieLens-1M和Electronics数据集上的实验结果表明:该算法能提高推荐准确性,与其他相关算法相比具有明显的优越性.

基于机器学习的高程异常建模算法及其水电工程的应用

某水电工程测区受地形复杂、植被覆盖率高等因素的影响,水准测量实施困难,采用循环神经网络RNN、反向传播BP神经网络和径向基函数RBF神经网络等3种机器学习算法,分别对试验区域高程异常进行拟合与建模,并将结果与二次曲面拟合方法进行对比。内符合与外符合精度对比发现,机器学习算法建立的高程异常模型精度高、残差小。3种方法中,径向基函数RBF神经网络更适用于研究区域的高程异常建模。此外,基于相同的机器学习算法,研究随机选取部分拟合点高程异常建模的精度发现,公共点分布更加均匀时,拟合效果更好。研究成果为复杂地形条件下水电工程项目高程异常建模提供参考。

工程优化问题中神经网络与进化算法的比较

目前工程优化问题不仅种类繁多,而且各自采用的模型与方法迥异。从方法论的高度,将现有工程优化问题分为黑箱优化与白箱优化,然后推出各自的优化模型。对于黑箱优化问题,阐述了前向神经网络在系统逼近上的优势,以及进化算法与BP算法在求解神经网络权值上的优劣;对于白箱优化问题,阐述了进化算法与反馈神经网络的优缺点和目前流行的进化算法及其通用改进策略。通过分析,可以对目前的优化问题,以及神经网络与进化算法在其中的作用,有更加全面的认识。

自适应斥力系数的无人机路径规划

使用人工势场法进行无人机路径规划时,往往存在目标不可达、运动轨迹迂回反复和路径长度过长等问题.传统的人工势场法不能根据环境具体信息对斥力系数进行调整,而现有的改进方法不能在自适应调整斥力系数的同时兼顾规划效果和规划时长.针对以上问题,提出了一种基于深度学习的无人机自适应斥力系数路径规划方法.首先通过融合遗传算法与人工势场法找出在特定环境下最合适的斥力系数样本集,其次利用该样本集训练残差神经网络,最后通过残差神经网络计算适应环境的斥力系数,进而使用人工势场法进行路径规划.仿真实验表明,该方法在一定程度上解决了人工势场法规划中目标不可达、运动轨迹迂回反复和路径长度过长等问题,规划效果和规划时长方面均有优异表现,能很好地满足无人机路径规划中对当前环境的自适应要求和快速规划的要求.

基于遗传算法改进的一阶滞后滤波和长短期记忆网络的蓝藻水华预测方法

河湖藻类水华形成过程中所具有的突发性和不确定性,导致对藻类水华爆发预测准确性不高。为解决此问题,以叶绿素a的浓度值作为蓝藻水华演化过程表征指标,提出基于长短期记忆(LSTM)循环神经网络(RNN)蓝藻水华预测模型。首先,用遗传算法改进的一阶滞后滤波(GF)优化算法对数据进行平滑滤波处理;然后,搭建GFLSTM网络的蓝藻水华预测模型,实现对水华发生的精准预测;最后,以太湖水域梅梁湖区域的采样数据为样本,对预测模型进行检验,并与传统的RNN和LSTM网络进行对比。仿真结果表明,提出的GF-LSTM网络模型平均相对误差控制在16%~18%,而RNN模型的预测平均相对误差为28%~32%,LSTM网络模型的平均相对误差为19%~22%,对采用数据的平滑性处理效果较好,预测精度更高,对样本具有更好的适应性,克服了传统RNN模型在长期训练时出现的梯度消失与梯度爆炸缺点。

随机神经网络发展现状综述

随机神经网络 (RNN)在人工神经网络中是一类比较独特、出现较晚的神经网络 ,它的网络结构、学习算法、状态更新规则以及应用等方面都因此具有自身的特点 .作为仿生神经元数学模型 ,随机神经网络在联想记忆、图像处理、组合优化问题上都显示出较强的优势 .在阐述随机神经网络发展现状、网络特性以及广泛应用的同时 ,专门将RNN分别与Hopfield网络、模拟退火算法和Boltzmann机在组合优化问题上的应用进行了分析对比 ,指出RNN是解决旅行商 (TSP)

基于物品嵌入向量的会话型推荐算法

传统基于会话的推荐算法主要利用点击物品的时序信息进行建模,忽略了挖掘物品的特征信息,且未利用物品之间的相似性。为提升推荐效果,提出一种新的基于会话的推荐算法SR-I2V。通过Skip-gram模型和层次softmax优化方法学习物品的嵌入向量,由意图递进公式对已发生的物品点击提取出意图特征向量,并根据特征向量相似度计算出每个候选项的推荐分数。实验结果表明,与I2I、Po P和S-POP等传统基于会话的推荐算法相比,该算法在Yoochoose和Diginetica两个数据集上的推荐召回率分别提高了至少4.67个百分点和3.97个百分点,平均倒数排名指标也有相应提高。