偏置剪枝叠式自编码回声状态网络的时序预测

针对大多数模型对时间序列预测数据的预测准确率较低,为提升时间序列的预测精度,提出一种基于Biased Drop-weight的偏置剪枝叠式自编码回声状态网络(BD-AE-SGESN)的深度模型。以叠式ESN为多层深度网络框架,提出一种生成式AE算法生成每一层的输入权值,利用BD算法根据输入权重激活值进行剪枝。对比实验结果表明,该模型能够有效提升预测准确率,在3个不同的数据上,相比其它模型有着较小的预测误差和较高的稳定度。

具有双储层结构的动态误差补偿回声状态网络

针对传统回声状态网络难以有效应对高阶非线性复杂模型问题,本文在理论分析的基础上提出了一种双储层结构的误差补偿回声状态网络,并设计了该网络的学习算法.该网络由计算层和补偿层构成,计算层主要承担拟合任务,补偿层则作为状态跟随器,实时补偿由于计算层对期望方差估计不足而导致的幅值偏差.对多阶振荡器和真实高阶非线性数据集的实验结果表明,本文所提网络结构较常规网络具有更高的稳定性和泛化性能,尤其对高阶非线性复杂模型的预测精度大幅度提升.

基于宽度回声状态网络的菜籽油加工参数自动决策方法研究

目的 实现菜籽油生产过程中加工参数的自动给定,研究基于人工神经网络的自动决策方法。方法 利用菜籽油加工过程的检测数据,建立一种宽度回声状态网络模型对加工参数与危害物的内在映射关系进行建模;在危害物含量要求下,利用此模型可实现加工过程参数的自动给定。结果 以脱臭工序为例的实验表明,所提方法能够有效利用已知变量自动计算出加工参数,宽度回声状态网络的计算精度优于其他几种典型循环神经网络模型。结论 所提方法可有效提升菜籽油加工过程危害物的自动控制水平,进而提升加工过程的科学性和规范性。

回声状态网络的可见光通信系统空间相关性研究

可见光通信系统的空间相关性会对系统信道容量以及系统性能产生巨大的影响,为此对回声状态网络下的可见光通信系统空间相关性进行研究。基于回声状态网络设计通信信道模型,分别计算直射链路以及非直射链路的信道直流增益效果,在通信函数的基础上建立可见光通信模型,并设置回声状态网络连接矩阵;分析可见光通信系统空间相关性,获取接收机热噪声的系数比;在发射与接收端口建立矩阵结构,依据接收角的集中增益系数,更新信号接收集中增益比;计算空间相关容量误差,以此获取相关系数。实验结果显示,2*2信道容量下,三种频率的空间相关性分别在链路距离为80 m、100 m和150 m时归零,2*4信道容量的最大链路距离则为140 m、190 m、230 m,信道容量和中心点频率均对空间相关性具有正向影响。

基于注意力机制回声状态神经网络的混沌系统预测

混沌系统在电路、保密通讯、加密解密等方面具有重要的研究意义.由于其对初值非常敏感,传统的统计学时间序列预测方法在处理混沌时间序列预测问题是具有挑战的.回声状态网络是一种特殊的循环神经网络,在复杂动态系统动力学与控制方面具有优势.经典的回声状态网络将每个样本置于同一地位,然而实际问题中不同的样本的重要性往往是有差异的.本文提出注意力机制回声状态神经网络模型,将回声状态网络与注意力机制相结合体现样本之间的差异性以及样本之间的相互作用对预测的影响.对混沌系统的预测结果表明注意力机制回声状态神经网络具有更好的预测性能.

基于改进和声搜索算法的回声状态网络优化研究

为了解决回声状态网络(ESN)中的输入权值及储蓄池权值采用随机初始化经常会导致结果输出不稳定的问题,提出一种基于和声搜索算法(HS)的回声状态网络模型HS-ESN,该模型通过和声搜索算法可以不断搜索并更新ESN的权值矩阵来得到一个相对较优的输入权值和储蓄池权值,从而达到优化网络的目的;之后对HS算法进行了改进,采用Griewank函数的倒数加以验证,在MackeyGlass_17序列数据集上,对原ESN、XESN、HS-ESN以及改进后的HS-ESN进行了不同储蓄层及不同迭代次数的实验,结果表明HS-ESN与改进后的HS-ESN网络的评价误差值均较低,即经过HS算法优化后,ESN网络的性能得到了明显的提升.

多元时间序列的回声状态网络模型表达与分类

回声状态网络(echo state network,ESN)的储备池结构不仅能充分挖掘序列数据中动态信息,也进一步提高了训练效率。然而目前基于ESN的算法难以达到复杂神经网络的精度,为此提出一种基于生成模型距离度量的多元时间序列学习与分类方法。利用ESN在动态数据表示的优势将低维动态原始输入映射到高维静态空间,再拟合储备池状态序列的生成模型作为数据的模型表达,结合原型推理,基于生成模型集合张成的空间中原型与输入的距离进行分类,其结果能通过在模型读出空间的相似原型来推导,具有可解释性。基准数据集上的实验验证了该方法在算法实时性和分类性能上的优势。

基于优化回声状态网络的溶解氧预测建模

溶解氧是水体质量的一个重要参数,合适的溶解氧浓度有利于水产品的生长发育,预测溶解氧变化对水产养殖环境预警有重要的意义。以准确快速预测溶解氧的变化为目标,设计了一种基于优化回声状态网络(ESN)的水产养殖中溶解氧的预测模型。将双向构造训练样本的方法和ESN模型相集成以构建溶解氧预测模型,解决了传统ESN模型存在的网络自由参数定值的问题,以及在储备池规模较大情况下模型泛化性能恶化的问题,很好地解决了在水产养殖中无法快速且准确地预测溶解氧变化的问题。测试对比结果表明,优化后的ESN模型具有良好的鲁棒性;同时在储备池较大规模的情况下,能有效减弱传统ESN出现的过拟合现象,增强了模型的泛化性能。

基于随机拓扑优化提升回声状态网络的交通流预测

交通流预测是交通智慧化的重要任务。为了提高短时交通流的预测精度,解决单一模型预测精度不足、易受噪声干扰等特点,提出了一种基于随机拓扑优化的提升回声状态网络(echo state networks, ESN)的预测方法。该方法以简单的回声状态网络为基本构成单元,利用随机拓扑优化策略对回声状态网络的拓扑结构进行优化选择,然后利用基于误差补偿的提升算法提高整体模型的预测精度。通过对随机拓扑优化策略和提升算法在实际交通流预测问题中的性能分析,验证了所提方法的可行性和有效性,同时可为其他弱预测学习器的学习性能改进提供参考。

基于改进回声状态网络的锂离子电池剩余使用寿命预测

锂离子电池凭借其优越的性能被广泛用于纯电动汽车及大型电气系统。然而,随着锂离子电池循环充放电,电池性能大幅度衰退,会间接导致用电系统的性能衰退或发生故障。因此,准确预测锂离子电池剩余有效寿命(RUL),能够保障电池安全可靠运行。为了提高锂离子电池RUL的预测精度,提出了一种基于改进粒子群算法(IPSO)回声状态网络(ESN)的锂离子电池RUL预测方法,实现在线准确预测锂离子电池RUL。首先,通过遗传算法(GA)的交叉和变异操作优化PSO,提高粒子局部与全局寻优能力。然后通过GA-PSO对ESN网络参数进行优化,建立退化预测模型,利用NASA公开的锂离子电池实验数据进行仿真实验。结果表明,在相同数据集条件下,与改进粒子群算法和门控循环单元(IPSO-GRU)神经网络、遗传算法的极端学习机(GA-ELM)、非线性自回归(NARX)动态神经网络、改进蚁狮优化算法支持向量回归(IALO-SVR)、间接健康指标与ESN的预测方法相比,GA-PSO-ESN有更高的预测精度、稳定性和泛化能力,表明了该方法的有效性。

基于状态回声网络的电梯曳引轮轮槽磨损安全性评价

目前针对磨损安全性评价的方法主要按照磨损状态进行人为判断,缺乏定量分析基础。为准确评价电梯曳引轮轮槽磨损安全性,提出了基于状态回声网络的电梯曳引轮轮槽磨损安全性评价方法。首先提取电梯曳引轮轮槽磨损特征,然后将特征作为回声网络的输入,将电梯曳引轮轮槽磨损安全值作为输出,通过回声网络训练和学习,建立电梯曳引轮轮槽磨损安全性评价模型。测试结果表明,该方法的电梯曳引轮轮槽磨损安全性评价误差小,可准确评价电梯曳引轮轮槽磨损安全性。

遗传算法优化回声状态网络的网络流量预测

网络流量预测是网络拥塞控制与网络管理的一个重要问题.网络流量时间序列具有时变、非线性特征,导致传统时间序列预测方法预测精度比较低,无法建立精确的预测模型.回声状态网络(echo state network,ESN)在非线性混沌系统预测与建模方面有着良好的性能,非常适合网络流量的预测.为了提高网络流量的预测精度,提出一种基于遗传算法(genetic algorithm,GA)优化回声状态网络的网络流量非线性预测方法.首先利用回声状态网络对网络流量进行预测;然后利用遗传算法对回声状态网络预测模型中的储备池参数进行优化,提高预测模型的预测精度.通过中国联合网络通信公司辽宁分公司采集的实际网络流量数据进行了仿真验证.与差分自回归滑动平均模型(auto regressive integrated moving average,ARIMA)、Elman神经网络以及最小二乘支持向量机(least square support vector machine,LSSVM)这3种常见预测模型进行了对比,仿真结果表明提出的方法具有更高的预测精度与更小的预测误差,更能刻画网络流量复杂的变化特点.

基于数据的改进回声状态网络在高炉煤气发生量预测中的应用

以钢铁企业高炉煤气系统这一复杂生产过程为背景,针对高炉煤气发生量的预测问题,提出一种基于数据的网络模型预测方法.鉴于生产数据含噪高的特点,采用经验模态分解将历史数据分解为若干独立的固有模态函数,将小尺度函数经低通滤波器自适应去噪后,再对数据重构以建立预测模型.在建模过程中提出一种改进的回声状态网络,通过奇异值分解求取网络输出权值,克服了线性回归算法出现的病态问题,提高了模型的预测精度.现场实际数据预测结果表明所提出方法的有效性,为制定煤气管网平衡调度方案提供科学的决策支持.

基于混沌理论与改进回声状态网络的网络流量多步预测

网络流量预测是网络管理及网络拥塞控制的重要问题,针对该问题提出一种基于混沌理论与改进回声状态网络的网络流量预测方法。首先利用0-1混沌测试法与最大Lyapunov指数法对不同时间尺度下的网络流量样本数据进行分析,确定网络流量在不同时间尺度下都具有混沌特性。将相空间重构技术引入网络流量预测,通过C-C方法确定延迟时间,G-P算法确定嵌入维数。对网络流量时间序列进行相空间重构之后,利用一种改进的回声状态网络进行网络流量的多步预测。提出一种改进的和声搜索优化算法对回声状态网络的相关参数进行优化以提高预测精度。利用网络流量的公共数据集以及实际数据进行了仿真,结果表明,提出的预测方法具有更高的预测精度以及更小的预测误差。

基于模块化回声状态网络的实时电力负荷预测

电力负荷预测特别是实时电力负荷预测是电力系统规划的重要组成部分,也是电力系统可靠、经济运行的基础。针对回声状态神经网络在实时负荷预测中存在易受噪声影响、鲁棒性不强、不稳定的问题,提出了将基于模块化回声状态网络的方法应用于实时电力负荷预测中。根据输入时序数据所引起的储蓄池内部状态的相似性对储蓄池空间进行模块划分,将此高维空间划分为多个子模块,针对每一个模块训练一个读出器,最后把各个模块的输出结果集成输出。利用模块化回声状态网络模型,对大客户的实时负荷数据进行预测,并与几种短期负荷预测模型进行精度和稳定性的对比实验,结果表明,模块化回声状态网络在实时负荷预测中既提高了预测精度,又增强了预测的稳定性和泛化性能。

基于回声状态网络的时间序列预测方法研究

针对回声状态网络（Echo State Networks，ESNs）输入序列延迟时间（和嵌入维数D的选择以及储备池的适应性问题，利用自相关性分析法从被预测样本序列构建ESNs网络输入，并通过移动通信话务量的预测问题，采用实验分析的方法讨论了储备池参数选择对于时间序列预测性能的影响.与采用ARMA和BP神经网络的预测方法相比，新方法在保证预测精度和效率的情况下，具有更好的泛化能力.

基于改进回声状态网络的高炉煤气产耗预测

以钢铁企业高炉煤气系统为背景,针对其产生量和消耗量的预测问题,提出一种改进回声状态网络时间序列方法进行系统仿真预测,并根据最小均方差准则,以最小化网络训练误差为目标,采用随机梯度下降法对网络参数进行优化。该方法对于不同预测对象,可计算出合适的网络连接权值、储备池谱半径等参数,避免了传统回声状态网络方法中单凭经验选择网络参数的现状,提高了预测精度。采用该方法对高炉煤气系统现场实际产耗数据进行了仿真预测,仿真结果表明所提出方法的有效性。

基于贝叶斯框架和回声状态网络的日最大负荷预测研究

为克服神经网络中的伪回归问题,对标准的回声状态网络进行改进,用贝叶斯理论提高网络的泛化能力。在实证算例分析中,采用某地区的实际负荷数据和相关气候数据,对该地区的日最大负荷进行预测,验证所提方法的有效性和适用性。对比试验的预测结果表明,改进的回声状态网络比标准回声状态网络和前馈神经网络预测效果更精确,网络泛化能力更强。

多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.

一种基于L_1范数正则化的回声状态网络

针对回声状态网络存在的病态解以及模型规模控制问题,本文提出一种基于L1范数正则化的改进回声状态网络.该方法通过在目标函数中添加L1范数惩罚项,提高模型求解的数值稳定性,同时借助于L1范数正则化的特征选择能力,控制网络的复杂程度,防止出现过拟合.对于L1范数正则化的求解,采用最小角回归算法计算正则化路径,通过贝叶斯信息准则进行模型选择,避免估计正则化参数.将模型应用于人造数据和实际数据的时间序列预测中,仿真结果证明了本文方法的有效性和实用性.