基于变分模态分解与鲸鱼算法优化回声状态网络的风速预测模型

风速受多种因素影响常伴随着随机性和非平稳性,给风电接入电网造成了相当大的困难,准确的风速预测对风力发电有着极大的研究意义。将变分模态分解算法与鲸鱼算法优化回声状态网络模型相结合,提出了一种风速预测模型。首先通过变分模态分解算法将风速序列分解成多个分量以减少风速内部信号间的耦合性,降低建模难度。然后对这些分量分别建立对应的回声状态网络预测模型。针对回声状态网络模型性能受储备池参数影响较大的问题,采用鲸鱼优化算法对储备池参数进行优化。风速的最终预测值由分解后各分量预测值相加得到。最后,将实际采集的短期风速数据作为研究对象,通过与其他4种预测模型的对比分析表明提出的风速预测模型具有更高的预测精度,能够更好地对风速的变化趋势进行预测。

偏置剪枝叠式自编码回声状态网络的时序预测

针对大多数模型对时间序列预测数据的预测准确率较低,为提升时间序列的预测精度,提出一种基于Biased Drop-weight的偏置剪枝叠式自编码回声状态网络(BD-AE-SGESN)的深度模型。以叠式ESN为多层深度网络框架,提出一种生成式AE算法生成每一层的输入权值,利用BD算法根据输入权重激活值进行剪枝。对比实验结果表明,该模型能够有效提升预测准确率,在3个不同的数据上,相比其它模型有着较小的预测误差和较高的稳定度。

具有双储层结构的动态误差补偿回声状态网络

针对传统回声状态网络难以有效应对高阶非线性复杂模型问题,本文在理论分析的基础上提出了一种双储层结构的误差补偿回声状态网络,并设计了该网络的学习算法.该网络由计算层和补偿层构成,计算层主要承担拟合任务,补偿层则作为状态跟随器,实时补偿由于计算层对期望方差估计不足而导致的幅值偏差.对多阶振荡器和真实高阶非线性数据集的实验结果表明,本文所提网络结构较常规网络具有更高的稳定性和泛化性能,尤其对高阶非线性复杂模型的预测精度大幅度提升.

基于战争策略算法优化回声状态网络的时间序列预测

为了解决回声状态网络(ESN)储备池参数难以确定的问题,提出一种基于战争策略优化算法(WSO)的回声状态网络模型(WSO-ESN).该模型利用战争策略优化算法中攻击和防御两种流行的战争策略更好地实现整个模型在全局探索和局部开发上的平衡,替换弱士兵策略提高其鲁棒性使WSO算法在确定ESN参数时更准确.此外,还引入了呈指数变化的权重更新机制提高算法的收敛速度进而更快地确定储备池参数.实验结果与粒子群优化算法(PSO)、蜣螂优化算法(DBO)、金豺优化算法(GJO)等对储备池参数优化方法进行比较.结果表明,基于战争策略优化算法的回声状态网络模型具有更快的训练速度和更高的预测精度.

基于图正则化自编码回声状态网络的时间序列分类算法

回声状态网络(Echo State Network,ESN)能够为解决时间序列问题提供有效的动态解决方法,然而大多数情况下ESN模型主要用于预测而不是分类,ESN在时间序列分类任务的应用尚未得到充分的研究。传统ESN由于存在随机生成的输入权重,使得其性能并不能保证最优。随机生成的权重在特征映射时,可能会破坏有用的特征。针对这些缺点,提出了一种针对时间序列分类任务的基于图正则化自编码的回声状态网络模型(GRAE-ESN),利用流形学习考虑数据内在的流形结构,来约束输出权重使得相似样本的输出在新的空间中更加接近,之后将ESN结构中的输入权重用解码层获得的权重所替换,以学习到丰富的输入特征。在基准数据上的实验表明,所提出的GRAE方法能够有效的改进ESN分类器,在与多个主流算法和深度学习算法相比,该算法具有更好的性能和鲁棒性。

面向突触故障的回声状态网络容错方法研究

在实际应用部署过程中,回声状态网络中储备池的内部突触容易受到应用系统故障的影响而发生故障,偏离预期的性能。因此,提出一个面向突触故障的回声状态网络容错模型。分析模型中一些故障的突触(权重扰动)的行为特征,考虑发生故障的实际场景,采用检测机制检测并定位这些故障的突触,最后通过容错策略使其恢复。仿真实验结果表明,针对不同特点的时间序列数据,通过容错性能评估、统计分布和短期记忆能力对比,提出的容错模型是有效的。此外,通过数学理论推导证明出储备池突触故障容错的边界条件。

基于去趋势多重互相关的深度回声状态网络剪枝算法

针对储备池中存在的冗余结构导致深度回声状态网络预测精度不佳的问题,提出了一种基于去趋势多重互相关的深度回声状态网络剪枝算法。首先,根据去趋势协方差函数和去趋势方差函数,依次计算所选储备池中每2个神经元之间的去趋势互相关系数,构建去趋势互相关矩阵,基于该矩阵评估该储备池中所选神经元与所有剩余神经元之间的去趋势多重互相关性。其次,依次删除每个储备池中高相关性神经元到输出层的连接,从而去除网络中的冗余结构。最后,通过最小二乘回归重新训练剪枝后的网络,以获得最优的深度回声状态网络拓扑结构。仿真结果表明:经过所提算法优化后的深度回声状态网络在Mackey-Glass时间序列上的预测精度和记忆能力分别提高了89.80%和30.93%,在Call时间序列上的预测精度和记忆能力分别提高了14.34%和0.10%。

遗传算法优化回声状态网络的网络流量预测

网络流量预测是网络拥塞控制与网络管理的一个重要问题.网络流量时间序列具有时变、非线性特征,导致传统时间序列预测方法预测精度比较低,无法建立精确的预测模型.回声状态网络(echo state network,ESN)在非线性混沌系统预测与建模方面有着良好的性能,非常适合网络流量的预测.为了提高网络流量的预测精度,提出一种基于遗传算法(genetic algorithm,GA)优化回声状态网络的网络流量非线性预测方法.首先利用回声状态网络对网络流量进行预测;然后利用遗传算法对回声状态网络预测模型中的储备池参数进行优化,提高预测模型的预测精度.通过中国联合网络通信公司辽宁分公司采集的实际网络流量数据进行了仿真验证.与差分自回归滑动平均模型(auto regressive integrated moving average,ARIMA)、Elman神经网络以及最小二乘支持向量机(least square support vector machine,LSSVM)这3种常见预测模型进行了对比,仿真结果表明提出的方法具有更高的预测精度与更小的预测误差,更能刻画网络流量复杂的变化特点.

抑郁症静息态默认状态网络内功能连接的初步探讨

目的通过分析静息态下抑郁症患者默认状态网络内脑区间功能连接效能,探讨默认状态网络在抑郁症病理机制中的作用。方法15例符合中国精神障碍分类及诊断标准第3版(CCMD-3)抑郁发作和美国精神障碍诊断与统计手册第4版(DSM-IV)重性抑郁症诊断标准的首发抑郁症患者与14名正常对照完成功能磁共振成像扫描。分析受试者默认状态网络内脑区的功能连接强度并比较其组间差异。结果与正常对照比较,抑郁症患者双侧前额中部与楔前叶、双侧后扣带回与前额中部、右后扣带回与楔前叶、双侧前扣带回腹侧与前额中部的功能连接减低(P<0·05)。结论静息态下抑郁症患者默认状态网络内脑区间的连接效能存在异常,这可能在抑郁症的病理机制中发挥了重要作用。

基于数据的改进回声状态网络在高炉煤气发生量预测中的应用

以钢铁企业高炉煤气系统这一复杂生产过程为背景,针对高炉煤气发生量的预测问题,提出一种基于数据的网络模型预测方法.鉴于生产数据含噪高的特点,采用经验模态分解将历史数据分解为若干独立的固有模态函数,将小尺度函数经低通滤波器自适应去噪后,再对数据重构以建立预测模型.在建模过程中提出一种改进的回声状态网络,通过奇异值分解求取网络输出权值,克服了线性回归算法出现的病态问题,提高了模型的预测精度.现场实际数据预测结果表明所提出方法的有效性,为制定煤气管网平衡调度方案提供科学的决策支持.

基于混沌理论与改进回声状态网络的网络流量多步预测

网络流量预测是网络管理及网络拥塞控制的重要问题,针对该问题提出一种基于混沌理论与改进回声状态网络的网络流量预测方法。首先利用0-1混沌测试法与最大Lyapunov指数法对不同时间尺度下的网络流量样本数据进行分析,确定网络流量在不同时间尺度下都具有混沌特性。将相空间重构技术引入网络流量预测,通过C-C方法确定延迟时间,G-P算法确定嵌入维数。对网络流量时间序列进行相空间重构之后,利用一种改进的回声状态网络进行网络流量的多步预测。提出一种改进的和声搜索优化算法对回声状态网络的相关参数进行优化以提高预测精度。利用网络流量的公共数据集以及实际数据进行了仿真,结果表明,提出的预测方法具有更高的预测精度以及更小的预测误差。

帕金森病静息态脑默认状态网络的观察

目的应用功能连接MR成像技术观察帕金森病(PD)患者静息态脑默认状态网络的改变。方法选择14例PD患者和14名健康志愿者,以双侧后扣带回作为种子点,分别进行静息态脑功能磁共振扫描,分析PD患者与健康志愿者的脑功能连接情况和差异。结果与健康志愿组相比,PD患者的一些脑区存在异常功能连接,具体表现为:左顶下小叶、右侧楔前叶、前额叶中内侧、左侧颞上回等脑区与后扣带回功能连接减低;左侧小脑半球、左侧中央后回、左侧顶上小叶、左侧楔前叶、右侧颞下回、右侧楔叶、右侧舌回、左侧颞中回等脑区与后扣带回功能连接增强。结论静息态下帕金森病患者默认状态网络内脑区间的连接功能存在异常。

基于模块化回声状态网络的实时电力负荷预测

电力负荷预测特别是实时电力负荷预测是电力系统规划的重要组成部分,也是电力系统可靠、经济运行的基础。针对回声状态神经网络在实时负荷预测中存在易受噪声影响、鲁棒性不强、不稳定的问题,提出了将基于模块化回声状态网络的方法应用于实时电力负荷预测中。根据输入时序数据所引起的储蓄池内部状态的相似性对储蓄池空间进行模块划分,将此高维空间划分为多个子模块,针对每一个模块训练一个读出器,最后把各个模块的输出结果集成输出。利用模块化回声状态网络模型,对大客户的实时负荷数据进行预测,并与几种短期负荷预测模型进行精度和稳定性的对比实验,结果表明,模块化回声状态网络在实时负荷预测中既提高了预测精度,又增强了预测的稳定性和泛化性能。

基于回声状态网络的时间序列预测方法研究

针对回声状态网络（Echo State Networks，ESNs）输入序列延迟时间（和嵌入维数D的选择以及储备池的适应性问题，利用自相关性分析法从被预测样本序列构建ESNs网络输入，并通过移动通信话务量的预测问题，采用实验分析的方法讨论了储备池参数选择对于时间序列预测性能的影响.与采用ARMA和BP神经网络的预测方法相比，新方法在保证预测精度和效率的情况下，具有更好的泛化能力.

基于改进回声状态网络的高炉煤气产耗预测

以钢铁企业高炉煤气系统为背景,针对其产生量和消耗量的预测问题,提出一种改进回声状态网络时间序列方法进行系统仿真预测,并根据最小均方差准则,以最小化网络训练误差为目标,采用随机梯度下降法对网络参数进行优化。该方法对于不同预测对象,可计算出合适的网络连接权值、储备池谱半径等参数,避免了传统回声状态网络方法中单凭经验选择网络参数的现状,提高了预测精度。采用该方法对高炉煤气系统现场实际产耗数据进行了仿真预测,仿真结果表明所提出方法的有效性。

基于贝叶斯框架和回声状态网络的日最大负荷预测研究

为克服神经网络中的伪回归问题,对标准的回声状态网络进行改进,用贝叶斯理论提高网络的泛化能力。在实证算例分析中,采用某地区的实际负荷数据和相关气候数据,对该地区的日最大负荷进行预测,验证所提方法的有效性和适用性。对比试验的预测结果表明,改进的回声状态网络比标准回声状态网络和前馈神经网络预测效果更精确,网络泛化能力更强。

多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.

一种基于L_1范数正则化的回声状态网络

针对回声状态网络存在的病态解以及模型规模控制问题,本文提出一种基于L1范数正则化的改进回声状态网络.该方法通过在目标函数中添加L1范数惩罚项,提高模型求解的数值稳定性,同时借助于L1范数正则化的特征选择能力,控制网络的复杂程度,防止出现过拟合.对于L1范数正则化的求解,采用最小角回归算法计算正则化路径,通过贝叶斯信息准则进行模型选择,避免估计正则化参数.将模型应用于人造数据和实际数据的时间序列预测中,仿真结果证明了本文方法的有效性和实用性.

基于小波和回声状态网络的交通流多步预测模型

针对交通流的含噪混沌特征,提出了一种基于小波回声状态网络的交通流多步预测模型。该模型利用小波多尺度分解方法,屏蔽了噪声成分对交通流动力学特性的干扰,同时提取了占有交通流绝大部分能量的混沌低频成分。在采用多路分量并行预测的方式下,充分发挥了回声状态网络对混沌低频分量的强大多步预测能力,从而保障了交通流多步预测的精度。对北京市西直门桥的实测交通流的预测结果表明:该模型的多步预测精度比传统的回声状态网络模型有了较大幅度的提升,在保证预测精度的前提下,最大可预测的步长也相应的增加。

模糊回声状态网络

针对基于梯度下降的模糊递归神经网络训练效率低、容易陷入局部极小的缺点,本文基于回声状态网络(Echo State Networks,ESNs)和TS模型提出一种新的模糊模型结构———模糊回声状态网络(Fuzzy Echo State Networks,FESNs).FESNs由多条TS类型的模糊规则组成,规则后件采用ESNs网络.研究表明,TS模型和ESN都可以看做是FESN模型的某种特例,而且FESNs具有较强的非线性映射能力、局部反馈以及学习算法稳定等特点.同时,其模型参数确定方法与经典TS模型以及ESN一样可以归结为一个线性回归问题,大大减少了网络训练的计算量.仿真实验表明,与经典TS模型相比,FESNs在不显著增加建模时间情况下可有效提高建模精度.