偏置剪枝叠式自编码回声状态网络的时序预测

针对大多数模型对时间序列预测数据的预测准确率较低,为提升时间序列的预测精度,提出一种基于Biased Drop-weight的偏置剪枝叠式自编码回声状态网络(BD-AE-SGESN)的深度模型。以叠式ESN为多层深度网络框架,提出一种生成式AE算法生成每一层的输入权值,利用BD算法根据输入权重激活值进行剪枝。对比实验结果表明,该模型能够有效提升预测准确率,在3个不同的数据上,相比其它模型有着较小的预测误差和较高的稳定度。

具有双储层结构的动态误差补偿回声状态网络

针对传统回声状态网络难以有效应对高阶非线性复杂模型问题,本文在理论分析的基础上提出了一种双储层结构的误差补偿回声状态网络,并设计了该网络的学习算法.该网络由计算层和补偿层构成,计算层主要承担拟合任务,补偿层则作为状态跟随器,实时补偿由于计算层对期望方差估计不足而导致的幅值偏差.对多阶振荡器和真实高阶非线性数据集的实验结果表明,本文所提网络结构较常规网络具有更高的稳定性和泛化性能,尤其对高阶非线性复杂模型的预测精度大幅度提升.

基于战争策略算法优化回声状态网络的时间序列预测

为了解决回声状态网络(ESN)储备池参数难以确定的问题,提出一种基于战争策略优化算法(WSO)的回声状态网络模型(WSO-ESN).该模型利用战争策略优化算法中攻击和防御两种流行的战争策略更好地实现整个模型在全局探索和局部开发上的平衡,替换弱士兵策略提高其鲁棒性使WSO算法在确定ESN参数时更准确.此外,还引入了呈指数变化的权重更新机制提高算法的收敛速度进而更快地确定储备池参数.实验结果与粒子群优化算法(PSO)、蜣螂优化算法(DBO)、金豺优化算法(GJO)等对储备池参数优化方法进行比较.结果表明,基于战争策略优化算法的回声状态网络模型具有更快的训练速度和更高的预测精度.

面向突触故障的回声状态网络容错方法研究

在实际应用部署过程中,回声状态网络中储备池的内部突触容易受到应用系统故障的影响而发生故障,偏离预期的性能。因此,提出一个面向突触故障的回声状态网络容错模型。分析模型中一些故障的突触(权重扰动)的行为特征,考虑发生故障的实际场景,采用检测机制检测并定位这些故障的突触,最后通过容错策略使其恢复。仿真实验结果表明,针对不同特点的时间序列数据,通过容错性能评估、统计分布和短期记忆能力对比,提出的容错模型是有效的。此外,通过数学理论推导证明出储备池突触故障容错的边界条件。

基于去趋势多重互相关的深度回声状态网络剪枝算法

针对储备池中存在的冗余结构导致深度回声状态网络预测精度不佳的问题,提出了一种基于去趋势多重互相关的深度回声状态网络剪枝算法。首先,根据去趋势协方差函数和去趋势方差函数,依次计算所选储备池中每2个神经元之间的去趋势互相关系数,构建去趋势互相关矩阵,基于该矩阵评估该储备池中所选神经元与所有剩余神经元之间的去趋势多重互相关性。其次,依次删除每个储备池中高相关性神经元到输出层的连接,从而去除网络中的冗余结构。最后,通过最小二乘回归重新训练剪枝后的网络,以获得最优的深度回声状态网络拓扑结构。仿真结果表明:经过所提算法优化后的深度回声状态网络在Mackey-Glass时间序列上的预测精度和记忆能力分别提高了89.80%和30.93%,在Call时间序列上的预测精度和记忆能力分别提高了14.34%和0.10%。

基于宽度回声状态网络的菜籽油加工参数自动决策方法研究

目的 实现菜籽油生产过程中加工参数的自动给定,研究基于人工神经网络的自动决策方法。方法 利用菜籽油加工过程的检测数据,建立一种宽度回声状态网络模型对加工参数与危害物的内在映射关系进行建模;在危害物含量要求下,利用此模型可实现加工过程参数的自动给定。结果 以脱臭工序为例的实验表明,所提方法能够有效利用已知变量自动计算出加工参数,宽度回声状态网络的计算精度优于其他几种典型循环神经网络模型。结论 所提方法可有效提升菜籽油加工过程危害物的自动控制水平,进而提升加工过程的科学性和规范性。

回声状态网络的可见光通信系统空间相关性研究

可见光通信系统的空间相关性会对系统信道容量以及系统性能产生巨大的影响,为此对回声状态网络下的可见光通信系统空间相关性进行研究。基于回声状态网络设计通信信道模型,分别计算直射链路以及非直射链路的信道直流增益效果,在通信函数的基础上建立可见光通信模型,并设置回声状态网络连接矩阵;分析可见光通信系统空间相关性,获取接收机热噪声的系数比;在发射与接收端口建立矩阵结构,依据接收角的集中增益系数,更新信号接收集中增益比;计算空间相关容量误差,以此获取相关系数。实验结果显示,2*2信道容量下,三种频率的空间相关性分别在链路距离为80 m、100 m和150 m时归零,2*4信道容量的最大链路距离则为140 m、190 m、230 m,信道容量和中心点频率均对空间相关性具有正向影响。

多元时间序列的回声状态网络模型表达与分类

回声状态网络(echo state network,ESN)的储备池结构不仅能充分挖掘序列数据中动态信息,也进一步提高了训练效率。然而目前基于ESN的算法难以达到复杂神经网络的精度,为此提出一种基于生成模型距离度量的多元时间序列学习与分类方法。利用ESN在动态数据表示的优势将低维动态原始输入映射到高维静态空间,再拟合储备池状态序列的生成模型作为数据的模型表达,结合原型推理,基于生成模型集合张成的空间中原型与输入的距离进行分类,其结果能通过在模型读出空间的相似原型来推导,具有可解释性。基准数据集上的实验验证了该方法在算法实时性和分类性能上的优势。

面向有状态网络协议的模糊测试优化方法

针对现有模糊测试工具应用于有状态网络协议时存在的测试报文合法性差、测试效率低等问题,提出了一种面向有状态网络协议的模糊测试优化方法。首先通过分析待测协议的校验规则,利用可拓展标记语言对报文中与校验相关的字段进行标记,结合标签对应的功能函数计算正确的校验数据,生成合法性高的测试报文;其次使用协议状态驱动算法识别当前协议状态并选择对应的测试报文完成测试。实验结果表明,与当前流行的协议模糊测试工具Boofuzz和Peach相比,该方法可有效提升测试报文合法性和测试效率,并发现了2个0day漏洞。

基于改进和声搜索算法的回声状态网络优化研究

为了解决回声状态网络(ESN)中的输入权值及储蓄池权值采用随机初始化经常会导致结果输出不稳定的问题,提出一种基于和声搜索算法(HS)的回声状态网络模型HS-ESN,该模型通过和声搜索算法可以不断搜索并更新ESN的权值矩阵来得到一个相对较优的输入权值和储蓄池权值,从而达到优化网络的目的;之后对HS算法进行了改进,采用Griewank函数的倒数加以验证,在MackeyGlass_17序列数据集上,对原ESN、XESN、HS-ESN以及改进后的HS-ESN进行了不同储蓄层及不同迭代次数的实验,结果表明HS-ESN与改进后的HS-ESN网络的评价误差值均较低,即经过HS算法优化后,ESN网络的性能得到了明显的提升.

基于优化回声状态网络的溶解氧预测建模

溶解氧是水体质量的一个重要参数,合适的溶解氧浓度有利于水产品的生长发育,预测溶解氧变化对水产养殖环境预警有重要的意义。以准确快速预测溶解氧的变化为目标,设计了一种基于优化回声状态网络(ESN)的水产养殖中溶解氧的预测模型。将双向构造训练样本的方法和ESN模型相集成以构建溶解氧预测模型,解决了传统ESN模型存在的网络自由参数定值的问题,以及在储备池规模较大情况下模型泛化性能恶化的问题,很好地解决了在水产养殖中无法快速且准确地预测溶解氧变化的问题。测试对比结果表明,优化后的ESN模型具有良好的鲁棒性;同时在储备池较大规模的情况下,能有效减弱传统ESN出现的过拟合现象,增强了模型的泛化性能。

基于随机拓扑优化提升回声状态网络的交通流预测

交通流预测是交通智慧化的重要任务。为了提高短时交通流的预测精度,解决单一模型预测精度不足、易受噪声干扰等特点,提出了一种基于随机拓扑优化的提升回声状态网络(echo state networks, ESN)的预测方法。该方法以简单的回声状态网络为基本构成单元,利用随机拓扑优化策略对回声状态网络的拓扑结构进行优化选择,然后利用基于误差补偿的提升算法提高整体模型的预测精度。通过对随机拓扑优化策略和提升算法在实际交通流预测问题中的性能分析,验证了所提方法的可行性和有效性,同时可为其他弱预测学习器的学习性能改进提供参考。

基于改进回声状态网络的锂离子电池剩余使用寿命预测

锂离子电池凭借其优越的性能被广泛用于纯电动汽车及大型电气系统。然而,随着锂离子电池循环充放电,电池性能大幅度衰退,会间接导致用电系统的性能衰退或发生故障。因此,准确预测锂离子电池剩余有效寿命(RUL),能够保障电池安全可靠运行。为了提高锂离子电池RUL的预测精度,提出了一种基于改进粒子群算法(IPSO)回声状态网络(ESN)的锂离子电池RUL预测方法,实现在线准确预测锂离子电池RUL。首先,通过遗传算法(GA)的交叉和变异操作优化PSO,提高粒子局部与全局寻优能力。然后通过GA-PSO对ESN网络参数进行优化,建立退化预测模型,利用NASA公开的锂离子电池实验数据进行仿真实验。结果表明,在相同数据集条件下,与改进粒子群算法和门控循环单元(IPSO-GRU)神经网络、遗传算法的极端学习机(GA-ELM)、非线性自回归(NARX)动态神经网络、改进蚁狮优化算法支持向量回归(IALO-SVR)、间接健康指标与ESN的预测方法相比,GA-PSO-ESN有更高的预测精度、稳定性和泛化能力,表明了该方法的有效性。

遗传算法优化回声状态网络的网络流量预测

网络流量预测是网络拥塞控制与网络管理的一个重要问题.网络流量时间序列具有时变、非线性特征,导致传统时间序列预测方法预测精度比较低,无法建立精确的预测模型.回声状态网络(echo state network,ESN)在非线性混沌系统预测与建模方面有着良好的性能,非常适合网络流量的预测.为了提高网络流量的预测精度,提出一种基于遗传算法(genetic algorithm,GA)优化回声状态网络的网络流量非线性预测方法.首先利用回声状态网络对网络流量进行预测;然后利用遗传算法对回声状态网络预测模型中的储备池参数进行优化,提高预测模型的预测精度.通过中国联合网络通信公司辽宁分公司采集的实际网络流量数据进行了仿真验证.与差分自回归滑动平均模型(auto regressive integrated moving average,ARIMA)、Elman神经网络以及最小二乘支持向量机(least square support vector machine,LSSVM)这3种常见预测模型进行了对比,仿真结果表明提出的方法具有更高的预测精度与更小的预测误差,更能刻画网络流量复杂的变化特点.

抑郁症静息态默认状态网络内功能连接的初步探讨

目的通过分析静息态下抑郁症患者默认状态网络内脑区间功能连接效能,探讨默认状态网络在抑郁症病理机制中的作用。方法15例符合中国精神障碍分类及诊断标准第3版(CCMD-3)抑郁发作和美国精神障碍诊断与统计手册第4版(DSM-IV)重性抑郁症诊断标准的首发抑郁症患者与14名正常对照完成功能磁共振成像扫描。分析受试者默认状态网络内脑区的功能连接强度并比较其组间差异。结果与正常对照比较,抑郁症患者双侧前额中部与楔前叶、双侧后扣带回与前额中部、右后扣带回与楔前叶、双侧前扣带回腹侧与前额中部的功能连接减低(P<0·05)。结论静息态下抑郁症患者默认状态网络内脑区间的连接效能存在异常,这可能在抑郁症的病理机制中发挥了重要作用。

基于数据的改进回声状态网络在高炉煤气发生量预测中的应用

以钢铁企业高炉煤气系统这一复杂生产过程为背景,针对高炉煤气发生量的预测问题,提出一种基于数据的网络模型预测方法.鉴于生产数据含噪高的特点,采用经验模态分解将历史数据分解为若干独立的固有模态函数,将小尺度函数经低通滤波器自适应去噪后,再对数据重构以建立预测模型.在建模过程中提出一种改进的回声状态网络,通过奇异值分解求取网络输出权值,克服了线性回归算法出现的病态问题,提高了模型的预测精度.现场实际数据预测结果表明所提出方法的有效性,为制定煤气管网平衡调度方案提供科学的决策支持.

基于混沌理论与改进回声状态网络的网络流量多步预测

网络流量预测是网络管理及网络拥塞控制的重要问题,针对该问题提出一种基于混沌理论与改进回声状态网络的网络流量预测方法。首先利用0-1混沌测试法与最大Lyapunov指数法对不同时间尺度下的网络流量样本数据进行分析,确定网络流量在不同时间尺度下都具有混沌特性。将相空间重构技术引入网络流量预测,通过C-C方法确定延迟时间,G-P算法确定嵌入维数。对网络流量时间序列进行相空间重构之后,利用一种改进的回声状态网络进行网络流量的多步预测。提出一种改进的和声搜索优化算法对回声状态网络的相关参数进行优化以提高预测精度。利用网络流量的公共数据集以及实际数据进行了仿真,结果表明,提出的预测方法具有更高的预测精度以及更小的预测误差。

帕金森病静息态脑默认状态网络的观察

目的应用功能连接MR成像技术观察帕金森病(PD)患者静息态脑默认状态网络的改变。方法选择14例PD患者和14名健康志愿者,以双侧后扣带回作为种子点,分别进行静息态脑功能磁共振扫描,分析PD患者与健康志愿者的脑功能连接情况和差异。结果与健康志愿组相比,PD患者的一些脑区存在异常功能连接,具体表现为:左顶下小叶、右侧楔前叶、前额叶中内侧、左侧颞上回等脑区与后扣带回功能连接减低;左侧小脑半球、左侧中央后回、左侧顶上小叶、左侧楔前叶、右侧颞下回、右侧楔叶、右侧舌回、左侧颞中回等脑区与后扣带回功能连接增强。结论静息态下帕金森病患者默认状态网络内脑区间的连接功能存在异常。

基于模块化回声状态网络的实时电力负荷预测

电力负荷预测特别是实时电力负荷预测是电力系统规划的重要组成部分,也是电力系统可靠、经济运行的基础。针对回声状态神经网络在实时负荷预测中存在易受噪声影响、鲁棒性不强、不稳定的问题,提出了将基于模块化回声状态网络的方法应用于实时电力负荷预测中。根据输入时序数据所引起的储蓄池内部状态的相似性对储蓄池空间进行模块划分,将此高维空间划分为多个子模块,针对每一个模块训练一个读出器,最后把各个模块的输出结果集成输出。利用模块化回声状态网络模型,对大客户的实时负荷数据进行预测,并与几种短期负荷预测模型进行精度和稳定性的对比实验,结果表明,模块化回声状态网络在实时负荷预测中既提高了预测精度,又增强了预测的稳定性和泛化性能。

基于回声状态网络的时间序列预测方法研究

针对回声状态网络（Echo State Networks，ESNs）输入序列延迟时间（和嵌入维数D的选择以及储备池的适应性问题，利用自相关性分析法从被预测样本序列构建ESNs网络输入，并通过移动通信话务量的预测问题，采用实验分析的方法讨论了储备池参数选择对于时间序列预测性能的影响.与采用ARMA和BP神经网络的预测方法相比，新方法在保证预测精度和效率的情况下，具有更好的泛化能力.