基于准ARX多层学习网络模型的非线性系统自适应控制

建立了准ARX多层学习网络预测模型,并用于非线性系统自适应控制问题.该模型的内核部分为一个改进的神经模糊网络(NFNs):一部分为三层非线性网络结构,采用自联想网络进行离线训练;另一部分为三层NFNs,采取在线调整.据此对参数进行分类,给出相应调整算法.然后,基于模型宏观结构的优势给出控制器设计方案.仿真分析给出该建模方法的有效性.

面向运动想象脑电信号识别的多层判别字典对学习方法

面向运动想象的脑机接口(brain computer interface,BCI)能够利用自主想象的特定动作触发脑电信号直接实时控制外部电子设备。运动想象脑电信号(motor imagery electroencephalogram,MI-EEG)存在信噪比低、类内差异大、类间差异小等特点,导致MI-EEG的识别率较低且不稳定。针对该问题,提出了多层判别字典对学习(multilayer discriminant dictionary pair learning,MDDPL)方法。与基于字典学习的MI-EEG识别方法不同,MDDPL将字典对学习融入多层学习模型,通过一系列非线性方法将数据投影到更具判别力的子空间。在综合字典和分析字典的共同作用下,前一层的编码向量作为当前层的输入,同时在每一层模型上构建基于分析字典的多分类项,以保证稀疏编码的分类误差最小化,增强模型的类别区分能力。另外,对最后一层的稀疏编码施加低秩约束,以保证同类编码的紧凑性和相似性。在目标式求解中,使用交替更新策略得到每个参数的解析解,使得参数同时得到最优解。在国际BCI竞赛数据集上的实验结果表明,MDDPL方法在所有对比算法中取得了最佳的分类性能。

多层极限学习机在入侵检测中的应用

针对神经网络在入侵检测应用存在的维度高、数据大、获取标记样本难、特征构造难、训练难等问题,提出了一种基于深度多层极限学习机(ML-ELM)的入侵检测方法。首先,采用多层网络结构和深度学习方法抽取检测样本最高层次的抽象特征,用奇异值对入侵检测数据进行特征表达;然后,利用极限学习机(ELM)建立入侵检测数据的分类模型;其次,利用逐层的无监督学习方法解决入侵检测获取标记样本难的问题;最后采用KDD99数据集对该方法的性能进行了验证。实验结果表明:多层极限学习机的方法提高了检测正确率,检测漏报率也低至0.48%,检测速度比其他深度模型的检测方法提高了6倍以上。同时在极少标记样本的情况下仍有85%以上的正确率。通过多层网络结构的构建提高了对U2L、R2L这两类攻击的检测率。该方法集成深度学习和无监督学习的优点,能对高维度,大数据的网络记录用较少的参数得到更好的表达,在入侵检测的检测速度以及特征表达两个方面都具有优势。

基于多层极限学习机的电能质量扰动多标签分类算法

电力系统中电能质量扰动分类特征选择标准不统一、泛化能力差、分类效果与分类效率有待提高。为了解决这些问题,一方面,引入多层极限学习机自编码器,优化输入权重,完成电能质量扰动信号的特征提取。另一方面,引入多标签排位分类算法,充分考虑各标签之间的相关性,完成电能质量扰动的分类。基于两种算法,设计出基于多层极限学习机的多标签分类模型,并得到多层极限学习机的最优网络结构和多标签分类的最佳分类阈值。实验结果表明,所提方法适用于电能质量单一扰动和复合扰动的分类,改善了分类效果和分类效率,具有较高的分类精度、良好的抗噪能力和泛化能力。

拉普拉斯多层极速学习机

极速学习机不仅仅是有效的分类器,还能应用到半监督学习中.但是,半监督极速学习机和拉普拉斯光滑孪生支持向量机一样,是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题,目前在机器学习领域中引起了广泛的关注.多层极速学习机(ML-ELM)是根据深度学习和极速学习机的思想提出的算法,通过堆叠极速学习机-自动编码器算法(ELM-AE)构建多层神经网络模型,不仅实现了复杂函数的逼近,并且训练过程中无需迭代,学习效率高.把流形正则化框架引入ML-ELM中,提出拉普拉斯多层极速学习机算法(Lap-ML-ELM).然而,ELM-AE不能很好地解决过拟合问题.针对这一问题,把权值不确定引入ELM-AE中,提出权值不确定极速学习机-自动编码器算法(WU-ELM-AE),可学习到更为鲁棒的特征.最后,在前面两种算法的基础上提出权值不确定拉普拉斯多层极速学习机算法(WUL-ML-ELM),它堆叠WU-ELM-AE构建深度模型,并用流形正则化框架求取输出权值.该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明,Lap-ML-ELM与WUL-ML-ELM都是有效的半监督学习算法.

多层感知学习下多维大数据智能分类检索仿真

针对传统的多维大数据智能分类检索方法存在分类检索响应时间过长、误差较大、效率较低等问题,提出一种基于多层感知学习的多维大数据智能分类检索方法。将样本按照其特征进行分组,计算每组样本集的核矩阵,引入基于半正定规划的支持向量机(SVM)模型加入核矩阵线性组合,采用半正定规划SVM求解各个子特征空间的权重系数,利用权重系数计算特征贡献度以及支持度,用于特征分类。在分类结果中引入节点索引过滤多维大数据流程模型库,得到候选模型集,通过动态构建的边索引对候选模型集进行二次过滤,将该算法与并行算法相结合,通过计算结果完成多维大数据智能分类检索。根据实验结果看出,文中所述方法可以有效有效减少了多维大数据分类检索时间,降低分类检索误差,提高了分类检索效率。

子空间结构保持的多层极限学习机自编码器

处理高维复杂数据的聚类问题,通常需先降维后聚类,但常用的降维方法未考虑数据的同类聚集性和样本间相关关系,难以保证降维方法与聚类算法相匹配,从而导致聚类信息损失.非线性无监督降维方法极限学习机自编码器(Extreme learning machine,ELM-AE)因其学习速度快、泛化性能好,近年来被广泛应用于降维及去噪.为使高维数据投影至低维空间后仍能保持原有子空间结构,提出基于子空间结构保持的多层极限学习机自编码器降维方法(Multilayer extreme learning machine autoencoder based on subspace structure preserving,ML-SELM-AE).该方法在保持聚类样本多子空间结构的同时,利用多层极限学习机自编码器捕获样本集的深层特征.实验结果表明,该方法在UCI数据、脑电数据和基因表达谱数据上可以有效提高聚类准确率且取得较高的学习效率.

基于特征约简与多层极限学习机的网络流量异常检测

针对网络流量异常检测目前存在的数据维度大、冗余数据较多、准确率较低等问题,提出一种基于层次聚类和自编码器并结合多层极限学习机的网络流量异常检测模型。首先考虑数据特征之间的相关性,根据数据特征之间的相似性距离对特征维度进行层次聚类划分,将相关性较高的特征划分到同一特征子集中;然后利用自动编码器对每个特征子集进行约简,消除冗余信息降低检测数据计算量;最后以多层极限学习机作为分类器,利用约简后的特征数据进行网络流量异常检测建模。实验结果显示,文中模型在UNSW-NB15数据集上准确率达到了0.992,精确率达到了0.997。与其他检测方法相比,文中方法可以有效地约简数据特征,提高了检测的准确率和网络流量异常检测的性能。

图书类别的多层表示学习

随着学科交叉发展,传统的中图分类法存在一定的局限性。中图法是一种树状结构的分类方法,每种分类的父类有且仅有一个,而交叉学科理应有多个父类。因此,需要在分类法中引入多层表示方式,以便正确表示图书类别,提高图书借阅时书籍推荐准确率。图书借阅信息由读者的借阅序列构成,每次借阅会包含多个图书类别。这些类别可以是中图法表示的分类号,也可以是对标题词汇进行聚类得到的词汇群。文章引入一种能提供两类关联信息(借阅序列和每次借阅中并发出现的类别)的层次结构,提出可扩展的两层神经网络框架Bib2Vec,能基于图书类别和读者借阅序列,从借阅数据中学习多层的图书类别表示方式。

用于多层前馈神经网络学习的快速遗传算法

提出了一种用于多层前馈神经网络学习的快速遗传算法 ,论述了其算法的进化过程并对多层前馈神经网络的权值进行了优化 ,对权值的初始化范围以及输入层节点进行了优化选择。仿真试验结果表明 ,该算法收敛速度快 ,网络逼近精度高 ,克服了BP算法易于陷入局部极小的问题。

最大相关熵准则下多层极端学习机的批量编码

针对多层极端学习机(hierarchical extreme learning machine,HELM)对大样本数据集学习时容易发生过拟合现象且内存需求巨大的问题,提出一种基于最大相关熵准则的批量编码式多层极端学习机.首先通过引入最大相关熵准则(maximum correntropy criterion,M CC)代替HELM决策层中的最小均方差准则(minimum mean square error,M M SE),降低网络对异常点的敏感度,改善过拟合现象,构造出基于最大相关熵准则的多层极端学习机(MCC-HELM).其次利用MCC-HELM对大样本数据分批次进行编码学习,从而降低学习过程中的内存需求与整体运行时间.最后利用在线极端学习机的思想,在最终决策前将所有批次的决策层依次进行融合,推导出基于最大相关熵准则的批量编码式多层极端学习机(BC-HELM).实验结果表明,与HELM相比,本文提出的BC-HELM在保证学习精度的前提下,运行时间更短且内存需求显著降低,与其他多层ELM网络相比学习效率也有较大的提升.

高炉透气性指数的改进多层超限学习机预测模型

高炉透气性指数是高炉操作者衡量高炉顺行状态的指标之一.针对传统透气性指数测量模型的缺陷,本文提出了一种基于改进的多层超限学习机(multi-layer extreme learning machine,ML–ELM)的高炉透气性指数预测模型.首先分析影响高炉透气性指数的相关操作参数,考虑到高炉生产数据含有大量噪声,运用小波去噪方法消除数据的噪声干扰.然后建立高炉透气性指数预测模型.在建模过程中,将偏最小二乘(partial least square,PLS)与多层超限学习机算法结合,消除多层超限学习机最后一层隐藏层的多重共线性,提高了模型预测精度.并且所提出的改进算法称为PLS–ML–ELM.最后使用现场生产数据对该模型训练和测试,预测结果表明所提出模型能够快速、精确地预测高炉透气性指数,并且为高炉的后续操作提供有效的决策与支持.

地震数据自适应多层字典学习稀疏表示方法

基于压缩感知(Compressed Sensing, CS)地震数据重构的精度很大程度上取决于用于稀疏表示字典的性能。在K—奇异值分解(K-Singular Value Decomposition,K-SVD)方法中每个训练样本的稀疏级别是固定的,这可能导致原始样本在稀疏表示过程中产生欠拟合或过拟合问题;而且它只使用原始样本的特征作为训练字典,无法利用样本在字典学习过程中产生的隐式特征,从而影响地震数据的重构精度。为此,对K-SVD方法进行了改进,采用自适应多层字典学习(Adaptive Multilayered Dictionary Learning, AMDL)方法对地震数据进行稀疏表示,不但可在字典学习过程中充分利用不同层次的特征,而且还可自适应地确定每一层所选择的原子数。试验结果表明,与K-SVD方法相比,该方法能够为基于CS的地震数据重构提供更准确的稀疏表示。

基于多层字典学习的传统服饰图像标注算法

中国传统服饰图像是中华优秀传统文化重要的组成部分,图像内涵丰富,时空跨度大,但理解存在歧义,急需一套语义解读方法,而大量图像标注算法主要关注在各自的垂直领域,传统服饰图像仍然面临着标注精度亟需提高的挑战。本文以中国传统服饰图像作为研究对象,以字典学习多标签标注方法作为研究方法,提出了融合深度多层结构框架的多标签字典学习算法,通过结合字典学习与多层结构框架来提高标注性能。最后通过对比实验验证了该思路的正确。

基于核极限学习机自编码器的转盘轴承寿命状态识别

针对低速重载转盘轴承运行工况恶劣、故障特征微弱的特点,提出基于飞蛾扑火算法优化多层核极限学习机自编码器(MFO-MLKELM-AE)的转盘轴承寿命状态识别方法.该方法从振动信号的时域和时频域中提取出多个能够表征转盘轴承运行状态的特征向量,并将其组成高维特征集.采用堆叠多层核极限学习机自编码器(MLKELM-AE),从高维特征集中提取最能反映转盘轴承的寿命状态信息,输入核极限学习机(KELM)模型进行寿命状态识别.在MLKELM-AE学习训练中,采用新的飞蛾扑火算法(MFO)优化惩罚系数和核参数,提高MLKELM-AE的特征识别能力.转盘轴承加速寿命实验表明,MLKELM-AE比多层极限学习机自编码器(MLELMAE)、单层极限学习机(ELM)、KELM的识别精度高,多传感器、多领域特征能够全面反映转盘轴承的寿命状态.

基于分解极限学习机的手写字符识别方法

手写字符识别是图像识别的一个重要分支,是基于数据挖掘和机器学习技术对数字、字母和文字等的手写体进行识别。当前手写字符识别方法主要集中在对不同深度学习模型的完善和改进上,其中多层极限学习机由于其快于深度信念网络和深度玻尔兹曼机的训练速度以及更高的识别精度引起了学术界和工业界的广泛关注。但是,多层极限学习机的预测表现极易受随机权重的影响,层数越多影响就越明显。文中在深入分析浅层极限学习机训练模式的基础上,提出了一种基于隐含层输出矩阵分解的浅层极限学习机模型,并将其应用于对手写字符的识别。分解极限学习机不需要对手写字符图像进行特征提取,而是通过对大规模隐含层输出矩阵的分解来获得极限学习机的输出层权重。相比深层极限学习机,分解极限学习机降低了基于极限学习机的手写字符识别模型训练的随机性。同时,在MNIST类数据集(即MNIST,EMNIST,KMNIST和K49-MNIST)上的比较结果表明,在相同的训练时间下,分解极限学习机能够获得优于多层极限学习机的识别精度;在相同的识别精度下,分解极限学习机的训练时间明显短于多层极限学习机。实验结果证实了分解极限学习的可行性以及在处理手写字符识别问题上的有效性。

FDA与ML-KELM结合的机电系统故障识别

为准确识别坦克自动装弹机中的机电系统故障,提出了一种结合函数型数据分析(Functional data analysis,FDA)和多层核极限学习机(Multi-layer kernel extreme learning machine,ML-KELM)的故障识别方法。首先,以函数的视角对机电系统运行过程中具有平滑特性的时序数据进行特征信息挖掘,利用函数型主成分分析和主微分分析从不同空间将时序数据的变化特性表征为特征参数;其次,对提取的多传感器时序数据的特征进行Relief-F特征筛选,得到与分类强相关的特征;最后,采用ML-KELM对强相关特征进行深度特征学习,获取更抽象的特征表达,进而实现准确的故障识别。结果表明:采用与某坦克自动装弹机中的链式输送机原理一致的实验装置进行故障识别实验,函数型主成分分析和主微分分析能够从不同的特征空间中提取时序数据中的有效故障特征,并且两种方法提取的特征具有互补性;基于多传感器时序数据特征中的强相关特征,使用3层隐含层的ML-KELM能够实现较为准确的故障识别,所提方法具有可行性和有效性,为坦克自动装弹机中的机电系统故障识别的研究提供了一种参考。

一种新的变异因子选择策略

在具有多层学习机制的免疫优化算法中,变异因子的选择概率对算法的有效性起着至关重要的作用。如果选择不够合理,将导致算法容易陷入局部最优,在一定程度上影响解的质量和收敛速度。针对多层学习机制的特点,讨论了各个因子之间的依赖性和相关性,提出了一种新的变异因子选择策略。选择4个基准函数作为测试函数进行了验证,结果表明,解的质量和收敛速度都有了明显的改善。

小波神经网络及其应用

小波神经网络是将小波理论和神经网络理论结合起来的一种神经网络,它避免了BP神经网络结构设计的盲目性和局部最优等非线性优化问题,大大简化了训练,具有较强的函数学习能力和推广能力及广阔的应用前景。首先阐明了小波变换和多分辨分析理论,然后介绍小波神经网络数学模型和应用概况。

基于相似时段和PCA-ELM的超短期风电功率预测

为提高风电场输出功率的预测精度,提出一种采用相似时段选取原则和基于主成分分析(principal component analysis,PCA)与多层自编码极限学习机(multi-layer auto encoder extreme learning machine,ML-AE-ELM)组合算法(PCA-ELM)的预测模型。通过关联度分析明确待测时段的相似时段范围,结合天气数据、机组状态和历史功率构建训练和测试样本,利用预测算法完成样本的训练和测试,得到输出功率预测结果并验证。实验结果表明:与常见的算法模型相比,该预测模型在不同装机容量和不同工作状态的风电场中均具有较高的预测精度,表现出良好的预测稳定性和泛化能力。