基于ELM-AE和BP算法的极限学习机特征表示方法

基于极限学习机自编码器(extreme learning machine based autoencoder,ELM-AE)和误差反向传播(back propagation,BP)算法,针对ELM提出了一种改进的特征表示方法。首先,使用ELM-AE以无监督的方式学习紧凑的特征表示,即ELM-AE输出权重;其次,利用ELM-AE输出权重来初始化BP神经网络的输入权重,然后对BP网络进行监督训练;最后,用微调的BP网络输入权重初始化ELM的输入权重参数。在MNIST数据集上的实验结果表明,采用BP算法对ELM-AE学习的参数进行约束,可以得到更紧凑且具有判别性的特征表示,有助于提高ELM的性能。

基于流形正则化的批量分层编码极限学习机

针对极限学习机在处理高维数据时存在内存能耗大、分类准确率低、泛化性差等问题,提出了一种批量分层编码极限学习机算法。首先通过对数据集分批处理,以减小数据维度,降低输入复杂性;然后采用多层自动编码器结构对各批次数据进行无监督编码,以实现深层特征提取;最后利用流形正则化思想构建含有继承因子的流形分类器,以保持数据的完整性,提高算法的泛化性能。实验结果表明,该方法实现简单,在NORB,MNIST和USPS数据集上的分类准确率分别可以达到92.16%、99.35%和98.86%,与其它极限学习机算法对比,在降低计算复杂度和减少CPU内存消耗上具有较明显的优势。

含类信息的极限学习机自动编码器特征学习方法

极限学习机自动编码器(ELM-AE)将极限学习机(ELM)技术与自动编码器(AE)结合,可以无监督学习数据特征且克服了参数迭代调整的昂贵时间消耗。然而,以最小化重构误差为目标的ELM-AE并不能有效利用分类问题中的数据类别信息,导致特征的类别可分性较差。针对此现象,本文提出一种面向数据分类的含类信息极限学习机自编码(CELM-AE)特征学习方法,该方法将投影特征向量的类间离散度与类内相似度限制到ELM-AE的目标函数中,且可通过解析算法求得更具类别分辨力的最优数据表示。对6种UCI数据集分别使用基于CELM-AE、ELM-AE和AE的特征表示进行分类实验,结果表明,CELM-AE得到的数据特征在两种分类器(ELM/KNN)下的分类精度与稳定性表现均优于ELM-AE与AE,且时间代价很小,说明了CELM-AE在提取可分性数据特征表示方面的优势。

基于核极限学习机自编码器的转盘轴承寿命状态识别

针对低速重载转盘轴承运行工况恶劣、故障特征微弱的特点,提出基于飞蛾扑火算法优化多层核极限学习机自编码器(MFO-MLKELM-AE)的转盘轴承寿命状态识别方法.该方法从振动信号的时域和时频域中提取出多个能够表征转盘轴承运行状态的特征向量,并将其组成高维特征集.采用堆叠多层核极限学习机自编码器(MLKELM-AE),从高维特征集中提取最能反映转盘轴承的寿命状态信息,输入核极限学习机(KELM)模型进行寿命状态识别.在MLKELM-AE学习训练中,采用新的飞蛾扑火算法(MFO)优化惩罚系数和核参数,提高MLKELM-AE的特征识别能力.转盘轴承加速寿命实验表明,MLKELM-AE比多层极限学习机自编码器(MLELMAE)、单层极限学习机(ELM)、KELM的识别精度高,多传感器、多领域特征能够全面反映转盘轴承的寿命状态.

深度在线小波极限学习在旋转机械故障诊断中的应用

由于旋转机械故障诊断模型训练时间长,容易过拟合以及传统的极限学习机只能处理批量数据,实效性差等问题。提出一种基于深度在线小波极限学习机的旋转机械故障诊断方法。将自编码器的思想引入小波极限学习机中,堆叠形成WELM-AE,将底层的故障特征向更加抽象的高级特征转换。再采用在线极限学习机作为顶层分类器进行故障识别。实验结果验证:该算法在旋转机械故障诊断上的可行性,继承了极限学习机训练速度快的特点,相较于BP、SVM、SAE、CNN有更高的准确率。

子空间结构保持的多层极限学习机自编码器

处理高维复杂数据的聚类问题,通常需先降维后聚类,但常用的降维方法未考虑数据的同类聚集性和样本间相关关系,难以保证降维方法与聚类算法相匹配,从而导致聚类信息损失.非线性无监督降维方法极限学习机自编码器(Extreme learning machine,ELM-AE)因其学习速度快、泛化性能好,近年来被广泛应用于降维及去噪.为使高维数据投影至低维空间后仍能保持原有子空间结构,提出基于子空间结构保持的多层极限学习机自编码器降维方法(Multilayer extreme learning machine autoencoder based on subspace structure preserving,ML-SELM-AE).该方法在保持聚类样本多子空间结构的同时,利用多层极限学习机自编码器捕获样本集的深层特征.实验结果表明,该方法在UCI数据、脑电数据和基因表达谱数据上可以有效提高聚类准确率且取得较高的学习效率.

基于稀疏编码和极限学习机的设备故障诊断方法及应用

针对复杂工况与海量监测数据下滚动轴承难以进行故障诊断的问题,提出了一种基于稀疏编码和极限学习机(ELM)的滚动轴承故障模式识别方法。首先,利用K-SVD方法对海量数据样本学习得到自适应原子字典,在此基础上使用正交匹配追踪(OMP)算法进行稀疏编码;然后,构建基于数据驱动的ELM网络模型,将稀疏编码输入ELM模型;最后,通过模型输出实现了对滚动轴承的不同故障类型及不同故障程度的智能识别。通过实际实验分析,验证了所提方法的有效性,与传统的时、频域指标和主成分分析(PCA)为输入的ELM模型进行了对比,并对比分析了BP神经网络、支持向量机(SVM)模型,证实了所提方法具有更好的诊断正确率和可靠性。

基于堆栈稀疏自编码融合核极限学习机的近红外光谱药品鉴别

提出一种基于堆栈稀疏自编码融合核极限学习机(Stacked sparse auto-encoders combine kernel extreme learning machine,SSAE-KELM)的近红外药品鉴别方法,通过引入核极限学习机代替SSAE的Softmax分类和BP微调阶段,减少了模型的训练步骤、训练参数以及训练时间,提高了深度学习网络的实际应用能力,核函数的引入提高了模型的分类能力。其中,SSAE用于初始化整个网络模型,并且从输入数据中学习到有用的特征,KELM用于实现分类任务。研究了SSAE-KELM模型对不同厂商生产的同一包装形式(铝塑或非铝塑)药品鉴别的预测能力、稳定性及训练时间,以实现药品的二分类和多分类的无损鉴别。同时,与ELM、SSAE、BP、SVM及随机隐退深度信念网络(Dropout-DBN)进行对比。结果表明,无论是二分类还是多分类,SSAE-KELM不仅具有更优的分类能力和稳定性、还减少了训练时间。因此,SSAE-KELM是一种有效的光谱分类建模工具。

基于栈式降噪稀疏自编码器的极限学习机

极限学习机(ELM)随机选择网络输入权重和隐层偏置,存在网络结构复杂和鲁棒性较弱的不足。为此,提出基于栈式降噪稀疏自编码器(sDSAE)的ELM算法。利用sDSAE稀疏网络的优势,挖掘目标数据的深层特征,为ELM产生输入权值与隐层偏置以求得隐层输出权值,完成训练分类器,同时通过加入稀疏性约束优化网络结构,提高算法分类准确率。实验结果表明,与ELM、PCA-ELM、ELM-AE和DAE-ELM算法相比,该算法在处理高维含噪数据时分类准确率较高,并且具有较强的鲁棒性。

基于去噪自编码器的极限学习机

针对极限学习机算法(ELM)参数随机赋值降低算法鲁棒性及性能受噪声影响显著的问题,将去噪自编码器(DAE)与ELM算法相结合,提出了基于去噪自编码器的极限学习机算法(DAE-ELM)。首先,通过去噪自编码器产生ELM的输入数据、输入权值与隐含层参数;然后,以ELM求得隐含层输出权值,完成对分类器的训练。该算法一方面继承了DAE的优点,自动提取的特征更具代表性与鲁棒性,对于噪声有较强的抑制作用;另一方面克服了ELM参数赋值的随机性,增强了算法鲁棒性。实验结果表明,在不含噪声影响下DAE-ELM相较于ELM、PCA-ELM、SAA-2算法,其分类错误率在MNIST数据集中至少下降了5.6%,在Fashion MNIST数据集中至少下降了3.0%,在Rectangles数据集中至少下降了2.0%,在Convex数据集中至少下降了12.7%。

基于结构化遮挡编码和极限学习机的局部遮挡人脸识别

提出使用结构化遮挡编码(SOC)结合极限学习机(ELM)的算法来处理人脸识别中的遮挡问题。首先,使用SOC去除图像上的遮挡物,将遮挡物体与人脸分离开;同时,通过局部性约束字典(LCD)来估计遮挡物的位置,建立遮挡字典和人脸字典。然后,将建立好的人脸字典矩阵进行归一化处理,并利用ELM对归一化的数据进行分类识别。最后,在AR人脸库上进行的仿真实验结果表明,所提方法对不同遮挡物和不同区域遮挡的图像具有较好的识别率和鲁棒性。

基于混合卷积自编码极限学习机的RGB-D物体识别

有效学习丰富的表征信息在RGB-D目标识别任务中至关重要,是实现高泛化性能的关键。针对卷积神经网络训练时间长的问题,提出了一种混合卷积自编码极限学习机(HCAE-ELM)结构,包括卷积神经网络(CNN)和自编码极限学习机(AE-ELM),该结构合并了CNN的有效性和AE-ELM快速性的优点。它使用卷积层和池化层分别从RGB和深度图来有效提取低阶特征,然后在共享层合并两种模型特征,输入到自编码极限学习机中以得到高层次的特征,最终的特征使用极限学习机(ELM)进行分类,以获得更好的快速泛化能力。文中在标准的RGB-D数据集上进行了评估测试,其实验结果表明,相比较深度学习和其他的ELM方法,文中的混合卷积自编码极限学习机模型取得了良好的测试准确率,并且有效地缩减了训练时间。

自编码器融合极限学习机的广义负荷建模

随着各种分布式电源大规模并网,传统的负荷建模方法难以精确描述电力系统的负荷信息。为提高负荷区域的建模精度,广义负荷建模问题被提出。将机器学习理论引入广义负荷建模领域,提出一种基于自编码器融合极限学习机的广义负荷建模方法。首先,利用自编码器能降低输入数据维度的优势,提取特征值,通过其可最小化重构误差的特点,求得自编码器结构。然后,将此结构作为极限学习机的输入端结构,可得到已优化隐层节点数的极限学习机结构。最后,通过极限学习机的有监督学习方法,调整隐层至输出层的权值,保证网络收敛至最优值。搭建含有蓄电池和风力发电系统的广义负荷模型进行仿真测试。结果证明,该方法具有较高的建模精度,可以有效应用于含不同成分的电力系统广义负荷建模。

基于压缩自编码融合极限学习机的柑橘黄龙病鉴别方法

针对柑橘黄龙病检测模型的准确度较低、可靠性较差等问题,提出了一种压缩自编码融合极限学习机(Contractive auto-encoder combined extreme learning machine,CAE-ELM)的柑橘黄龙病鉴别方法。此方法通过ELM代替CAE顶层的Softmax分类器和反向微调阶段,达到减少算法运行时间同时提高模型的稳定性及鉴别能力的目的。其中,CAE实现了样本深层特征提取,ELM可实现分类鉴别。为了评估CAE-ELM模型性能,以不同比例的柑橘叶片近红外光谱数据作为训练集进行实验,采用波形叠加极限学习机(Summation wavelet extreme learning machine, SWELM)、ELM、支持向量机(Support vector machine, SVM)、堆叠去噪自编码(Stacked denoising auto-encoder, SDAE)、反向传播模型(Back propagation, BP)、CAE作为对比方法。在柑橘黄龙病的鉴别实验中,无论训练集样本大小,CAE-ELM均能保持最高的分类准确度,尤其当训练集与测试集为1080/165时分类准确度达100.00。同时,CAE-ELM模型比SDAE、CAE和BP模型具有更快的训练速度,但慢于SVM、ELM和SWELM模型。结果表明,CAE-ELM模型可以准确鉴别柑橘黄龙病,且模型具有良好的鲁棒性和可扩展性。

基于深度小波自动编码器和极限学习机的轴承故障诊断

针对原始振动数据无监督特征学习问题,提出了一种深度小波自动编码器(deep wavelet automatic encoder,DWAE)与鲁棒极限学习机(extreme learning machine,ELM)相结合的滚动轴承的智能故障诊断方法。首先,利用小波函数作为非线性激活函数设计小波自动编码器从而有效地捕获信号特征。其次,利用多个小波自动编码器构造一个深度小波自动编码器来增强无监督特征学习能力。最后,采用鲁棒极限学习机作为分类器,对不同的轴承故障进行分类识别。对实验所得的轴承振动信号进行对比分析,结果验证了研究结果能够在原始振动数据无监督特征学习的条件下该方法优于传统方法和标准深度学习方法。

基于栈式自编码融合极限学习机的药品鉴别

近红外光谱数据维度较高,传统的特征提取方法不足以提取更高层次的抽象特征,为此提出一种栈式自编码融合极限学习机的药品鉴别方法,利用ELM代替SAE的反向微调和Softmax分类阶段,减少了SAE的训练时间,提高了SAE的应用能力。以不同厂商生产的非铝塑包装的头孢克肟片药品的近红外光谱为实例,在不同规模的数据集下,验证该算法,并与其它机器学习方法进行对比。实验结果表明,SAE-ELM减少了SAE的训练时间,具有较高分类准确率和稳定性。

流形极限学习机自编码特征表示

极限学习机(ELM)作为一种无监督分类方法,具有学习速度快、泛化性能高、逼近能力好的优点。随着无监督学习的发展,将ELM与自动编码器集成已成为无标签数据集提取特征的新视角,如极限学习机自动编码器(ELMAE)是一种无监督的神经网络,无需迭代即可找到代表原始样本和其学习过程的主要成分。其重建输入信号获取原始样本的主要特征,且考虑了原始数据的全局信息以避免信息的丢失,然而这类方法未考虑数据的固有流形结构即样本间的近邻结构关系。借鉴极限学习机自动编码器的思想,提出了一种基于流形的极限学习机自动编码器算法(M-ELM)。该算法是一种非线性无监督特征提取方法,结合流形学习保持数据的局部信息,且在特征提取过程中同时对相似度矩阵进行学习。通过在IRIS数据集、脑电数据集和基因表达数据集上进行实验,将该算法与其他无监督学习方法PCA、LPP、NPE、LE和ELM-AE算法经过k-means聚类后的准确率进行了比较,以表明该算法的有效性。

基于残差补偿的极限学习机自编码器

极限学习机自编码器作为无监督降维方法,通过重构输入数据来提取原始样本特征,具有学习速度快、泛化性能高等优势.但经典极限学习机自编码器表示能力有限,使得重构输出和原始样本之间的残差不可避免.因此借鉴残差补偿思想,提出基于残差补偿的极限学习机自编码器,通过不断对重构残差补偿式学习来改善ELM-AE的表示能力.在6个公开数据集上进行K-means聚类实验,结果表明基于残差补偿的极限学习机自编码器(RCELM-AE)能够有效提高聚类准确率.

基于自编码器和极限学习机的工业控制网络入侵检测算法

针对目前未知工业控制网络攻击检测方法处于初级阶段,浅层次的选取特征分类导致检测率较低的问题,提出一种稀疏自编码-极限学习机入侵检测模型。该文所提算法通过深度学习的稀疏自编码器在训练时结合编码层的系数惩罚和重构误差对高维数据进行特征提取,再运用极限学习机对提取的特征进行快速有效地精准分类,使用工控入侵检测标准数据集对算法准确性进行了验证,通过和不同类型的入侵检测模型进行比较。结果表明:该文方法可以有效提升入侵检测系统性能,符合工业控制入侵检测“高精度、低误报”的要求。

极限学习改造稀疏自动编码机及其在故障诊断中的应用

传统栈式稀疏自动编码机的全局权值微调算法基于反向传播,由于深度神经网络损失函数的非凸性质,反向传播算法极易陷入局部极小值,且前几层网络的权值往往得不到充分训练。为此引入极限学习算法到深度神经网络的训练中来,将多个通过二阶Hessian-Free方法训练后的稀疏自动编码机层叠起来,然后通过正则化ELM算法确定最后输出层的权值。结果表明二阶Hessian-Free方法克服了最速下降法存在的锯齿型收敛问题,并保留了牛顿方法计算Hessian矩阵的时间和空间开销。将机车振动数据分别用离散傅里叶变换和量子傅里叶变换转换到频域后作为特征输入网络,检测结果表明网络的泛化能力和训练速度都有了可观的提升。