基于ELM-AE和BP算法的极限学习机特征表示方法

基于极限学习机自编码器(extreme learning machine based autoencoder,ELM-AE)和误差反向传播(back propagation,BP)算法,针对ELM提出了一种改进的特征表示方法。首先,使用ELM-AE以无监督的方式学习紧凑的特征表示,即ELM-AE输出权重;其次,利用ELM-AE输出权重来初始化BP神经网络的输入权重,然后对BP网络进行监督训练;最后,用微调的BP网络输入权重初始化ELM的输入权重参数。在MNIST数据集上的实验结果表明,采用BP算法对ELM-AE学习的参数进行约束,可以得到更紧凑且具有判别性的特征表示,有助于提高ELM的性能。

基于核极限学习机自编码器的转盘轴承寿命状态识别

针对低速重载转盘轴承运行工况恶劣、故障特征微弱的特点,提出基于飞蛾扑火算法优化多层核极限学习机自编码器(MFO-MLKELM-AE)的转盘轴承寿命状态识别方法.该方法从振动信号的时域和时频域中提取出多个能够表征转盘轴承运行状态的特征向量,并将其组成高维特征集.采用堆叠多层核极限学习机自编码器(MLKELM-AE),从高维特征集中提取最能反映转盘轴承的寿命状态信息,输入核极限学习机(KELM)模型进行寿命状态识别.在MLKELM-AE学习训练中,采用新的飞蛾扑火算法(MFO)优化惩罚系数和核参数,提高MLKELM-AE的特征识别能力.转盘轴承加速寿命实验表明,MLKELM-AE比多层极限学习机自编码器(MLELMAE)、单层极限学习机(ELM)、KELM的识别精度高,多传感器、多领域特征能够全面反映转盘轴承的寿命状态.

含类信息的极限学习机自动编码器特征学习方法

极限学习机自动编码器(ELM-AE)将极限学习机(ELM)技术与自动编码器(AE)结合,可以无监督学习数据特征且克服了参数迭代调整的昂贵时间消耗。然而,以最小化重构误差为目标的ELM-AE并不能有效利用分类问题中的数据类别信息,导致特征的类别可分性较差。针对此现象,本文提出一种面向数据分类的含类信息极限学习机自编码(CELM-AE)特征学习方法,该方法将投影特征向量的类间离散度与类内相似度限制到ELM-AE的目标函数中,且可通过解析算法求得更具类别分辨力的最优数据表示。对6种UCI数据集分别使用基于CELM-AE、ELM-AE和AE的特征表示进行分类实验,结果表明,CELM-AE得到的数据特征在两种分类器(ELM/KNN)下的分类精度与稳定性表现均优于ELM-AE与AE,且时间代价很小,说明了CELM-AE在提取可分性数据特征表示方面的优势。

子空间结构保持的多层极限学习机自编码器

处理高维复杂数据的聚类问题,通常需先降维后聚类,但常用的降维方法未考虑数据的同类聚集性和样本间相关关系,难以保证降维方法与聚类算法相匹配,从而导致聚类信息损失.非线性无监督降维方法极限学习机自编码器(Extreme learning machine,ELM-AE)因其学习速度快、泛化性能好,近年来被广泛应用于降维及去噪.为使高维数据投影至低维空间后仍能保持原有子空间结构,提出基于子空间结构保持的多层极限学习机自编码器降维方法(Multilayer extreme learning machine autoencoder based on subspace structure preserving,ML-SELM-AE).该方法在保持聚类样本多子空间结构的同时,利用多层极限学习机自编码器捕获样本集的深层特征.实验结果表明,该方法在UCI数据、脑电数据和基因表达谱数据上可以有效提高聚类准确率且取得较高的学习效率.

基于栈式降噪稀疏自编码器的极限学习机

极限学习机(ELM)随机选择网络输入权重和隐层偏置,存在网络结构复杂和鲁棒性较弱的不足。为此,提出基于栈式降噪稀疏自编码器(sDSAE)的ELM算法。利用sDSAE稀疏网络的优势,挖掘目标数据的深层特征,为ELM产生输入权值与隐层偏置以求得隐层输出权值,完成训练分类器,同时通过加入稀疏性约束优化网络结构,提高算法分类准确率。实验结果表明,与ELM、PCA-ELM、ELM-AE和DAE-ELM算法相比,该算法在处理高维含噪数据时分类准确率较高,并且具有较强的鲁棒性。

基于去噪自编码器的极限学习机

针对极限学习机算法(ELM)参数随机赋值降低算法鲁棒性及性能受噪声影响显著的问题,将去噪自编码器(DAE)与ELM算法相结合,提出了基于去噪自编码器的极限学习机算法(DAE-ELM)。首先,通过去噪自编码器产生ELM的输入数据、输入权值与隐含层参数;然后,以ELM求得隐含层输出权值,完成对分类器的训练。该算法一方面继承了DAE的优点,自动提取的特征更具代表性与鲁棒性,对于噪声有较强的抑制作用;另一方面克服了ELM参数赋值的随机性,增强了算法鲁棒性。实验结果表明,在不含噪声影响下DAE-ELM相较于ELM、PCA-ELM、SAA-2算法,其分类错误率在MNIST数据集中至少下降了5.6%,在Fashion MNIST数据集中至少下降了3.0%,在Rectangles数据集中至少下降了2.0%,在Convex数据集中至少下降了12.7%。

自编码器融合极限学习机的广义负荷建模

随着各种分布式电源大规模并网,传统的负荷建模方法难以精确描述电力系统的负荷信息。为提高负荷区域的建模精度,广义负荷建模问题被提出。将机器学习理论引入广义负荷建模领域,提出一种基于自编码器融合极限学习机的广义负荷建模方法。首先,利用自编码器能降低输入数据维度的优势,提取特征值,通过其可最小化重构误差的特点,求得自编码器结构。然后,将此结构作为极限学习机的输入端结构,可得到已优化隐层节点数的极限学习机结构。最后,通过极限学习机的有监督学习方法,调整隐层至输出层的权值,保证网络收敛至最优值。搭建含有蓄电池和风力发电系统的广义负荷模型进行仿真测试。结果证明,该方法具有较高的建模精度,可以有效应用于含不同成分的电力系统广义负荷建模。

基于深度小波自动编码器和极限学习机的轴承故障诊断

针对原始振动数据无监督特征学习问题,提出了一种深度小波自动编码器(deep wavelet automatic encoder,DWAE)与鲁棒极限学习机(extreme learning machine,ELM)相结合的滚动轴承的智能故障诊断方法。首先,利用小波函数作为非线性激活函数设计小波自动编码器从而有效地捕获信号特征。其次,利用多个小波自动编码器构造一个深度小波自动编码器来增强无监督特征学习能力。最后,采用鲁棒极限学习机作为分类器,对不同的轴承故障进行分类识别。对实验所得的轴承振动信号进行对比分析,结果验证了研究结果能够在原始振动数据无监督特征学习的条件下该方法优于传统方法和标准深度学习方法。

基于残差补偿的极限学习机自编码器

极限学习机自编码器作为无监督降维方法,通过重构输入数据来提取原始样本特征,具有学习速度快、泛化性能高等优势.但经典极限学习机自编码器表示能力有限,使得重构输出和原始样本之间的残差不可避免.因此借鉴残差补偿思想,提出基于残差补偿的极限学习机自编码器,通过不断对重构残差补偿式学习来改善ELM-AE的表示能力.在6个公开数据集上进行K-means聚类实验,结果表明基于残差补偿的极限学习机自编码器(RCELM-AE)能够有效提高聚类准确率.

基于自编码器和极限学习机的工业控制网络入侵检测算法

针对目前未知工业控制网络攻击检测方法处于初级阶段,浅层次的选取特征分类导致检测率较低的问题,提出一种稀疏自编码-极限学习机入侵检测模型。该文所提算法通过深度学习的稀疏自编码器在训练时结合编码层的系数惩罚和重构误差对高维数据进行特征提取,再运用极限学习机对提取的特征进行快速有效地精准分类,使用工控入侵检测标准数据集对算法准确性进行了验证,通过和不同类型的入侵检测模型进行比较。结果表明:该文方法可以有效提升入侵检测系统性能,符合工业控制入侵检测“高精度、低误报”的要求。

基于时间动态变分自编码器和逻辑正则极限学习机的变压器绕组变形故障诊断方法

针对传统变压器绕组变形诊断方法识别精度低以及样本数据匮乏的问题,本文提出了一种基于时间动态变分自动编码器(TD-VAE)和逻辑正则极限学习机(LogRELM)的变压器绕组变形故障诊断方法。首先利用Ansoft Maxwell仿真平台建立变压器三维有限元模型,计算变压器健康绕组和变形绕组的等值电路参数。并根据所求的电气参数在Matlab搭建变压器绕组等值电路模型,仿真不同变形情况下变压器的频率响应曲线。其次考虑到变压器绕组变形数据样本不均衡的特点,并采用时间动态变分自动编码器对原始数据进行重构,生成与原始数据相似的高质量新样本,实现数据样本的增强。最后采用粒子群优化算法(PSO)对LogRELM模型参数进行优化,构建PSO-LogRELM组合模型对变压器绕组变形类别进行诊断。仿真结果表明,在绕组变形样本数据匮乏和不平衡的情况下,所提方法具有较高的故障诊断精度。

结合自动编码器的高光谱影像极限学习机分类

极限学习机（ELM）分类作为新型神经网络算法可以实现高光谱影像的快速分类，但ELM浅层网络结构不能充分利用高光谱影像所蕴含的丰富的光谱特征。针对该问题，本文结合深度神经网络可以学习光谱深层隐含特征的优势，提出基于降噪自动编码器（DAE）的高光谱影像ELM分类方法。首先，采用DAE构造深层网络模型，利用加噪的样本数据训练网络模型，学习影像光谱的深层隐含特征；然后，用学习到的特征作为极限学习机中隐含层的输出，取代原始ELM分类中利用随机输入权值学习的浅层特征；最后，进而实现高光谱影像的分类。本文分别利用ROSIS和OMIS的高光谱影像进行分类对比实验，结果验证了该方法相对于ELM算法的分类优越性，其充分利用高光谱影像的深层光谱特征，有效提高了分类精度。

基于去噪自编码器的镜像极限学习机设计

针对极限学习机在高维度、含噪声数据集中需要大量隐含层节点来保证分类性能的问题,设计了镜像极限学习机.该算法使用伪逆法确定输入权值,随机生成输出权值和偏置,在对数据进行分类时,它仅需极少的隐含层节点.为了提升镜像极限学习机的分类性能和抗噪性,将它与去噪自编码器相结合.利用去噪自编码器对输入数据进行特征提取,并将提取到的特征作为镜像极限学习机的输入数据,再进行网络训练.在无噪和含噪声的MNIST,Fashion MNIST,Rectangles和Convex数据集中,将基于去噪自编码器的镜像极限学习机与ELM,PCA-ELM,SAA-2和DAE-ELM作对比实验,结果表明,基于去噪自编码器的镜像极限学习机的综合性能最优,用于分类的网络隐含层节点数最少.

基于HMFDE和t-SNE的旋转机械故障诊断方法

针对旋转机械的故障特征提取较难,以及单一类型的特征无法全面反映故障特性的问题,提出了一种基于混合多尺度波动散布熵(HMFDE)、t分布-随机邻域嵌入(t-SNE)和郊狼优化算法(COA)优化极限学习机(ELM)的旋转机械故障诊断方法。首先,采用特征加权提出了混合多尺度波动散布熵方法,并将其用于提取旋转机械振动信号的故障特征;随后,采用t-SNE方法对混合故障特征进行了特征降维,挑选出了最能够反映故障特性的特征子集,构建了敏感特征样本;最后,采用郊狼优化算法对极限学习机的输入权重和隐含层阈值进行了优化,完成了旋转机械的故障识别和分类;以齿轮箱和滚动轴承故障数据集为对象,对基于HMFDE、t-SNE和COA-ELM的故障诊断方法进行了实验,验证了方法的有效性。研究结果表明:采用HMFDE-t-SNE-CAO-ELM故障诊断方法可以取得100%的故障识别准确率,该方法能够有效地诊断旋转机械的不同故障类型和损伤;相较于基于单一类型特征的故障诊断方法,其准确率分别可以提高0.68%、22.42%、29.18%(齿轮箱)和1.43%、8.23%、23.67%(滚动轴承),虽然牺牲了一定的计算效率,但准确率得到了明显的提高;相较于其他常规故障分类器,COA-ELM的故障识别准确率具有明显的优势。

基于紫外-可见透射光谱技术和极限学习机的早期鸡胚雌雄识别

为了对鸡种蛋胚胎进行雌雄识别,探究利用紫外-可见-近红外透射光谱进行鸡胚雌雄识别的可行性,搭建了鸡种蛋透射光谱检测系统,采用横向和竖向大头朝上2种放置方式获取210枚鸡种蛋孵化0~15d的光谱,光谱范围为360~1000nm。构建极限学习机(ELM)鸡胚雌雄识别模型,通过比较不同放置方式和孵化天数下模型的识别准确率,发现竖向放置且孵化第7d的识别效果最好;将竖向放置孵化第7d的光谱初步分为紫外(360~380nm)、可见光(380~780nm)、近红外(780~1000nm)、紫外-可见光(360~780nm)和全波段(360~1000nm)5个不同的波段范围来分析,预测集准确率分别为82.86%,77.14%,75.71%,84.29%和81.43%,筛选出360~780nm的紫外-可见光波段为有效波段;在紫外-可见光(360~780nm)波段,采用多元散射校正(MSC)去噪,并用竞争性自适应重加权采样算法(CARS)和连续投影算法(SPA)筛选特征波长降维,建立不经筛选特征波长、CARS筛选特征波长和SPA筛选特征波长的3种ELM模型。其中不经筛选特征波长的ELM模型识别效果最好,但输入变量最多,隐含层神经元为680且激活函数为sig时,预测集准确率为84.29%。SPA筛选特征波长的ELM模型识别效果次之,输入变量有9个,隐含层神经元为840且激活函数为hardlim时,预测集准确率为81.43%。CARS筛选特征波长的ELM模型识别效果最差,输入变量有27个,隐含层神经元为100且激活函数为sig时,预测集准确率为78.57%;用遗传算法(GA)优化ELM模型的权值变量和隐含层阈值,不经筛选特征波长建立的GA-ELM模型,预测集准确率为87.14%,SPA筛选特征波长建立的GA-ELM模型,预测集准确率为87.14%,CARS筛选特征波长建立的GA-ELM模型,预测集准确率为81.43%。紫外-可见光波段不经筛选特征波长的GA-ELM模型识别效果和经SPA筛选特征波长的GA-ELM模型相同,表明SPA筛选的特征波长变量能够有效反映360~780nm波段的信息,SPA使用的变量数仅占紫外-可见光波段的2.14%,因此,雌雄识别最佳模型为紫外-可见光波段经SPA筛选特征波长的GA-ELM模型,预测集准确率为87.14%,其中,雌性识别率为88.57%,雄性识别率为85.71%,单个样本平均判别时间0.080ms。结果表明紫外-可见透射光谱技术和ELM模型为孵化早期鸡胚蛋雌雄识别提供了一种可行方法。

基于聚类经验模态分解-样本熵和优化极限学习机的风电功率多步区间预测

针对风电功率序列的不确定性和随机性特征,提出一种基于聚类经验模态分解-样本熵和优化极限学习机的多步区间预测模型。首先,利用聚类经验模态分解-样本熵方法将原始风电功率序列分解为一系列复杂度差异明显的子序列。然后,分别对各子序列建立基于上下界直接估量的区间预测模型。为分析不同区间构造的差异,提出一种体现训练目标值偏离区间范围影响的新型区间预测评估指标作为目标函数,并采用基于混沌萤火虫结合多策略融合自适应差分进化的优化算法寻求其最优解,以提高模型预测性能。最后,以某一风电场实际功率数据为算例,验证了所提模型能获得可靠优良的多步区间预测结果,可为风电功率多步不确定性预测提供一种新的有效途径。

基于改进深度稀疏自编码器及FOA-ELM的电力负荷预测

智能电网的发展使得电网获取的数据逐渐增多,为了从多维大数据中获取有用信息并对短期内电力负荷进行准确的预测,提出了一种基于改进的深度稀疏自编码器(IDSAE)降维及果蝇优化算法(FOA)优化极限学习机(ELM)的短期电力负荷预测方法。将L1正则化加入到深度稀疏自编码器(DSAE)中能够诱导出更好的稀疏性,用IDSAE对影响电力负荷预测精度的高维数据进行特征降维,消除了指标间的多重共线性,实现高维数据向低维空间的压缩编码。采用FOA优化算法优化ELM的权值和阈值,得到最优值,能够克服因极限学习机随机选择权值和阈值导致预测精度低的缺点。首先将气象因素通过IDSAE降维,得到稀疏后的综合气象因素特征指标,协同电力负荷数据作为FOA优化的ELM预测模型的输入向量进行电力负荷预测。通过与DSAE-FOAELM、DSAE-ELM和IDSAE-ELM等模型的对比实验,证明了提出的预测模型能有效提高预测精度,经计算得出预测精度提升大约8%。

稀疏降噪自编码器在IR-BCI的应用研究

针对脑-机接口的特征提取问题,提出了一种基于非监督学习的稀疏降噪自编码器,对刺激诱发的脑电信号进行自主学习,构建原始数据的深层特征表达。该编码器引用稀疏自编码神经网络,通过加入噪声,增强其学习的泛化能力,增加了神经网络的鲁棒性。首先对多导联信号进行重新拼接,输入稀疏降噪自编码器,得到原始数据的稀疏特征表达;然后,采用支持向量机将学习到的特征进行分类;最后,同直接使用最优单通道相对比。实验结果为:稀疏降噪自编码器的分类准确率要优于单通道,表明该方法能够更好地学习到特征,并提高了"模拟阅读"脑-机接口的识别正确率,为脑-机接口系统的特征提取和分类提供了新思路。

基于奇异谱分析-模糊信息粒化和极限学习机的风速多步区间预测

不同于风速点预测,风速区间预测能描述风速的随机性。因此,提出一种基于奇异谱分析-模糊信息粒化和极限学习机组成的风速多步区间预测模型。该方法采用奇异谱分析提取原始数据的趋势成分、振荡成分和噪声成分,并对所有分量进行重构,然后利用模糊信息粒化对重构后的噪声成分进行有效挖掘,提取每个窗口最小值、平均值和最大值。对各分量采用极限学习机分别建立预测模型,为了提高预测精度、缩小区间范围,采用改进布谷鸟算法对预测模型的参数进行优化。最后将所有分量的预测结果进行叠加,实现风速区间预测。以风电场实际数据为算例,结果表明所提方法具有较高的预测精度和可靠的多步区间预测,且运行效率高,能有效跟踪风速变化。

基于自适应邻域局部保留ELM-AE的机械故障诊断

针对机器学习故障诊断中存在的先验知识依赖以及数据利用不充分问题,提出一种自适应邻域的局部保留极限学习机自动编码器方法。成对样本在原始数据空间和嵌入的表示空间中引入欧几里得距离惩罚因子,实现数据样本的相似性分类;提出一个统一的目标函数,可以同时学习数据表示和关联矩阵,并提出一个软判别约束防止过度拟合。实验结果表明,融合学习关联矩阵和数据表示方法具有学习速度快、泛化能力强和诊断精度高等优点。