用模糊积分集成重复训练极限学习机的数据分类方法

用极限学习机重复训练单隐含层前馈神经网络可得到不同的网络模型.受极限学习机这一特点的启发,提出了一种用模糊积分集成重复训练极限学习机的数据分类方法.该方法分为3步:第1步,用极限学习机重复训练单隐含层前馈神经网络.在训练时,不仅输入层权值和隐含层结点的偏置随机生成,隐含层结点的个数也随机生成.第2步,用软最大化函数将训练的单隐含层前馈神经网络的输出变换为后验概率分布.第3步,用模糊积分集成重复训练的单隐含层前馈神经网络,并用于数据分类.提出的方法具有2个优点:1)网络模型具有良好的多样性,理由是重复训练得到的单隐含层前馈神经网络具有不同的结构和不同的参数.2)具有良好的泛化能力,理由是模糊积分能很好地刻画基本分类器之间的交互作用.此外,提出的方法提供了一种网络结构选择的替代方案,利用提出的方法解决实际问题时,可以不用考虑网络结构选择问题.与其他2个算法在10个数据集上进行了实验比较,实验结果及对实验结果的统计分析显示提出的算法在分类精度上优于这2种算法.

集成重复训练极限学习机的数据分类

极限学习机是一种随机化算法,它随机生成单隐含层神经网络输入层连接权和隐含层偏置,用分析的方法确定输出层连接权。给定网络结构,用极限学习机重复训练网络,会得到不同的学习模型。本文提出了一种集成模型对数据进行分类的方法。首先用极限学习机算法重复训练若干个单隐含层前馈神经网络,然后用多数投票法集成训练好的神经网络,最后用集成模型对数据进行分类,并在10个数据集上和极限学习机及集成极限学习机进行了实验比较。实验结果表明,本文提出的方法优于极限学习机和集成极限学习机。

集成Dropout极限学习机数据分类方法

极限学习机(Extreme Learning Machine,ELM)是一种速度快,泛化能力强的训练单隐含层前馈神经网络(Single-hidden Layer Feed-forward Neural-network,SLFN)的算法.但是在应用ELM解决实际问题时,需要先确定合适的SLFN结构.然而,对于给定的问题,确定合适的SLFN结构是非常困难的.针对这一问题,本文提出了一种集成学习方法.用该方法解决问题时,不需要事先确定SLFN的结构.提出的方法包括3步:(1)初始化一个比较大的SLFN;(2)用ELM重复训练若干个Dropout掉若干个隐含层结点的SLFNs;(3)用多数投票法集成训练好的SLFNs,并对测试样例进行分类.在10个数据集上进行了实验,比较了本文提出的方法和传统的极限学习机方法.实验结果表明,本文提出的方法在分类性能上优于传统的极限学习机算法.