集成方法在极限学习机中的应用

针对传统的单一机器学习模型对非平衡数据集分类预测性能偏低的问题,通过用Adaboost策略将传统的最大化Gm代价调整极限学习机集成起来,生成一种最大化Gm集成极限学习机分类模型(MG-CCR-EELM),使其能够适用于不同平衡率非平衡数据集的分类。通过与现有的最大化Gm代价调整极限学习机、代价敏感混合属性多决策树、改进的模糊支持向量机、随机森林等用于非平衡数据集的分类模型的实验对比,MG-CCR-EELM模型在UCI公共数据集上的准确率最高可提升3.01%,在经颅多普勒数据集上的分类预测准确率提升了5.67%,验证了MG-CCR-EELM模型是一种有效的集成学习模型。

基于CNN-WSVM的阀门粘滞检测方法

针对实际中粘滞与非粘滞数据不均衡问题,提出基于卷积神经网络和加权支持向量机融合的阀门粘滞检测方法(CNN-WSVM)。首先搭建仿真控制回路生成不同工况的回路运行数据,然后利用一维卷积神经网络模型提取特征,再使用惩罚项系数可调的加权支持向量机实现对阀门状态的分类。在仿真数据集和开源工业数据集中的验证结果表明:该方法相较于仅使用卷积神经网络,在数据不均衡情况下,能够显著提高粘滞数据检测准确率,同时在真实工业场景中具有较好的泛化能力。

基于PSO-DBN结构的不平衡大数据分类研究

针对传统算法在分类处理不平衡大数据集时存在的精度差和效率低等问题,提出了一种基于PSO-DBN的分类算法。先采用融合渐进式的过采样模式改善大数据集的不均衡状况,并优化样本的类别与数量组合;设计了一种堆栈式的RBM结构,以当前RBM的隐含层输出项作为下一个RBM的可见层输入项,提升DBN整体数据训练能力;基于PSO仿生算法改善初始状态下DBN权值的分布状态,并优选出最佳的学习因子、惯性权重等核心参数,实现算法在全局范围内的寻优,同时提高网络模型整体的数据训练能力和收敛速度。实验结果显示,提出算法在不同的不平衡比例下分类精度均具有较为明显的优势,同时分类效率加速比值被控制在1.05以下。

基于不平衡文本数据挖掘的铁路信号设备故障智能分类

针对铁路信号设备不平衡故障文本数据,提出基于文本挖掘的铁路信号设备故障智能分类模型。采用TF-IDF模型实现电务信号设备故障文本的特征提取并转换为向量,基于Voting的方式实现多分类器集成学习分类。该模型利用SVM-SMOTE算法对TF-IDF转换后的小类别文本向量数据进行随机生成,采用逻辑回归、朴素贝叶斯、SVM等基分类器和GBDT、随机森林集成分类器对平衡后的数据进行分类,考虑不同分类器的适用特点,通过Voting方式进行多分类器集成学习。通过对某铁路局2012—2016年铁路信号设备故障文本数据进行试验分析,表明该模型可使故障分类的准确率、召回率和F-score均得到显著提升。

不平衡数据集上的文本分类特征选择新方法

针对不平衡数据集上进行文本分类,传统的特征选择方法容易导致分类器倾向于大类而忽视小类,提出一种新的特征选择方法 IPR(integrated probability ratio)。该方法综合考虑特征在正类和负类中的分布性质,结合四种衡量特征类别相关性的指标对特征词进行评分,能够更好地解决传统特征选择方法在不平衡数据集上的不适应性,在不降低大类分类性能的同时提高了小类的识别率。实验结果表明,该方法有效可行。

基于相似度的半监督学习工业数据分类算法

针对现实场景中大量无监督数据无法有效利用的特点,提出了一种基于数据相似度匹配的半监督学习算法。该方法结合一定的先验知识,通过无监督学习的方式,计算未标记数据与少量有标记数据之间相似度,从而对少数类样本进行扩充。利用构造后的数据集进行模型训练,从而提高模型对于少数类的识别效果。该方法能有效改进分类任务中数据分布不平衡及标记困难的问题,在一组基于真实场景下的电力传感器检测数据分类任务中取得了较好的少数类识别效果。通过对比传统以及半监督的多种分类算法,该方法虽然在准确率上低于传统方法,但是在召回率与F_(1)值的表现上超越传统方法。

基于最小二乘支持向量机的非平衡分布数据分类

支持向量机是在统计学习理论基础上发展起来的一种十分有效的分类方法。然而当两类样本数量相差悬殊时,会引起支持向量机分类能力的下降。为了提高支持向量机的非平衡数据分类能力,文章分析了最小二乘支持向量机的本质特征,提出了一种非平衡数据分类算法。在UCI标准数据集上进行的实验表明,该算法能够有效提高支持向量机对非均衡分布数据的正确性,尤其对于大规模训练集的情况,该算法在保证不损失训练精度的前提下,使训练速度有较大提高。

不平衡训练数据下的基于深度学习的文本分类

近几年来,随着词向量和各种神经网络模型在自然语言处理上的成功应用,基于神经网络的文本分类方法开始成为研究主流.但是当不同类别的训练数据不均衡时,训练得到的神经网络模型会由多数类所主导,分类结果往往倾向多数类,极大彩响了分类效果.针对这种情况,本文在卷积神经网络训练过程中,损失函数引入类别标签权重,强化少数类对模型参数的影响.在复旦大学文本分类数据集上进行测试,实验表明本文提出的方法相比于基线系统宏平均F1值提高了4.49%,较好地解决数据不平衡分类问题.

非均衡数据的去噪模糊支持向量机新方法

针对支持向量机对噪声的敏感,以及当两类训练样本数量差别悬殊时,造成分类结果倾向较大类等弱点,通过理论分析,合理地设计隶属度函数,提出了一种新隶属度函数的模糊支持向量机。该方法既可补偿倾向性造成的不利影响,又可增加抗噪声能力,提高预测分类精度。最后通过对含噪声的非均衡数据实验表明,该方法比传统支持向量机和简单去噪模糊支持向量机都有着较高的分类能力。

基于模糊核匹配追寻的特征模式识别

核匹配追寻算法是近年来新兴的模式识别方法,在处理非线性及高维模式识别问题中表现出了突出的优点.传统的核匹配追寻在处理模式识别的问题中平等地对待所有样本,最终的判决函数是针对所有样本的一个平等综合考虑,要求总识别误差尽可能小,并不能对某一类指定样本进行针对性识别,然而实际应用中经常会碰到这样的情况:要求对某一类样本的识别精度很高,尤其是对于非平衡样本中或者对于具有时间属性的样本序列,由于标准核匹配追寻学习机自身的局限性,使其不能有效地处理这些问题.文中针对这些问题,提出了模糊核匹配追寻学习机,预先根据分类的要求对每个样本做出了不同的重要性定义,学习机根据重要性不同,对样本进行程度不同的学习,最终得到基于问题的判决——对重要样本保持很高的分类精度;最后通过实际的仿真实验证明了模糊匹配追寻的有效性及可行性.

一种改进的基于欧氏距离的SDRSMOTE算法

SMOTE算法可以扩充少数类样本,提高不平衡数据集中少数类的分类能力,但是它在扩充少数类样本时对于边界样本的选择以及随机数的取值具有盲目性。针对此问题,将传统的SMOTE过采样算法进行改进,改进后的过采样算法定义为SDRSMOTE,该算法综合考虑不平衡数据集中全部样本的分布状况,通过融合支持度sd和影响因素posFac来指导少数类样本的合成。在WEKA平台上分别使用SMOTE、SDRSMOTE算法对所选用的6个不平衡数据集进行过采样数据预处理,然后使用决策树、AdaBoost、Bagging和朴素贝叶斯分类器对预处理后的数据集进行预测,选择F-value、G-mean和AUC作为分类性能的评价指标,实验表明SDRSMOTE算法预处理的不平衡数据集的分类效果更好,证明了该算法的有效性。

优化的支持向量机集成分类器在非平衡数据集分类中的应用

传统的分类算法大都建立在平衡数据集的基础上,当样本数据不平衡时,这些学习算法的性能往往会明显下降。对于非平衡数据分类问题,提出了一种优化的支持向量机(SVM)集成分类器模型,采用KSMOTE和Bootstrap对非平衡数据进行预处理,生成相应的SVM模型并用复合形算法优化模型参数,最后利用优化的参数并行生成SVM集成分类器模型,采用投票机制得到分类结果。对5组UCI标准数据集进行实验,结果表明采用优化的SVM集成分类器模型较SVM模型、优化的SVM模型等分类精度有了明显的提升,同时验证了不同的boot Num取值对分类器性能效果的影响。

一种新的不平衡数据v-NSVDD多分类算法

分析了多类支持向量数据描述(support vector data description,SVDD)算法存在的问题,提出一种新的不平衡数据v-NSVDD多分类算法.该方法借鉴了v-SVM方法以及带有负类的SVDD的思想,并基于不同类别样本间隔最大原理,较好地克服噪声和在野点的影响,提高了分类模型的泛化性能;通过样本加权的方法解决了不平衡类别样本预测精度低的问题,并在理论上给出了根据类别样本数量设置样本加权系数的方法.针对实际应用存在大量复杂、非线性分类数据,通过核方法把上述线性分类算法推广到非线性数据分类情形.由于现有的多分类器无法实现拒判,而且每个分类器的核函数参数不同,导致数据点与各个超球中心距离的计算结果与实际距离不相符,影响了数据判决结果的准确性和可靠性.针对上述问题,给出基于相对距离和K-NN规则相结合的多分类方法,提高了分类结果的准确性和可靠性.使用Benchmark数据集进行仿真实验,结果表明本算法能够获得较低的分类误差,能够有效处理样本不平衡问题.

基于MTS-AdaBoost的不平衡数据分类研究

不平衡数据在实际应用中广泛存在,而传统的分类算法大多假定类分布平衡,因此解决不平衡数据的分类问题已经成为数据挖掘的瓶颈问题之一。马田系统(MTS)是一种多元模式识别方法,将其与Ada Boost集成算法相结合,形成MTS-Ada Boost算法。该算法以MTS为基分类器,根据上一个基分类器的预测结果,自行调整下一个基分类器中样本被抽中的概率,以此来改变不同类数据的平衡度。最后,利用该算法对2010—2015年间上市公司的财务危机预警进行实证研究,结果表明,MTS-Ada Boost算法在系统降维和分类效果上都优于传统MTS,也优于其他常用的单一分类器。

一种基于拟牛顿法的大类别分类算法

支持向量机利用接近边界的少数向量来构造一个最优分类面.然而当两类中的样本数量差别悬殊时,PSVM算法则会过度拟合样本量大的那一类,而对样本量很小的那一类的错分率相当高.为解决此问题,本文提出了一种改进的支持向量机算法——DFP-PSVM算法.同时,这个问题也是大类别分类问题所采用的留一法面临的问题,在DFP-PSVM的基础上,提出了基于拟牛顿法的大类别分类算法.通过仿真实验证实了此算法在精度上优于PSVM算法.

电费回收风险预测模型研究与实践

电费是电网公司的主要收入来源,电费的及时有效回收对电网公司的良性运营至关重要。为了提高电费回收率,文章将量化分析方法引入到电费回收管理工作中,建立了分类预测模型预测电费的回收风险。基于模型预测结果,对影响电费回收的关键因素进行识别,并为改善电费回收状况提出针对性建议。

改进的不平衡贝叶斯学习分类模型研究

基于函数逼近的方法存在少数类样本不足时分类效果不佳的问题,针对此问题提出了不平衡贝叶斯学习分类模型。模型引入类间隔似然函数,用于降低后验分布在参数空间上存在的偏态性,以采样到对各类样本分类精确的参数点。在UCI、KEEL上的公开不平衡数据集中的实验结果验证了所提方法的有效性;基于MINIST数据集构建了两个不平衡数据集,在这两个数据集中几何均值分别达到92.4%和81.6%。

适用于中国外语学习者的英文作文全自动集成评分算法

中国英语学习者人数众多,迫切需要针对中国学生特点的、有效适用于大规模英文作文数据的全自动评分算法,以解决中国现有英语教学和大规模英语考试中英文作文批改量大和难度大的瓶颈问题。该文提出了一种能够有效识别中国英语学习者写作特点并能自动识别特征维数的特征选择方法,并在此基础上提出了适用于不平衡分布数据的集成分类评分算法。对来自中国英语学习者语料库中大学英语四、六级不同主题下的1 115篇作文的分类结果显示,该文提出的算法比传统的分类评分算法在类内及类间平均分类准确度、召回率及F度量值上均有较大幅度的提升。

支持向量机在个人信用评估中的应用

个人信用评估在银行信贷业务中有着举足轻重的作用。为了提高银行对个人信用评估的准确率,将支持向量机应用到个人信用评估中,以德国信贷数据为数据集,采用网格-5折交叉验证方法获取核函数最优参数,然后选择不同的核函数及其最优参数进行训练建模,实验得出RBF核函数更适合该数据集。针对样本中数据不平衡的问题,通过改变权重的方式对不同类别设置不同的惩罚参数。实验结果表明,该方法在保证总的预测准确率较好的前提下,有效地平衡了第一类和第二类错误率,可以作为银行信贷决策的参考依据。

基于欠采样和代价敏感的不平衡数据分类算法

针对不平衡数据集中的少数类在传统分类器上预测精度低的问题,提出了一种基于欠采样和代价敏感的不平衡数据分类算法——USCBoost。首先在AdaBoost算法每次迭代训练基分类器之前对多数类样本按权重由大到小进行排序,根据样本权重选取与少数类样本数量相当的多数类样本;之后将采样后的多数类样本权重归一化并与少数类样本组成临时训练集训练基分类器;其次在权重更新阶段,赋予少数类更高的误分代价,使得少数类样本权重增加更快,并且多数类样本权重增加更慢。在10组UCI数据集上,将USCBoost与AdaBoost、AdaCost、RUSBoost进行对比实验。实验结果表明USCBoost在F1-measure和G-mean准则下分别在6组和9组数据集获得了最高的评价指标。可见所提算法在不平衡数据上具有更好的分类性能。