非平衡分类技术在人群糖尿病疾病风险预测模型中的应用

目的分析比较几种常用的非平衡分类技术在人群糖尿病疾病风险预测模型中的应用。方法利用中国慢性病前瞻性研究浙江省桐乡市项目点基线调查数据和随访数据,使用机器学习算法建立人群糖尿病发病风险的预测模型,同时探讨欠采样、过采样、SMOTE技术及替换切点技术对分类器性能的影响。结果本研究中神经网络预测模型的AUC值最高,达0.7971,经最优切点的选择和分类后,灵敏度和特异度分别为0.7149和0.7431,模型具有较高的预测能力,同时较好的平衡了灵敏度和特异度的分布。采样法对不同分类器的AUC值影响不同,一般欠采样比过采样具有更高的AUC值;随着SMOTE中少数类比例的上升,AUC出现下降的趋势。结论使用神经网络结合替换切点技术建立的人群糖尿病5年发病风险模型具有较高的预测能力,并能够较好的处理非平衡数据的影响。

一种基于聚类的非平衡分类算法

传统的分类算法大多假定用来学习的数据集是平衡的,但实际应用中真正面临的数据集往往是非平衡数据。针对非平衡数据,利用传统的分类方法往往不能获得良好的性能。文章提出了一种新的基于聚类的非平衡分类算法,通过聚类生成多个聚类体,在每个聚类体中选取一定数量的数据作为训练样本,有效地处理了样例数据的不平衡问题,在相关数据集上的实验验证了本方法的有效性。

一种基于半监督学习的非平衡分类算法

半监督学习是近年来流行的一种机器学习方法,主要是解决在分类问题中,未标注样例充足但有标注样例短缺的问题.但当前的大多数半监督学习算法都假定样例数据是平衡的,这在现实世界中很多情况下是不真实的.提出一种新的基于半监督学习的非平衡分类算法,通过随机动态生成样例特征子空间,有效地处理了样例数据的不平衡问题.在4个相关数据集上的实验验证了本方法的有效性.

基于新型采样技术的非平衡数据分类方法

在一些现实场景中,数据不平衡问题普遍存在,严重影响模型的预测结果。合成少数类过采样技术(Synthetic Minority Over-Sampling Technique,SMOTE)是解决非平衡分类问题的一种方法,但存在局限性。针对数据中的类不平衡问题,提出基于数据分布和聚类加权的改进SMOTE随机森林分类算法(Random Forest Using SMOTE Based on Data Distribution and Cluster Weighting,DCSMOTE-RF)。该算法通过获取样本分布信息,将少数类样本划分到不同簇群,根据簇群信息量为每个区域分配不同合成份额;少数类样本结合自身权重,生成相应规模的目标样本;通过基于随机森林学习评价训练数据。10组非平衡数据集仿真试验结果表明,DCSMOTE-RF算法对非平衡数据具有较好的预测效果。

基于混合多阶集成模型的非平衡热轧带钢凸度智能诊断

为了提升带钢热轧加工过程的智能化水平,基于数字孪生(DT)和信息物理系统(CPS),文本采用数据驱动方法以诊断热轧带钢凸度。因为热轧工艺具有遗传性、非线性和强耦合性的特点,因此带钢凸度诊断是一个决策边界不明确的非平衡问题。现有回归方法倾向于从多数类样本学习信息,而忽略了少数类的缺陷凸度。为了解决这一问题,本文提出了一个混合多阶集成模型(HMSEN)分类带钢凸度。首先,提出了一个新的采样方法,该方法结合了自适应采样(ADASYN)和重复编辑近邻样本(RENN)以强化对缺陷凸度的关注。随后,基于增加的数据,建立了一个多阶集成模型以提升分类精度。同时,通过分析不同基分类器的组合确定了最佳性能的混合多阶集成模型。实验结果表明,相比于其它采样方法,本文提出的采样方法更适合凸度数据集。此外,混合多阶集成模型的性能要优于现有回归方法和机理模型。因此,对于非平衡热轧带钢凸度智能诊断,本文提出的混合多阶集成模型是一种有效且鲁棒的方法。

基于MapReduce和上采样的两类非平衡大数据集成分类

提出了一种基于MapReduce和上采样的两类非平衡大数据分类方法,该方法分为5步:(1)对于每一个正类样例,用MapReduce寻找其异类最近临;(2)在两个样例点之间的直线上生成若干个正类样例;(3)以新的正类样例子集的大小为基准,将负类样例随机划分为若干子集;(4)用负类样例子集和正类样例子集构造若干个平衡数据子集;(5)用平衡数据子集训练若干个分类器,并对训练好的分类器进行集成。在5个两类非平衡大数据集上与3种相关方法进行了实验比较,实验结果表明本文提出的优于这3种方法。

基于增量学习的非平衡SVM分类方法

针对传统支持向量机(Support Vector Machine,SVM)无法有效处理非平衡分类的问题,提出一种基于增量学习的非平衡SVM分类方法(Imbalanced SVM Based on Incremental Learning,ISVM_IL)。该方法首先提取多数类样本中的部分样本,与少数类样本合并参与训练得到初始分类器,然后根据分类器与其他样本的关系,选择距离分类器最近的样本作为增量样本加入训练集参与训练,从而减小实际参与训练的负类数据规模,提高非平衡分类的性能。实验结果表明,本文提出的ISVM_IL方法可以有效提高非平衡分类中重要的少数类样本的分类性能。

基于新型集成分类器的非平衡数据分类关键问题研究

针对非平衡数据分类问题,提出了一种基于差异采样率的重采样算法(differentiated sampling rate algorithm,DSRA),基于DSRA设计了一种新的集成分类器(SVM-Ripper ensemble classifier,SREC)。SREC采用独特的分类器选择策略、分类器集成策略、分类决策方案,可获得较高的分类精度。同时,利用SREC对影响非平衡数据分类的关键问题进行了研究。结果表明,非平衡数据分类问题本质上是由正负样本类间非平衡、类内非平衡、样本规模以及样本非平衡度等诸多因素引起的,只有综合考虑这些因素才能更好地解决非平衡数据分类问题。

领域实例迁移的交互文本非平衡情感分类方法

针对交互文本句子短、成分缺失、多领域下类分布不均衡导致的高维、特征值稀疏、正样本稀少的难点,提出面向目标数据集实例迁移的数据层面采样方法。该方法提出目标数据集和源数据集共性特征的Top-N信息增益和值占比函数,选择评价两个数据集实例相似度的特征;提出目标数据集和源数据集特征空间一致性处理方法,克服两者特征空间不一致的问题;提出分领域的实例选取与迁移方法,克服多领域下的类分布不均衡问题。实验结果表明:该方法有效缓解了交互文本的非平衡问题,使支持向量机、随机森林、朴素贝叶斯、随机委员会4个经典分类算法的加权平均的接收者运行特征曲线(receiver operating characteristic,ROC)指标提升了11.3%。

基于非平衡数据分类的单文档自动文摘方法

自动文摘是自然语言处理领域的一个重要研究话题,基于机器学习的自动文摘方法则是该项研究中的一个热点。然而,自动文摘问题中的数据分布有一个重要现象,即文摘句子与非文摘句子的数量相差非常悬殊,该现象将给传统机器学习算法的应用效果带来负面影响。为此,本文针对自动文摘中句子类别分布严重不平衡这一现象,以支持向量机算法为基础,设计了两种有效的处理非平衡自动文摘数据的分类方法。在第一种方法中,将传统支持向量机中正负类平衡的分类间隔转换为不平衡的分类间隔;在第二种方法中,通过将数据集进行切分,设计了一种支持向量机集成学习算法。通过在DUC2001数据集上的实验证明,本文设计的两种基于非平衡数据分类的单文档自动文摘方法显著优于基于传统分类算法的自动文摘方法。

非平衡数据集的支持向量域分类预测模型研究

基于非平衡数据集的支持向量域分类模型,提出了一种银行客户个人信用预测方法。首先分析了信用预测的主要方法及其不足,然后研究了支持向量域分类模型及其参数的非负二次规划乘性更新算法,进而提出基于支持向量域分类模型的银行客户个人信用预测方法,最后使用人工数据和实际数据对提出方法与支持向量机预测方法进行对比实验。实验结果表明对于银行客户个人信用预测的非平衡数据分析问题,基于支持向量域模型的分类预测方法更有效。

一种提高非平衡数据集PSVM分类精度的方法

邻近支撑向量机(PSVM)是一种比较快捷分类器,然而当它用于非平衡样本集时,PSVM过拟合样本点数较多的一类,而低估样本点数较少的错分误差,因此导致了PSVM比较低的整体分类性能。为此,提出了一种改进算法,算法通过在求解分类平面时,只考虑错分样本造成误差,同时根据两类的错分样本数自适应的惩罚或奖励错分误差来消除两类样本点数差对整体分类性能的影响。实验结果验证了本文提出的改进算法的有效性。

异构分类器融合环境下的非平衡数据分类模型

为解决非平衡数据分类中的正样本分类精度不高的瓶颈问题，提出了一种异构分类器融合环境下的非平衡数据分类模型。该模型基于差异采样率的重采样算法和改进的Adaboost算法，融合了SVM和C5．0两种基分类器；基于知识融合机制，采用了独特的分类器选择策略、分类器集成方法、分类决策方案。仿真实验结果表明，SCECM模型分类性能稳定，在非平衡数据集上具有良好的分类性能。

基于聚类的非平衡K-NN分类方法

现实世界中存在大量非平衡分类问题,传统K-近邻(K-NN)分类方法采用近邻决策的原则,导致少数类样本在分类过程中难以识别。针对这个问题,提出一种基于聚类的非平衡K-NN分类方法(IKNN_C),该方法通过对已标记的多数类样本进行聚类,压缩多数类样本的规模,从而提高标记样本的平衡性,提高非平衡数据的分类性能。

基于鲸群优化随机森林算法的非平衡数据分类

为了提高非平衡数据分类的准确性,采用随机森林算法用于数据分类,并结合鲸鱼优化算法对随机森林弱分类器权重进行优化求解,以增强随机森林算法对非平衡数据分类的适应性。首先,建立基于随机森林的非平衡数据分类模型。通过随机森林的多个决策树弱分类器进行分类,有效解决样本不均衡导致的分类困难问题。接着,采用鲸群优化算法对弱分类器权重进行优化求解,将分类准确率均值作为鲸群优化适应度函数,以提高弱分类器权重投票对最终分类结果的精度。最后,采用经过鲸群优化得到的随机森林模型进行非平衡数据分类。实验证明,通过合理设置鲸群优化算法参数,可以获得分类准确度更高的随机森林弱分类器权重,相较于常用非平衡数据分类算法,文中算法能够获得更优的分类性能。

基于惩罚的SVM和集成学习的非平衡数据分类算法研究

利用各类算法对非平衡数据进行处理已成为数据挖掘领域研究的热问题。针对非平衡数据的特点,在研究支持向量机的相关理论及K-SVM算法基础上,提出基于惩罚机制的PFKSVM(K-SVMbased on penalty factor)算法,克服K-SVM在最优分类面附近易发生错分的问题;并提出由重构采样层、基本训练层和综合判定层组成的集成学习模型。利用UCI公共数据集的实验验证了PFKSVM算法及集成模型在处理非平衡数据分类时的优势。

基于边界混合重采样的非平衡数据分类方法

在非平衡数据分类问题中,为了合成有价值的新样本和删除无影响的原样本,提出一种基于边界混合重采样的非平衡数据分类算法。该算法首先引入支持k-离群度概念,找出数据集中的边界点集和非边界点集;利用改进的SMOTE算法将少数类中的边界点作为目标样本合成新的点集,同时对多数类中的非边界点采用基于距离的欠采样算法,以此达到类之间的平衡。通过实验结果对比表明了该算法在保证G-mean值较优的前提下,一定程度上提高了少数类的分类精度。

超平面距离的非平衡交互文本情感实例迁移方法

针对非平衡交互文本少数类实例匮乏易导致训练的情感分类模型泛化性能差的问题,提出基于超平面距离的非平衡交互文本情感实例迁移方法。该方法将在少数类和多数类支持向量之间的源数据集实例作为待迁实例,并基于目标数据集上的分类超平面构造一个偏移超平面。依据最优信息效用原则基于待迁实例到偏移超平面的距离最短来筛选迁入的实例,同时通过调节迁入比例控制迁入实例规模生成合成数据集。实验结果表明:随着迁入实例增多,合成数据集对原始分布的偏离增大,所训练的序列最小优化算法(SMO)模型的泛化分类性能呈现先提升后降低的现象,类似于信息效用的Wundt曲线;与SMOTE、Subsampling、Oversampling 3种数据层处理方法相比,所提方法训练的SMO、LibSVM、随机森林、代价敏感、CNN 5个分类模型在少数类识别F值上平均获得11%的增幅,且迁入比例最佳范围为20%～30%,在有效缓解非平衡特性的同时提高了少数类识别的泛化分类性能。

非平衡单向分类模型中方差分量的Stein型区间估计

在非平衡单向分类模型中,常规方差分量的区间估计都是以组间平方和与组内平方和为统计量,通过引入包含组间方差分量信息的统计量USS,将均值与平方和的线性组合作为新的统计量.改进后的区间估计与传统的最小长度区间估计相比,长度不变但置信度更高.

面向非平衡数据分类的概率过抽样过滤方法

利用非合作博弈理论为概率过抽样合成的少数类数据决定其最可能的类标签,将数据中的非本类合成数据进行过滤,减少概率过抽样合成数据过程中产生的重叠数据,得到更高质量的少数类数据进而改善数据倾斜状况。实验分别以CART和SVM分类器建立模型,将本文提出的面向非平衡数据分类的概率过抽样过滤方法RACOG+F与原始概率过抽样方法分别在8个KEEL非平衡数据集上进行对比。实验表明,本文提出的方法在评价指标F-measure、G-mean和AUC上获得了较好的分类性能。