基于加权正则化协同表示的非均衡分类方法

协同表示分类器及其变种在模式识别领域展现出优越的识别性能。然而,其成功很大程度上依赖于类别的平衡分布,高度非均衡的类别分布可能会严重影响其有效性。为弥补这一不足,该文把补子空间诱导的正则项引入到协同表示模型框架,使得改进后的正则化模型更具判别性。进一步,为提高非均衡数据集上少数类的识别准确率,根据每类训练样本的表示能力提出一种基于最近子空间的类权学习算法。该算法根据原始数据的先验信息自适应地获取每类的权重并且能够赋予少数类更大的权重,使得最终的分类结果对少数类更加公平。所提模型具有闭式解,这展示了该方法的计算效率。在权威公开的两类和多类非均衡数据集上的实验结果表明所提方法显著优于其他主流非均衡分类算法。

新兴技术识别中的不均衡分类研究--基于代价敏感的随机森林算法

基于大规模专利数据和专利特征指标开展自动化的前瞻性预测已逐渐成为新兴技术识别的研究重点,机器学习方法的引入也让海量技术发明涌现为新兴技术这一小概率事件是一种典型的不均衡分类问题的本质受到关注。本研究目标在于通过优化分类策略改善新兴技术识别中不均衡数据集造成的分类偏向多数类别的识别效果,提出了综合数据、算法和评估三个层面的新兴技术识别不均衡分类优化框架,并以预测癌症药物领域专利是否有成为新兴技术潜质的二分类场景为例开展实证分析。具体改进之处在于:数据层面采纳渐进式重采样思路;算法层面构建代价敏感的随机森林;评估层面引入代价敏感思想,探究在缺乏专家经验时的代价矩阵验证方式。研究结果表明,基于1∶2均衡比例随机欠采样、以ROC-Youden指数阈值代价矩阵构建的代价敏感随机森林在对应的新兴技术识别目标中能正确预测出82.8%的新兴技术和81.6%的普通技术,显著优于本文对照组及现有相关成果,对未来深入挖掘新兴技术识别中不均衡分类问题的本质具有参考价值。

一种面向非均衡分类的随机森林算法

随机森林算法是一种简单、有效的集成学习算法。它通过自助法和随机化特征子集的方式增加了集成分类的多样性,进而构建出比Bagging和Boosting更精确的集成分类器。然而,当面对非均衡分类问题时,其建树所使用采用的分裂指标——Gini指数被证明对类分布敏感,这在一定程度上降低了随机森林的分类精度。本文提出一种使用K-L距离作为分裂指标的随机森林。实验采用ROC曲线下面积(AUC)作为分类性能评价指标,通过在低度非均衡数据集和高度非均衡数据集上分别与随机森林、平衡随机森林以及基于Hellinger决策树的Bagging集成分类器相比,K-L随机森林不仅在70%以上的实验数据集上优于其他分类器,而且其平均AUC值也优于其他分类器,分别为0. 938、0. 937。上述实验结果表明:使用K-L距离作为分裂指标可以有效提高随机森林处理非均衡分类问题的分类性能。

一种基于高斯混合模型的不均衡分类方法

为应对不均衡分类问题,提高分类准确率,提出了一种基于高斯混合模型的混合采样集成方法 GMHSE(GaussianMixture-model-based Hybrid Sampling Ensemble method),首先通过高斯混合模型将数据划分成多个类簇,然后在每个类簇上混合采样获得多个数据子集,最后基于Bagging技术在类簇内和类簇间进行加权投票完成分类预测。GMHSE通过聚类将对数据进行划分,混合采样保障在不丢失数据信息的同时获得均衡数据集,最后利用集成学习进一步提升模型的泛化性能。实验结果表明,相比已有的一些处理方法,GMHSE可以提升不均衡数据的分类性能。

基于多分类不均衡支持向量机的制造型企业财务管理研究

近年来,制造型企业在经营过程中面临的挑战日益增大。为帮助制造型企业探索科学合理的财务管理方法,更好地保障企业的健康经营和降低成本,论文首先利用哈夫曼树将多分类不均衡企业数据分解为一系列相对平衡的二分类子问题,接着以支持向量机为分类器构建模型,然后,采用算术优化算法进行模型参数寻优。结果表明,发展能力、经营能力、偿债能力对企业的财务状况影响较大。最后,论文基于结果对企业提出相关管理建议。

基于Lasso和构造性覆盖算法的不均衡数据分类方法

针对机器学习分类算法在不均衡数据分类问题中对少数类样本识别能力不足的问题,以电信客户流失场景为例,提出一种不均衡数据分类方法 L-CCSmote(Lasso Constructive Covering Smote)。首先,通过套索回归(Lasso)提取流失用户特征以优化模型输入;然后,通过构造性覆盖算法(CCA)建立神经网络生成符合样本整体分布的覆盖;最后,进一步提出单样本覆盖策略、样本多样性策略和样本密度峰值策略,通过以上策略混合采样以平衡数据。选用了KEEL数据库中的13个不均衡数据集和2个脱敏电信客户数据集,分别在逻辑回归(LR)和支持向量机(SVM)分类算法上对该方法进行验证。在LR分类算法上,与SMOTE-Enn(Synthetic Minority Oversampling TEchnique Edited nearest neighbor)相比,所提方法的平均几何平均值(G-MEAN)提升了2.32%;在SVM分类算法上,与Borderline-SMOTE(Borderline Synthetic Minority Oversampling Technique Edited)相比,所提方法的平均G-MEAN提升了2.44%。实验结果表明,所提方法能解决类别偏斜分布影响分类的问题,且对于稀有类的识别能力优于经典平衡数据方法。

基于分层抽样的不均衡数据集成分类

不均衡数据分类是数据挖掘领域的一个难点问题,对多数类样本进行降采样可简单且有效地解决不均衡数据处理面临的两大核心问题,即如何从数类占绝对优势的数据集合中最大程度地挖掘少数类信息;如何确保在不过度损失多数类信息的前提下构建学习器.但现有的降采样方法往往会破坏原始数据结构特性或造成严重的信息损失.本研究提出一种基于分层抽样的不均衡数据集成分类方法 (简记为EC-SS),通过充分挖掘多数类样本的结构信息,对其进行聚类划分;再在数据块上进行分层抽样来构建集成学习数据成员,以确保单个学习器的输入数据均衡且保留原始数据的结构信息,提升后续集成分类性能.在不均衡数据集Musk1、Ecoli3、Glass2和Yeast6上,对比EC-SS方法与基于随机抽样的不均衡数据集成分类方法、自适应采样学习方法、基于密度估计的过采样方法和代价敏感的大间隔分类器方法的分类性能,结果表明,EC-SS方法能有效提升分类性能.

电子商务中基于非均衡数据分类和词性分析的意见挖掘研究

随着电子商务的不断普及，网络商品评论作为消费者了解网上销售商品质量的一个重要途径，已受到越来越多的重视，并且已提出很多意见挖掘方法来帮助消费者利用这些数据。但目前研究对网络商品评论的非均衡分布特性还较少关注，为此，本文提出基于非均衡数据分类和词性分析的意见挖掘方法。该方法综合基于情感知识和机器学习两种意见挖掘方法，首先，分析电子商务评论的语言特征，对电子商务评论中词语的词性进行分析，提出“留词性”和“去词性”两种分析方法；其次，根据电子商务意见挖掘数据不均衡分布的特征，提出基于非均衡数据分类的意见挖掘方法。最后，以携程网、京东商城和当当网三个不同电子商务网站的用户评论为语料库，对本文提出的方法进行检验，实验结果验证了本文提出的基于非均衡数据分类和词性分析的意见挖掘方法的有效性，并且采用去词性分析方法时，Random Subspace在所有测试集上均取得了最好的分类结果。

基于主动学习的非均衡异常数据分类算法研究

目前,网络安全正面临着越来越复杂的挑战。随着攻击方式和类型的多样化,其破坏程度也在不断增加,网络防护要求已经从单一被动的方式,转为数据融合技术下的主动的网络态势感知,因此,对于异常数据分类的研究仍然十分重要。然而,传统的分类算法在面临非均衡数据时,只考虑了算法正确率的提升,忽视了少数类的分类效果,从而容易导致对攻击和漏洞信息的误判,并且对于新的异常类型的识别效率不够理想。文章针对上述问题,首先,采用主动学习的采样方法提高了算法在大量样本中的学习效率;然后,基于组合类器的思想对分类算法进行改进,利用误分类代价函数增加算法对少数类的分类精度;最后,通过实验仿真将文中方法和传统方法进行对比,验证提出方法的可行性和有效性。

基于差异度的不均衡电信客户数据分类方法

针对传统分类技术对不均衡电信客户数据集中流失客户识别能力不足的问题,提出一种基于差异度的改进型不均衡数据分类(IDBC)算法。该算法在基于差异度分类(DBC)算法的基础上改进了原型选择策略。在原型选择阶段,利用改进型的样本子集优化方法从整体数据集中选择最具参考价值的原型集,从而避免了随机选择所带来的不确定性;在分类阶段,分别利用训练集和原型集、测试集和原型集样本之间的差异性构建相应的特征空间,进而采用传统的分类预测算法对映射到相应特征空间内的差异度数据集进行学习。最后选用了UCI数据库中的电信客户数据集和另外6个普通的不均衡数据集对该算法进行验证,相对于传统基于特征的不均衡数据分类算法,DBC算法对稀有类的识别率平均提高了8.3%,IDBC算法对稀有类的识别率平均提高了11.3%。实验结果表明,所提IDBC算法不受类别分布的影响,而且对不均衡数据集中稀有类的识别能力优于已有的先进分类技术。

基于决策准则优化的不均衡数据分类

现实世界中广泛存在着类别分布不均衡的数据,而传统分类算法在数据失衡的情况下分类效果很不理想,为此提出一种基于决策准则优化的组合分类算法.该算法基于朴素贝叶斯模型输出的后验概率,以不均衡数据评价指标作为目标函数,对决策阈值(二类)或错分代价参数(多类)进行优化,得到最佳的分类决策准则;同时为了提高分类的泛化性,提出一种自适应随机子空间组合分类算法,增强基分类器之间的差异性,避免分类器学习和决策准则优化的过拟合,并可自动获得基分类器的最佳数量.通过大量UCI数据集的实验验证表明,与其它同类算法相比,该算法在精度和效率上都具有更好的处理不均衡数据的优势.

基于优化LM模糊神经网络的不均衡林业信息文本分类算法

为解决不均衡林业信息文本分类中少数类分类正确率低问题,提出了一种基于优化LM模糊神经网络的不均衡林业信息文本分类算法。在阐述优化LM模糊神经网络算法原理的基础上,提取不均衡林业信息文本特征矩阵训练分类器的各项参数,实现对不均衡林业信息文本的精准与快速分类。实验结果表明该算法对少数类辨识准确率高,优于神经网络分类法以及SVM算法、模糊神经网络算法,为不均衡林业信息文本的分类提供了新思路。

如何保障“保障房”——搜索匹配模型框架下的住房市场分类均衡和政策分析

日趋高涨的房价使"住房难"成为中国当下一个重大的民生问题。为了解决中低收入家庭住房难的问题,国家大力推行保障房政策。然而在保障房政策实施的过程中,很多高收入家庭通过瞒报自己的资产状况和收入水平"骗购"保障房。本文通过建立一个住房市场的搜索匹配模型来分析"骗购"背后的机制,并通过分析分类均衡(即高收入家户自发选择进入高档房屋市场而不进入保障房市场)实现的条件,给出政策建议。我们认为,降低保障房的广义上的"质量"(包括装修程度、交通便捷程度以及相应的配套设施的完善程度)或者拉大保障房质量与中高档房屋质量的差距,有利于分类均衡的实现,即有利于防止高收入阶层进入保障房市场从而保障"保障房"供给真正需要的人。

中医临床不均衡数据疾病分类方法研究

基于欠采样的不均衡数据分类算法是一种随机数据优化算法,但它不能最好地反映中医临床原始数据的分布并解决数据的特征冗余问题。提出了基于预测风险的最远病例不均衡装袋算法(PRFS-FPUSAB)。该算法中首先基于欠采样提出了改进的抽样方式尽可能地反映原始数据分布,然后结合集成学习、预测风险标准提高不均衡的分类性能并进行特征选择。在中医临床采集的经络电阻数据上的实验结果表明,该算法改善了曲线下面积并且选择的特征也符合中医学相关理论。

最小二乘支持向量机的一种非均衡数据分类算法

为了提高支持向量机的非平衡数据分类能力,分析了最小二乘支持向量机的本质特征,提出了一种基于中心距离比的非平衡数据分类算法,同时通过修剪边界样本,解决了最小二乘支持向量机缺失稀疏性的问题.在UCI标准数据集上进行的试验表明:该算法能够有效地提高支持向量机对非均衡分布数据的正确性,且该算法在不影响训练精度的前提下,可以得到稀疏解,算法的训练速度也有了一定的提高.

一种不均衡数据的改进蚁群分类算法

针对蚁群挖掘算法(ant colony mining algorithm,ACMA)中的规则评价函数和规则修剪方法,提出一种改进的蚁群挖掘算法(improved ant colony mining algorithm,IACMA),并将其应用于不均衡数据分类.数值实验采用基准数据库中3种典型的不均衡数据,结果表明,改进后的算法能有效提取少数类,提高了不均衡数据整体分类效果.

二类不均衡数据分类问题常用策略研究

类分布不均衡问题在现实世界中广泛存在,针对不均衡数据集的分类方法及其性能评估方法,都与传统分类算法大相径庭。本文在分析常用的二类不均衡数据分类策略的基础上,选取了十个公开的KEEL科研数据集,用G-mean值和AUC值分别衡量分类器的准确率和泛化性能。在KEEL平台上对常用的三类策略中的12种方法的性能进行了验证,明确了算法各自的适用情况。

集成层级图注意力网络检测非均衡虚假评论

作为机器学习当前一大热点,图神经网络(GNN)模型近年来已逐渐开始结合用户评论应用于欺诈检测领域。但现实中汇总的用户评论涉及多个不同领域,可用信息复杂多样,海量的用户生成内容中欺诈信息通常也只占少数,基于GNN的相关检测方法对虚假评论的识别效果不甚理想。针对这种特征异构和数据分布不均衡的问题,将评论系统进行异构网络建模,提出一种新的集成层次图注意力网络(En-HGAN)识别方法。通过融合层次注意力结构,更加充分地利用异构网络中丰富的用户行为信息,为评论学习更加丰富的语义表征,并在集成学习Bagging框架下集成多个差异化的HGAN子模型,使用随机欠采样策略实现基学习器多样性聚合,从而减少有效信息丢失,增强对欺诈评论的检测能力。在YelpChi与Amazon真实数据集上的实验结果表明,En-HGAN方法具有良好的异常探测性能,和当前一些最新的方法相比,在数据类别倾斜分布的应用中显示En-HGAN方法对欺诈实体具有不错的鲁棒性。

基于深度AUC最大化算法的井漏风险预测

井漏是石油天然气钻井过程中经常面临的一项重要挑战,它的发生会极大的降低钻井效率,增加钻井成本。运用人工智能技术实现井漏风险的精准预测具有重要意义。文章将钻井液泄露分类问题转化为不平衡分类问题。类别间的非均衡性和钻探特征间缺乏高度相关性,对传统的深度学习模型提出了挑战。在这种情况下,传统的准确率度量很难正确评估模型性能。此外,研究引入了一种称为FAUC-S的深度AUC最大化(DAM)算法实现井漏风险预测,该算法是通过关注困难样本的AUC损失来训练组合深度学习模型。实验中还应用了一些经典的深度学习模型实现井漏风险的分类。实验结果表明,与其他3个模型相比,FAUC-S获得了最高的精确度、召回率和F 1分数,实验验证了FAUC-S模型优越的分类性能。因此,该深度模型的成功应用可以有效地帮助钻井队解决钻井问题。

基于深度学习的入侵检测数据分类研究

针对由于入侵检测数据集中数据类别不平衡,而导致的检测分类准确率低的问题,设计一种基于生成对抗网络(GAN)和深度森林结合的入侵检测模型。首先,基于生成对抗网络独有的对抗思想,通过原数据类的分类结果,筛选出需要生成的类别,生成数据集中缺少的数据,缓解数据集不平衡的问题;然后,针对网络流量特征复杂与深度森林模型数据处理成本高的矛盾,设计了基于主成分分析和线性判别算法结合的特征提取方法,解决了深度森林模型中的数据计算冗余问题,提高了数据传递与处理能力。实验结果证明,所提方法的分类检测精度达到了96%,其中少数类数据的检测精度比没有平衡前提高了30%。