基于改进级联算法的不平衡数据集分类检测算法

以提升不平衡数据集分类检测为研究目标,提出基于改进级联算法的不平衡数据集分类检测算法.首先,采用卡尔曼滤波法进行数据去噪预处理,利用小波阈值去噪算法二次消除噪声数据,并对去噪结果进行归一化预处理;利用DPC算法提取数据的局部密度特征,利用时间编码挖掘数据的时序性特征,采用Apriori算法的强关联规则提取数据集特征;利用模糊层次聚类算法对支持向量机进行优化,实现数据类型的划分;利用改进的级联算法联合布谷鸟算法实现不平衡数据集分类检测.实验结果表明本方法的分类协方差低于0.15,检测准确率高于95%,检测时间低于2.2 ms,有效提升了不平衡数据集分类检测效果.

不平衡数据集的DC-SMOTE过采样方法

针对不平衡数据集在分类任务中表现不佳的问题,提出基于局部密度与集中度的过采样算法。针对数据集中所有的少数类样本点,分别利用高斯核函数与局部引力来计算局部密度与集中度;对于局部密度较小的部分有针对性地合成第一类新样本,解决类内不平衡问题。根据集中度的不同,区分出少数类样本的边界,有针对性地合成第二类新样本,达到强化边界的作用;同时,通过自适应生成新样本,有效解决大部分过采样算法没有明确过采样量或者盲目追求样本平衡度相等的问题。最后,在公开的12个不平衡数据集上进行了实验,实验结果表明,本算法在低不平衡数据集与高不平衡数据集上的应用均拥有良好的表现。

基于改进决策树的不平衡数据集分类算法研究

不平衡数据集中各类样本数量不均,导致分类模型难以训练。针对不平衡数据分类模型稳定性差,准确率低的问题,提出一种基于改进C4.5决策树数据分类算法,通过融合SMOTE优化采样算法,构建出N_C4.5-IDC不平衡数据分类模型。模型首先利用K-Means聚类对数据集进行状态分布分析,并使用SMOTE采样法进行混合采样,通过增加人为样本点提高少数类样本数,对数据集进行平衡处理;然后对C4.5决策树的核心信息增益率模型进行简化改进,提高特征选择效率,并采用回缩损失对比的方法对决策树进行后剪枝处理,构建单一N_C4.5决策树模型;最后将多组N_C4.5模型进行组合叠加,采用加权处理的方法构建N_C4.5-IDC模型。消融实验数据结果表明:优化策略的叠加能显著提高模型性能指标。对比实验数据结果表明:与基线分类算法相比,所提算法准确率最高达96.81%,召回率提高了6.15%,综合性能上升了5.66%。综上,基于改进C4.5决策树构建的不平衡数据分类模型在平衡数据的同时,提高了分类的稳定性与准确性。

面向不平衡数据集的一种基于邻域的过采样算法

过采样是一种通过合成新的同类样本解决数据集中类分布不平衡问题的常用方法。针对数据集中样本分布不平衡的问题,提出一种基于邻域概念的PSON算法。该算法定义每个少数类样本的影响力,依据不同影响力对少数类样本进行过采样以获得平衡数据集。在50个数据集上对8种过采样算法得到的数据集进行分类测试,通过威尔科克森符号秩检验比较7种分类性能指标,结果表明采用PSON算法后分类准确率提升显著。

不平衡数据集中采样比例对分类结果影响的研究

各领域的发展伴随着大量不同类别数据的产生,数据集样本类别往往存在不平衡的特点,特别是医疗、金融和工业领域的数据集,以往研究专注于采样的方法和分类算法。本文针对不平衡数据集的分类问题,按原始比例抽取验证数据集,对余下数据根据不同采样比例和重采样技术构建训练数据集,运用多种分类算法,研究不同采样比例对分类结果的影响。实验结果表明,当采样比例接近原始比例时,分类器的少数类精确率表现更好;当采样比例接近平衡比例时,少数类召回率表现更佳;而最佳F-Score值出现在原始比例和平衡比例之间。本文为不同的应用需求提供了参考,对少数类精确率要求比较高时,使用原始数据;对少数类召回率要求比较高时,通过采样,平衡数据集的不同类别。

加密流量数据集类别不平衡的研究

近年来,随着深度学习技术的迅猛发展,网络安全领域的研究人员开始探索利用深度学习解决加密流量分类问题。然而,目前公开的加密流量数据集存在严重的类别不平衡问题,这对于深度学习分类方法的性能造成了一定的影响。从头构建一个完整的加密流量数据集是耗时且昂贵的。为了克服这个问题,本文提出了一种基于改进的生成对抗网络(GAN)的加密流量生成模型。该模型通过在GAN模型中添加数据包的统计特征和网络流的类别标签作为条件约束,从而生成逼真的流量数据,进而扩充数据集。实验证明,在使用经过本文方法增强的数据集时,基于深度学习的加密流量分类器展现出比使用随机过采样(ROS)、合成少数类过采样技术(SMOTE)和传统的对抗生成网络(GAN)技术更出色的性能。

不平衡数据集梯度提升算法研究

随着机器学习在各个领域的应用不断扩大,处理不平衡数据集的挑战越发显著。不平衡数据集的问题在医学诊断、信用欺诈检测和工业质检等领域广泛存在,提高对不平衡数据集的处理能力至关重要。本文构建XGBoost、LightGBM和CatBoost三种预测分类模型,通过调整参数,使用AUC值作为评分标准,并对比各分类模型在该数据集上的表现情况。

基于对不平衡数据集进行二次迁移学习的滚动轴承剥落类故障诊断方法

滚动轴承在运行过程中正常工作状态时间长,故障时间很短,导致数据集不平衡,从而极大地影响深度学习模型故障诊断的准确率.针对该问题,提出一种基于二次迁移学习的滚动轴承不平衡数据集故障诊断方法.首先使用源域和目标域中的少量数据通过条件梯度惩罚生成对抗网络(CWGAN-GP)生成过渡数据集,然后将搭建好的卷积神经网络模型在源域数据集、过渡数据集和目标域数据集之间进行两次迁移,最后使用目标域的少量数据对迁移后的模型进行微调,得到最终的故障诊断模型.实验结果表明,该方法对不同工况下数据集不平衡的滚动轴承剥落类故障有较好的诊断识别效果.

不平衡数据集中少数类关联规则挖掘的研究与应用

本文提出了一种基于加权支持度的关联规则挖掘算法,并在不平衡的数据集上进行了实验验证。实验结果表明,本文提出的算法能够有效地挖掘出类别不平衡数据集中的少数类关联规则,并且相比于传统的关联规则挖掘算法,具有更好的性能。本文将该算法应用于某银行信用卡欺诈检测数据集中,结果表明该算法能够有效地挖掘出少数类的关联规则,与传统的关联规则挖掘算法相比,具有更好的性能。该算法可用于提高信用卡欺诈检测的准确率和效率,为金融领域的数据分析提供一定的参考价值。总之,本文的研究对于解决类别不平衡数据集中少数类关联规则挖掘的问题具有一定的理论和实践意义,为数据挖掘领域的相关研究提供了一定的参考价值。

面向高维不平衡数据的特征选择算法

针对传统高维不平衡数据集的分类算法存在偏向多数类、忽视少数类等问题,本文提出一种基于密度聚类和重要性度量的特征选择算法(DBIM).首先通过随机降采样的方法构造出多个平衡子集,使用DBSCAN密度聚类方法作为基分类器生成初始特征子空间.然后按照重要度对特征进行排序选择出较强分类的特征.最后,为了避免特征之间的冗余性,设计基于类分布的权重指标与冗余性评价指标相结合的方法进行计算,生成高质量的特征子集.在8个公开数据集上的实验结果表明,本文提出DBIM算法可以生成高相关度且低冗余度的特征子集,对高维不平衡数据集进行有效降维,提高分类性能.

不平衡数据集上在线评论有用性识别研究

[目的/意义]先前研究在识别有用性在线评论时假设数据集类是平衡的,但真实数据往往不符合这一假定。为克服这一局限,文章从真实情景出发提出了在不平衡数据集上识别在线评论的有用性,以提升在线评论的效用。[方法/过程]提出不平衡数据集上在线评论有用性识别模型,该模型包括在线评论有用性特征集构建、融合SMOTE和Boosting的有用性识别算法以及识别效果评价等模块,并从真实数据集出发验证了模型的识别效果。[结果/结论]模型在解决类不平衡后准确识别在线评论有用性的综合性能超过89%,优于未解决类不平衡的分类识别算法,为在线评论有用性识别提供了有效的方法和工具。

基于IWAE的不平衡数据集下轴承故障诊断研究

针对目前现有轴承故障诊断方法对不平衡数据集中的少数类诊断准确率低的问题,提出了不平衡数据集下基于重要性加权自编码器(Importance Weighted Auto-encoder,IWAE)的轴承故障诊断方法。首先通过少数类的样本数据来训练IWAE网络,将生成的样本数据加入到原始数据集中,得到平衡后的数据集;然后引入深度学习方法作为诊断网络,将平衡后的数据集直接输入诊断网络中,自适应的学习故障特征,实现故障分类。为了增强诊断网络的准确率,使用一维多尺度卷积神经网络进行故障诊断。大量的定性定量实验表明,所提出的方法在不平衡比为1/7时,少数类诊断的准确率已经能够达到98.90%,均优于其他现有模型,并且拥有较好的收敛性和泛化性。

面向不平衡数据集的网络入侵检测算法

针对入侵检测数据集存在类别不平衡问题,提出了系统化数据预处理与混合采样相结合的网络入侵检测算法。根据入侵检测数据集的特征分布,对特征值进行系统化处理。首先对Proto、Service和State 3个类别特征,合并每类特征中样本数较少的取值,以降低独热编码的维度;然后依据数值分布将其中18个极端分布的数值特征进行对数处理后再执行Z-score标准化。设计了Nearmiss-1欠采样与SMOTE(Synthetic Minority Over-sampling Technique)过采样相结合的类别不平衡处理技术,将训练集中每类样本按照Proto、Service和State类别特征分成子类,对每个子类进行等比例欠采样或过采样。建立了入侵检测模型PSSNS-RF(Nearmiss and SMOTE based on Proto,Service,State-Random Forest),在UNSW-NB15数据集上的多分类检出率达到97.02%,解决了数据不平衡问题,显著提高了少数类的检出率。

基于DBSCAN聚类的不平衡数据集过采样方法

在网络流量检测中,经常出现数据类别不平衡的情况,为改善不平衡数据集的分类效果,提出一种基于DBSCAN聚类的过采样方法。方法首先对少数类数据进行聚类,之后根据簇的稀疏程度以及簇中少数类样本与多数类样本之间的距离,为每一个少数类样本点分配过采样比例,并生成合成样本。为进一步检验该算法,选择CIC-IDS2017数据集进行测试,并与随机过采样和SMOTE算法进行对比,实验结果表明,所提出的算法更优,可以有效地改进不平衡数据集的分类效果。

Borderline-mixup不平衡数据集分类方法

不平衡数据集问题从20年前就已经引起人们的重视,提出的相关解决方法层出不穷.Mixup是这几年比较流行的数据合成方法,其相关变体比比皆是,但是针对不平衡数据集提出的Mixup变体寥寥无几.本文针对不平衡数据集分类问题,提出了Mixup的变体——Borderline-mixup,其使用支持向量机选择边界样本,增加边界样本在采样器中被采样的概率,构建两个边界采样器,替代了原有的随机采样器.在14个UCI数据集以及CIFAR10长尾数据集上的实验结果表明,Borderline-mixup相比于Mixup在UCI数据集中都有提升,最高能达到49.3%的提升,在CIFAR10长尾数据集中,也能达到3%–3.6%左右的提升.显然,我们提出的Mixup变体在不平衡数据集分类中是有效的.

利用可信反事实的不平衡数据过采样方法

针对传统过采样方法不能充分利用数据集信息的缺陷,提出一种基于反事实(counterfactual,CF)的不平衡数据过采样方法,并进一步对生成的少数类合成样本进行了“可信”清除。其核心思想是依据数据集原有实例特征值合成新样本,相比传统过采样的插值法,更能充分挖掘数据中的边界决策信息,从而为分类器提供更多的有用信息,提高分类性能。在9个来自KEEL与UCI的不平衡数据集、5种不同分类器(SVM、DT、Logistic、RF、AdaBoost)上与4种传统过采样方法(SMOTE、B1-SMOTE、B2-SMOTE、ADASYN)进行了大量对比实验,结果表明,所提方法具有更高的AUC值、F1值和G-mean值,可以更为有效地解决类不平衡问题。

非平衡数据集下基于XGBoost模型的财务舞弊识别研究

针对现实中舞弊样本与非舞弊样本存在的数量不平衡情况,通过25个财务指标与2个非财务指标,运用过采样、欠采样技术及XGBoost模型进行财务报表舞弊识别研究。结果表明,SMOTE过采样方法与XGBoost模型的结合在非平衡数据集下具有较好的整体识别效果,对上市公司财务报表舞弊的智能识别有一定参考意义。

集成方法在极限学习机中的应用

针对传统的单一机器学习模型对非平衡数据集分类预测性能偏低的问题,通过用Adaboost策略将传统的最大化Gm代价调整极限学习机集成起来,生成一种最大化Gm集成极限学习机分类模型(MG-CCR-EELM),使其能够适用于不同平衡率非平衡数据集的分类。通过与现有的最大化Gm代价调整极限学习机、代价敏感混合属性多决策树、改进的模糊支持向量机、随机森林等用于非平衡数据集的分类模型的实验对比,MG-CCR-EELM模型在UCI公共数据集上的准确率最高可提升3.01%,在经颅多普勒数据集上的分类预测准确率提升了5.67%,验证了MG-CCR-EELM模型是一种有效的集成学习模型。

基于不平衡图像的河湖水质监测研究

水质监测对于河湖生态建设有着重要意义,但传统河湖水质监测方法存在监测难度大、监测成本高等问题。为了使水质监测更为智能、方便,文中基于具有不平衡特点的河湖图像,通过代价敏感交叉熵函数方法改进了VGG16卷积神经网络分析河湖图像进行水质监测,并与随机欠采样、图像增强等不平衡数据处理方法进行对比。经过大量实验后,结果显示文中将VGG16卷积神经网络与代价交叉熵函数结合方法的准确率、精准率、召回率与F1值均高于其他方法,分别可以达到0.91、0.92、0.91、0.92,证明该方法可以有效地对河湖不平衡图像进行水质分类。

基于最小生成树的不平衡数据集聚类算法

采用传统不平衡数据集聚类算法直接对数据集编码树进行构建,而未对数据集密度特征进行提取,造成传统算法数据聚类效果差,因此提出了基于最小生成树的不平衡数据集聚类算法。先利用数据区域密度的敏感性,提取数据密度特征,再利用提取的数据集密度特征构建编码树,并计算不平衡聚类状态下的数据集,最后基于最小生成树实现不平衡数据集聚类。设计对比实验,实验结果表明该研究算法聚类效果最好,具有研究价值。