集成特征选择的代价敏感Boosting软件缺陷预测方法

软件中潜在的缺陷会产生严重的后果,通过使用软件缺陷预测技术可以及时地检测到模块中的缺陷。然而,由于软件缺陷数据集中的类不平衡和高维度特征问题,会导致模型的预测性能下降,因此提出了一种集成特征选择的代价敏感Boosting软件缺陷预测方法(Cost-Sensitive Boosting for Feature Selection, CSBFS)。CSBFS首先采用了一种代价敏感的特征选择算法,该算法先计算每个特征对预测结果的贡献值,并根据不同错误类别的代价对贡献值进行调整,选择具有正向贡献的特征作为特征子集,解决了高维度特征的问题;接下来,将这个特征选择算法嵌入进Boosting算法中,在Boosting的每一轮迭代中,为每个基学习器选择合适的特征子集,从而增加了基学习器之间的多样性;此外,通过调整错误类别的权重,为第一类错分样本赋予更高的权重,以缓解类别不平衡问题,进一步提高了预测效果。在20个公开数据集上进行实验,以F-measure、Recall、AUC、G-mean等作为评价指标,实验结果验证了CSBFS方法的有效性。

代价敏感Boosting算法研究

针对代价敏感学习问题,研究boosting算法的代价敏感扩展。提出一种基于代价敏感采样的代价敏感boosting学习方法,通过在原始boosting每轮迭代中引入代价敏感采样,最小化代价敏感损失期望。基于上述学习框架,推导出两种代价敏感boosting算法,同时,揭示并解释已有算法的不稳定本质。在加州大学欧文分校(University of California,Irvine,UCI)数据集和麻省理工学院生物和计算学习中心(Center for Biological&Computational Learning,CBCL)人脸数据集上的实验结果表明,对于代价敏感分类问题,代价敏感采样boosting算法优于原始boosting和已有代价敏感boosting算法。

具有Fisher一致性的代价敏感Boosting算法

AdaBoost是一种重要的集成学习元算法,算法最核心的特性"Boosting"也是解决代价敏感学习问题的有效方法.然而,各种代价敏感Boosting算法,如AdaCost、AdaC系列算法、CSB系列算法等采用启发式策略,向AdaBoost算法的加权投票因子计算公式或权值调整策略中加入代价参数,迫使算法聚焦于高代价样本.然而,这些启发式策略没有经过理论分析的验证,对原算法的调整破坏了AdaBoost算法最重要的Boosting特性。AdaBoost算法收敛于贝叶斯决策,与之相比,这些代价敏感Boosting并不能收敛到代价敏感的贝叶斯决策.针对这一问题,研究严格遵循Boosting理论框架的代价敏感Boosting算法.首先,对分类间隔的指数损失函数以及Logit损失函数进行代价敏感改造,可以证明新的损失函数具有代价意义下的Fisher一致性,在理想情况下,优化这些损失函数最终收敛到代价敏感贝叶斯决策;其次,在Boosting框架下使用函数空间梯度下降方法优化新的损失函数得到算法AsyB以及AsyBL.二维高斯人工数据上的实验结果表明,与现有代价敏感Boosting算法相比,AsyB和AsyBL算法能够有效逼近代价敏感贝叶斯决策;UCI数据集上的测试结果也进一步验证了AsyB以及AsyBL算法能够生成有更低错分类代价的代价敏感分类器,并且错分类代价随迭代呈指数下降.

非均衡数据下基于注意力网络和代价敏感学习的轨面状态识别

准确识别轨面状态,可为列车牵引/制动性能提升提供关键依据。重点针对传统代价敏感学习应用在非均衡轨面状态识别中存在的同类别样本重要性不同和多数类精度下降等问题,提出一种基于注意力网络和代价敏感学习的轨面状态识别方法。该法首先利用迁移学习思想将均衡数据集的特征迁移到非均衡轨面状态数据集,减轻少数类样本误分类影响;其次在骨干网络ResNet18中引入卷积注意力机制模块,增强网络对目标区域的特征学习能力和全局特征信息的感知性能,调整优化网络权重参数;最后构造依据轨面状态样本重要性大小的自适应加权平衡损失函数,降低决策边界对困难样本中多数类的过拟合,获得更加平滑的决策边界。非均衡数据下的实验结果表明,在3种非均衡比下,所提方法的准确率和召回率分别达到96.00%、90.67%、86.33%,与目前常用的方法Focal相比,分别提升了7.00%、2.34%、3.00%。此外,该方法在提高少数类召回率的同时可有效维持多数类的召回率,并且降低了网络训练时间成本。

代价敏感惩罚AdaBoost算法的非平衡数据分类

针对非平衡数据分类问题,提出了一种基于代价敏感的惩罚AdaBoost算法。在惩罚Adaboost算法中,引入一种新的自适应代价敏感函数,赋予少数类样本及分错的少数类样本更高的代价值,并通过引入惩罚机制增大了样本的平均间隔。选择加权支持向量机(Support vector machine,SVM)优化模型作为基分类器,采用带有方差减小的随机梯度下降方法(Stochastic variance reduced gradient,SVRG)对优化模型进行求解。对比实验表明,本文提出的算法不但在几何均值(G-mean)和ROC曲线下的面积(Area under ROC curve,AUC)上明显优于其他算法,而且获得了较大的平均间隔,显示了本文算法在处理非平衡数据分类问题上的有效性。

基于加权KNN与代价敏感多分支深度神经网络的审计数据异常检测

面对日益提高的审计客观性和不断增长的审计任务,提升审计的效率和质量正成为一种势在必行的趋势。选取电力行业某企业的财务凭证数据为研究对象,针对财务凭证数量多、数据类型多样和数据正负样本比例严重失衡的问题,提出一种基于加权KNN与代价敏感多分支深度神经网络算法。该算法能够有效地缩小核查范围,且得到的支出存在审计疑点的财务凭证中涵盖尽可能多的审计问题,从而更有助于帮助审计人员提高工作效率。通过对比实验,验证了该算法能够有效发现审计疑点及涵盖审计问题,结果优于现有其他方法。

面向非均匀分布数据的代价敏感标记分布学习

标记歧义近年来在机器学习和数据挖掘领域备受关注.标记分布学习(LDL)通过为样本分配概率标记来解决标记歧义问题.现有的LDL方法主要是为处理训练数据均匀分布的情况而设计的.然而,在实际应用中,训练数据往往呈现非均匀分布.因此,提出了一种代价敏感的标记分布学习方法(CSLDL),用以处理这种非均匀分布的数据.通过充分利用样本的密度信息,设计了一种新的损失函数.首先,将描述度集平均划分为多个区间,并统计这些区间中的样本个数,从而推导出每个类别标记的经验密度向量.其次,为了确保不同区间之间的连续性,利用邻居来对目标区间的经验密度进行修正.将经验密度向量与对称核进行卷积,以使每个区间不仅考虑当前区间,还考虑附近区间.最后,利用修正后的密度向量构建代价矩阵,并结合Kullback-Leibler(K-L)散度来处理非均匀分布的训练数据.CSLDL在10个真实世界的数据集上与6种最先进的算法进行了对比实验.实验结果充分验证了提出的方法的有效性和优越性.

基于Boosting的代价敏感软件缺陷预测方法

Boosting重抽样是常用的扩充小样本数据集的方法,首先针对抽样过程中存在的维数灾难现象,提出随机属性子集选择方法以进行降维处理;进而针对软件缺陷预测对于漏报与误报的惩罚因子不同的特点,在属性选择过程中添加代价敏感算法。以多个基本k-NN预测器为弱学习器,以代价最小为属性删除原则,得到当前抽样集的k值与属性子集的预测器集合,采用代价敏感的权重更新机制对抽样过程中的不同数据实例赋予相应权值,由所有预测器集合构成自适应的集成k-NN强学习器并建立软件缺陷预测模型。基于NASA数据集的实验结果表明,在小样本情况下,基于Boosting的代价敏感软件缺陷预测方法预测的漏报率有较大程度降低,误报率有一定程度增加,整体性能优于原来的Boosting集成预测方法。

基于代价敏感LightGBM的网购意愿预测研究

[目的]由于购买商品的消费者数量远小于未购买商品的消费者数量,网购意愿预测研究是典型的不平衡数据分类问题.研究不平衡数据的分类问题以提升网购意愿预测的分类准确率,该问题主要存在少数类样本识别准确率远小于多数类样本的问题.[方法]提出一种基于贝叶斯优化的代价敏感轻量梯度提升机(Light Gradient Boosting Machine, LightGBM)模型.首先引入误分类代价作为惩罚因子修正LightGBM的损失函数,其次通过阈值移动降低模型的分类阈值以提高针对少数类样本的预测准确率,最后利用贝叶斯优化算法优化误分类代价参数、分类阈值及其他参数.[结果]从KEEL数据库中选取5个典型的不平衡数据集进行对比实验,相较于标准LightGBM模型,改进LightGBM模型的AUC值和G-mean值均提升了10%左右;相较于遗传算法优化代价敏感LightGBM模型和粒子群优化代价敏感LightGBM模型,改进LightGBM模型的AUC值和G-mean值普遍提升了4%左右;相较于ADASYN-LightGBM模型和BorderlineSMOTE-LightGBM模型,改进LightGBM模型的AUC值和G-mean值普遍提升了3%左右.[结论]基于代价敏感学习在LightGBM损失函数中添加误分类代价作为惩罚因子,并通过阈值移动降低模型的分类阈值,同时利用贝叶斯优化算法优化代价敏感LightGBM模型中的误分类代价参数、分类阈值及其他参数,实现更高的少数类样本预测准确率,提升了网购意愿预测的分类准确率.

考虑代价敏感的高速公路偷逃费行为识别模型

为有效提升高速公路车辆偷逃通行费稽查效率,基于电子不停车收费(ETC)数据,结合K最近邻(KNN)和集成学习(Adaboost)算法及代价敏感学习机制,提出一种高速公路车辆偷逃费行为识别模型。针对原始ETC收费流水数据量大且冗余的特点,制定数据离散化和标准化处理规则,修复并规范数据形态后,提取两类逃费特征。通过分析ETC数据集遴选大车小标等7种逃费类型作为主要研究对象。针对逃费数据“高维”特点导致的模型分类效率低问题,通过Pearson与Spearman相关性分析和ReliefF重要性分析选取表现逃费特性的最佳特征子集。针对逃费车辆与正常车辆的类别“不平衡”现象所引发的模型过拟合问题,构建组合分类模型,在Adaboost算法中将KNN作为基分类器,先通过TomekLinks欠采样缓解不同类边界模糊问题,再引入代价敏感学习机制,提高模型对少数类(逃费车)的重视程度来缓解对多数类(正常车)的判别倾向。最后,对比不同分类模型对各类逃费事件的识别效果,验证融合代价敏感学习机制的KNN-Adaboost模型的性能。结果表明,该研究提出的模型识别精确率达0.98,召回率达0.96,F1系数达0.97,Kappa系数达0.95,较其他模型能更好地解决样本类不均衡问题,对少数类样本具有较高识别精度,可为提升高速公路收费稽查效率提供参考。

测试时间代价敏感决策树

决策树作为一种重要的分类算法已在许多领域得到了广泛应用。针对传统决策树算法未考虑实际应用中代价约束的问题,已有研究提出在限制代价的情况下构建决策树的方法。这些方法中代价的定义并没有考虑测试样本通过决策树进行分类的时间代价。为了最小化样本通过决策树进行分类的测试时间,提出了一种测试时间代价敏感决策树算法。定义了样本的测试时间代价,定义了衡量属性重要度的决策指数,给出了构造代价敏感决策树的算法。实验结果表明,算法的测试时间代价相较于C4.5、RSDT和CSGR等主要算法平均提升了11.7%,且在不同数据集下分类准确度平均提升了5.3%。

多尺度决策系统中测试代价敏感的属性与尺度同步选择

属性与尺度同步选择方法可有效解决涉及代价因素的多尺度决策系统的知识约简问题,然而在现有研究中,少有基于代价进行属性与尺度的同步选择,并且大多数算法只针对协调的多尺度决策系统或不协调的多尺度决策系统.为了解决这一问题,文中以最小化数据处理的总测试代价为目标,提出测试代价敏感的属性与尺度同步选择算法,同时适用于协调的多尺度决策系统和不协调的多尺度决策系统.首先,构造基于粗糙集的理论模型,模型中的概念及性质同时考虑属性因素和尺度因素.其次,基于粗糙集的理论模型,设计启发式算法,能基于测试代价对多尺度决策系统同时进行属性约简与尺度选择,并且不同的属性可选择不同的尺度.最后,在12个数据集上的实验验证文中算法的有效性、实用性及优越性.

基于声纹压缩和代价敏感的变压器状态检测评估方法

声纹检测技术可以助力巡检人员对变压器状态进行检测和评估。文中提出一种基于声纹压缩和代价敏感的变压器状态检测和评估方法。该方法首先提取变压器音频的声纹特征,然后在频率维度上对声纹特征进行筛选和压缩,最后使用卷积神经网络评估变压器状态,并引入代价敏感损失函数以提高对难检出样本的关注度。以某35 kV变压器为研究对象,通过收集现场音频、模拟实验和样本扩充得到变压器音频数据集。测试结果表明,文中所提方法将声纹维度从1 025维降低到80维,计算量和显存分别降低到1 025维的8.1%和7.7%。同时,所提方法的声纹识别准确率高达83.5%,并将最难检出的短路电流异常状态的召回率从48.2%提升至63.6%。

基于代价敏感卷积神经网络的加密流量分类

针对加密流量分类中由于不平衡数据导致的分类偏差和少数类识别率低的问题,提出一种基于代价敏感卷积神经网络的加密流量分类方法。鉴于传统卷积神经网络在处理不平衡数据时容易偏向多数类,该方法引入动态权重调整策略,使其在每次迭代中根据代价敏感层的反馈来重新评估并自适应调整每个样本的权重。当少数类样本被模型误分类时,其权重会增加,促使模型在后续训练中更加关注它们。随着训练的进行,这种动态权重调整策略持续驱使模型改进并提高对少数类样本的识别能力,从而有效地应对类别不平衡问题。为了避免过拟合,该方法还采纳早停策略,当验证集性能连续下滑时及时终止训练。实验结果表明,本文所提出的网络模型在处理类别不平衡的加密流量分类问题上具有显著的优势,准确率和F1值均达到0.97以上。本文研究为加密流量分类提供了一种更为有效且适应于类别不平衡问题的解决方案,为网络安全领域的研究与应用提供了有益的探索。

基于注意力和代价敏感的软件缺陷预测方法

软件缺陷预测的目的是预先识别容易出现缺陷的代码模块以帮助软件质量保障团队适当的分配资源和人力;当前基于稳定学习的软件缺陷预测方法在特征提取过程中缺乏代码图像的全局信息,并忽视了不平衡数据对模型性能的影响;为了解决上述问题,文章提出了一种基于注意力和代价敏感的软件缺陷预测方法;该方法在SDP-SL的神经网络中增加了全局注意力模块,重点关注图像中和缺陷代码相关的特征,并将分类器的损失函数改进为代价敏感的损失函数,降低类不平衡对模型性能的影响;为了评估SDP-SLAC的性能,在PROMISE数据库中的10个开源Java项目上进行了多组比较实验;实验结果表明,SDP-SLAC方法可以有效提升缺陷预测模型的性能。

基于弹载图像的代价敏感与平滑约束结构化SVM目标跟踪方法

目标自寻的炮弹打击目标时,传统的目标跟踪方法易受混杂背景的影响,产生模型漂移从而导致跟踪失败。近年来,随着结构化SVM技术的发展,基于结构化SVM的目标跟踪方法能够有效解决复杂背景的问题。弹载成像条件下,在结构化SVM目标跟踪方法的基础上,增加代价敏感权重解决弹载图像中背景混杂所引起的正、负样本不平衡问题,同时利用t时刻超平面法向量w_(t)与t-1时刻超平面法向量w_(t-1)差值的L_(2)范数作为平滑约束抑制模型漂移问题。通过基于对偶坐标下降原理设计了模型的求解算法并实现一种多尺度目标跟踪方法Scale-CS_SSVM。在弹载数据集上进行实验验证,结果表明:与Scale-DLSSVM方法相比,Scale-CS_SSVM在跟踪精度和成功率上分别提高了5.5和5.0个百分点,达到了最优的性能。

基于代价敏感支持向量机和多变量决策树的分级自适应暂态电压稳定评估

为解决暂态电压稳定评估中失稳工况漏判率高的问题、提升多变量决策树(multivariate decision tree,MDT)应用能力,提出一种分级代价敏感多变量决策树(hierarchical cost sensitive multivariate decision tree,HCS-MDT)评估方法。基于可量测电气量时空联合拓展构建特征,利用改进经验风险的代价敏感支持向量机(cost sensitive support vector machines,CS-SVM)作为MDT内部节点分类器,生成解析式组合特征判稳规则作为可视化决策依据,并能有效减少失稳漏判;将分级自适应(hierarchical self-adaptation,HSA)准则融入CS-MDT中进行暂态电压稳定评估,在提升早期评估能力的同时有效保障评估准确率。暂态电压稳定仿真算例验证了所提方法的有效性。

基于代价敏感的AdaBoost双层分类社会救助预测模型

社会救助服务是保障社会公平的重要举措之一。针对社会救助业务中被救助人员类型的精准识别问题具有极度不平衡性和传统算法在极度不平衡数据分类中具有强偏好性这两大难点进行研究,提出一种新的不平衡多分类模型—基于代价敏感的AdaBoost双层分类(Cost sensitive AdaBoost-Softmax,CA-SF)模型。首先,基于数量均衡原则设计一种“多变二”机制将多分类问题转化为二分类问题,利用具有代价敏感的AdaBoost模型以降低救助数据的极度不平衡性对分类效果的影响。其次,采用能有效规避多重共线性的Softmax回归来解决平衡数据的二次分类。综合实验结果表明CA-SF与多种常用模型相比在社会救助的精准识别上有更高的预测精度和更强的稳定性,能为精准社会救助提供科学且有效的辅助决策手段。

代价敏感的多粒度邻域粗糙模糊集的近似表示

多粒度邻域粗糙集是邻域粗糙集理论的一种新型数据处理模式,其目标概念分别由乐观和悲观的上、下近似边界描述。但当前的多粒度邻域粗糙集既缺乏利用已有的信息粒近似描述目标概念的方法,又无法处理目标概念为模糊的情形。而张清华教授提出的粗糙集近似理论提供了一种利用已有信息粒近似描述知识的方法,为构建多粒度邻域粗糙模糊集的近似精确集提供了新思路。文中首先针对模糊目标概念,将粗糙集近似理论应用到邻域粗糙集领域,提出了代价敏感的邻域粗糙模糊集的近似表示模型;然后进一步从多粒度视角,构建出一种代价敏感的邻域粗糙模糊集的多粒度近似表示模型,并分析了其相关性质;最后,通过实验仿真,验证了当多粒度代价敏感近似及其上、下近似方法分别去近似刻画模糊目标概念时,多粒度代价敏感近似方法产生的误分类代价最小。

基于代价敏感卷积神经网络的遥感影像分类

遥感影像分类中,由于数据集不平衡问题,模型倾向于导致高错分损失的样本学习,而忽略稀有困难样本,使模型的性能降低。针对此问题,提出一种自适应样本分布特征的代价敏感(SCoSen)卷积神经网络算法。该算法为每个类别分别建立损失函数,并且在训练的过程中,通过统计训练数据的样本特征,对样本添加平衡因子,赋予少数类更大的权重,解决训练样本比例不平衡问题。将代价敏感信息嵌入到深度学习框架中,使模型具有代价敏感性,更加关注稀有困难样本的学习。实验结果表明,该算法在不平衡遥感影像数据集上,能够有效提升深度学习模型的分类能力。