代价敏感相关向量机的研究及其在变压器故障诊断中的应用

实际中不同变压器故障类型的误分引发的危害程度往往不同,仅追求正确率并不一定会带来符合实际意义的分类结果。针对此,提出了代价敏感相关向量机(CS-RVM)。CS-RVM以误分代价最小为目标,按贝叶斯风险理论预测新样本类别。在用典型算例验证了CS-RVM具有代价敏感性的基础上,尝试将其应用于变压器故障诊断。基于溶解气体分析(DGA)数据的变压器故障诊断实例分析表明,CS-RVM全局诊断正确率略高于BP神经网络和支持向量机,略低于多分类相关向量机(M-RVM),但CS-RVM趋于提高误诊代价高的故障类型的诊断正确率,具有代价敏感性;CS-RVM的诊断速度足以满足变压器故障诊断的工程要求。

基于代价敏感组合核相关向量机的电力变压器故障诊断

组合核相关向量机可以融合多个特征空间,输出变压器隶属于各种状态的概率。将代价敏感机制融入组合核相关向量机,构建了代价敏感组合核相关向量机,该算法以误诊断代价最小为目标,按贝叶斯风险理论预测样本的故障类别,克服了传统诊断方法未考虑误诊断代价差异的问题。针对代价敏感组合核相关向量机核函数参数选取需人为设定的问题,采用K折交叉验证和粒子群算法相结合的方法寻优核函数参数。基于油中溶解气体分析(dissolved gas analysis,DGA)数据的诊断实例表明,与BP神经网络,支持向量机及组合核相关向量机算法相比,代价敏感组合核相关向量机不仅具有较高的诊断正确率,而且具有较低的误诊断代价。

代价敏感相关向量机

相关向量机(RVM)是在稀疏贝叶斯框架下提出的稀疏模型,由于其强大的稀疏性和泛化能力,近年来在机器学习领域得到了广泛研究和应用,但和传统的决策树、神经网络算法及支持向量机一样,RVM不具有代价敏感性,不能直接用于代价敏感学习。针对监督学习中错误分类带来的代价问题,提出代价敏感相关向量分类(CS-RVC)算法,在相关向量机的基础上,通过赋予每类样本不同的误分代价,使其更加注重误分类代价较高的样本分类准确率,使得整体误分类代价降低以实现代价敏感挖掘。实验结果表明,该算法具有良好的稀疏性并能够有效地解决代价敏感分类问题。

一种新的代价敏感SVDD二类分类方法

为提升代价敏感分类性能,通过提升较高误分代价类别的学习精度来降低总误分代价,利用支持向量域描述(Support Vector D omain Description,SVDD)实现代价敏感分类,提出一种代价敏感SVDD二类分类方法CS-SVDD。该方法首先将单类SVDD拓展为二类分类SVDD,对不同类别分别构建SVDD超球体,通过误分类代价调节SVDD分类器对不同类别样本的分类精度,对误分代价高的类别进行更为精确的学习,从而降低总误分代价;对于处于两个超球体之外或覆盖区域的类别属性不明确的样本,以误分代价最小为原则定义代价敏感决策规则。在人工数据集和UCI数据集上与同类方法进行了实验比较,实验结果表明了所提方法的有效性。

基于代价敏感思想和自适应增强集成的SVM多分类算法

针对数据识别分类在传统的支持向量机(SVM)个体分类器上正确识别率不理想的问题,提出一种基于代价敏感思想(cost-sensitive)和自适应增强(AdaBoost)的SVM集成数据分类算法(CAB-SVM)。在自适应增强算法每次迭代训练SVM弱分类器之前,根据样本总数设置初始样本权值,并抽取样本组成临时训练集训练SVM弱分类器。其中在权重迭代更新阶段,赋予被分错样本更高的误分代价,使得被分错样本权重增加更快,有效地减少了算法迭代次数。同时,算法迭代过程极大地优化了个体分类器的识别鲁棒性能,使得提出的CAB-SVM算法获得了更优越的数据分类性能。利用UCI数据样本集的实验结果表明CAB-SVM分类算法的正确识别率高于SVM和SVME算法。

基于代价敏感相关向量机的变压器绝缘状态评估

变压器是电力系统中重要的电气设备,其运行状态对系统安全运行起着重要作用,将代价敏感学习机制引入相关向量机,提出了代价敏感相关向量机(Cost-Sensitive Relevance Vector Machine,CS-RVM)。该算法以误诊损失代价最小为目标,按贝叶斯风险理论预测新样本的故障类别。用典型算例验证了CS-RVM具有较高的诊断正确率,同时可在一定程度上避免故障漏诊、高危故障误诊为低危故障。在此基础上,文章尝试将其应用于变压器绝缘状态评估,提出了基于CS-RVM的油浸式电力变压器故障诊断方法,以克服现有变压器故障诊断方法未考虑误诊代价差异的问题,并采用基于DGA数据的变压器故障诊断实例对该诊断方法的有效性进行了验证。

基于置信度代价敏感的支持向量机不均衡数据学习

现实世界中广泛存在着很多不均衡的数据,其分类问题是机器学习领域的研究热点。为了提高不均衡数据的分类性能,提出一种基于核空间置信度的代价敏感支持向量机分类算法。通过注入类别错分代价机制,以不均衡数据评价指标作为目标函数,优化错分代价因子,提升少数类样本的识别率。计算类中所有样本在核空间下的类别置信度,从而确定样本对决策分类贡献的重要程度,降低噪音或孤立点对支持向量机的影响。通过大量UCI数据集的实验结果表明,与其他同类算法相比,该算法能更好地提高不均衡数据的分类性能。

基于代价敏感支持向量机的软件缺陷预测研究

软件缺陷预测是典型的非平衡学习问题。基于CS-SVM和聚类算法改进代价敏感支持向量机(SVM)算法,提出了CCS-SVM软件缺陷预测模型。在CCS-SVM预测模型中,将SVM与类别误分代价结合起来,以非平衡数据评价指标作为目标函数,优化错分代价因子,提升少数类样本的识别率。通过聚类找到每类样本的中心点,根据样本到其中心点的距离定义每个样本的类别置信度,给每个样本分配不同的误分代价系数,并把样本的置信度引入到代价敏感SVM优化问题中,提高算法鲁棒性,提升SVM分类性能。此外,为了提高模型的泛化能力,使用遗传算法优化特征选择和模型参数。通过美国航空航天局NASA MDP数据集实验表明,本文方法的G-mean和F-measure模型评价值有明显的提升。

代价与样本相关的简约核支持向量机

针对机器学习领域中误分类代价与样本相关的情况,提出一种以最小化总代价为目标的样本相关代价敏感的简约核支持向量机sd2sSVM。首先,在GSVM框架下,将优化目标转换为无约束数学规划问题,再引入分段多项式平滑函数逼近正号函数,使用Newton-YUAN方法求无约束问题的唯一最优解,最后引入简约核提高解非线性问题的效率。实验结果表明,与传统的样本相关代价敏感支持向量机相比,sd2sSVM的分类精度、误分类代价相当,但训练时间、预测时间则更短。另外,讨论了参数C对sd2sSVM分类性能的影响。

基于卷积神经网络和代价敏感的不平衡图像分类方法

针对不平衡图像分类中少数类查全率低、分类结果总代价高,以及人工提取特征主观性强而且费时费力的问题,提出了一种基于Triplet-sampling的卷积神经网络(Triplet-sampling CNN)和代价敏感支持向量机(CSSVM)的不平衡图像分类方法——Triplet-CSSVM。该方法将分类过程分为特征学习和代价敏感分类两部分。首先,利用误差公式为三元损失函数的卷积神经网络端对端地学习将图像映射到欧几里得空间的编码方法;然后,结合采样方法重构数据集,使其分布平衡化;最后,使用CSSVM分类算法给不同类别赋以不同的代价因子,获得最佳代价最小的分类结果。在深度学习框架Caffe上使用人像数据集FaceScrub进行实验。实验结果表明,所提方法在1∶3的不平衡率下,与VGGNet-SVM方法相比,少数类的精确率提高了31个百分点,召回率提高了71个百分点。

代价敏感组合旋转森林用于脑卒中数据分类

为分析临床脑卒中经颅多普勒超声(TCD)数据的实例相关代价敏感特性,提出一种基于实例代价的旋转森林算法。针对TCD数据构造多维组合特征;根据年龄设计适用于脑卒中的实例相关代价矩阵;构建实例相关代价敏感组合旋转森林分类模型(ECS_CROF),利用主成分分析、线性判别分析得到两个新的映射数据,组合原始数据分别训练基分类器得到3个独立的子分类器。将提出的ECS_CROF模型用于TCD非平衡数据的分类。实验结果表明,与已有的方法相比,ECS_CROF的成本节约量有一定提升,可以辅助医生更有效地做出诊断。

嵌入误分类代价和拒识代价的二元分类算法

传统分类算法隐含的假设(每个样本的误差都具有相同的代价,且接受每个样本的分类结果)并不适用于医疗诊断、故障诊断、欺诈检测等领域的实际需求。在定义拒识代价的基础上,本文提出一种嵌入非对称误分类代价和非对称拒识代价的二元分类算法(CSVM-CM C2RC),包括以下4个步骤:学习代价敏感支持向量机、估计每个样本的后验概率、计算每个样本的分类可靠性、确定每类样本的最优拒识阈值。基于标准数据集的试验研究表明,CSVM-CM C2RC能有效地降低误分类率和平均代价,提高分类结果的可靠性。

基于改进支持向量机的高端装备制造业供应商分类研究

针对现有供应商分类方法应用于高端装备制造业供应商所存在的局限性,从相互依赖视角构建了高端装备制造业供应商分类指标体系,提出了基于改进支持向量机的高端装备制造业供应商分类模型。该模型根据供应商误分代价不同,设计代价敏感支持向量机分类器,利用粒子群算法优化分类器的参数,并采用概率输出方法对多个优化的二类分类器的结果进行组合以实现多类分类。实验结果表明,该模型提高了现有方法的分类效果,可以降低总体误分代价,有效识别出对高端装备制造企业具有重大影响的供应商,为高端装备制造企业实施供应商分类管理提供了依据。

基于代价敏感主动学习算法的2型糖尿病诊断

建立2型糖尿病诊断模型,并通过主动学习解决医疗数据中标记样本较少的问题。2型糖尿病的诊断可以被看作一个代价敏感的二分类问题,本文基于逻辑回归模型、支持向量机模型和人工神经网络模型,采用基于期望误差减小的代价敏感主动学习方法,将主动学习算法和代价敏感分类算法相结合来构建诊断模型,将不同的误分类代价考虑到样本的选择中。在2型糖尿病诊断问题中,基于期望误差减小的代价敏感主动学习算法表现最优,以较少的样本标记达到了最低的误分类代价,因此主动学习算法能够减少医疗数据挖掘中需要标记的样本数,节省标注成本,同时保证模型的性能。

改进果蝇优化算法及其在不平衡数据分类中的应用

类别不平衡数据的分类问题是数据挖掘及机器学习过程中的一个研究热点,基于代价敏感学习方法通常用于解决类别不平衡数据分类问题,然而,它在实际应用过程中通常因样本的误分类成本未知而受到限制.针对此问题,文中采用群体智能算法优化样本的误分类代价.果蝇优化算法(Fruit fly optimization algorithm,FOA)是一种全局优化群智能算法,该算法具有原理简单、调节参数较少、收敛速度较高等优点.本研究首先提出了一种基于动态调整寻优步长的果蝇优化算法;其次,利用此果蝇优化算法良好的全局和局部搜索性能,对类别不平衡数据中样本的误分类代价进行了优化;最后,将改进果蝇优化算法学习样本误分类代价的策略应用到乳腺组织数据集的分类研究中.实验结果表明,本算法对类别不平衡数据的分类结果较好,能够有效的识别正、负两类样,解决了因误分类成本的先验信息无法直接获取而使基于代价敏感的不平衡数据分类方法使用受限的问题.

加权边缘损失函数的代价敏感支持向量机

已有的非平衡数据分类算法主要采取直接对损失函数进行加权的方法.文中提出一种加权边缘的hinge损失函数并证明它的贝叶斯一致性,得到加权边缘支持向量机算法(WMSVM),并给出类似于SMO的求解方法.实验结果表明WMSVM在一些数据库上是有效的,从而从理论和实验上说明基于加权边缘的损失函数方法是已有代价敏感方法的一种较好补充.

一种基于混合策略的孤立点检测方法

孤立点检测面临数据不平衡和代价敏感两个问题。利用改进的一类支持向量机对数据集进行重构,并结合代价敏感支持向量机提出了一种混合策略检测方法。首先在传统的一类支持向量机优化过程中设定不同权重,通过刻画超平面消除部分正常样本进而平衡数据集;重构过程保留了孤立点信息,同时能克服数据混叠现象。通过代价敏感支持向量机对样本进行训练,利用受试者工作特征分析作为评判依据搜索最优参数,进而调节阈值获得孤立点检测模型。仿真实验结果表明,本文方法能提高检测精度,同时有效降低总的误分类代价。

一种用于驾驶员疲劳检测的人眼检测方法

疲劳检测系统中的人眼检测误检率较高。为解决该问题,提出一种基于代价敏感支持向量机(CSVM)的人眼检测方法。对图像进行预处理,利用Gabor滤波器提取人眼特征向量,并使用主成分分析法实现降维,采用CSVM训练得到人眼和非人眼分类器,从而验证眼睛候选区域。实验结果表明,该方法能降低误检率,提高分类器的可靠性。

SL-SMOTE和CS-RVM结合的电子设备故障检测方法

针对电子设备故障检测问题中故障机理复杂、故障样本贫瘠的问题,提出一种SL-SMOTE(Safe Level Synthetic Minority Oversampling TEchnique)和代价敏感相关向量机(Cost Sensitive Relevance Vector Machine,CS-RVM)结合的电子设备故障检测方法。所提方法将电子设备的故障检测视为一个非平衡的二分类问题,首先在数据层采用SL-SMOTE对故障样本进行拓展,然后根据优化后的样本训练得到RVM检测器,最后将代价敏感学习引入到检测结果的判别中,得到损失代价最小的检测结果。UCI数据集以及应用案例的实验结果表明所提方法有效提高了检测正确率。