基于特征加权混合隶属度的模糊孪生支持向量机

模糊孪生支持向量机(FTSVM)忽略了不同特征间的差异,导致核函数或距离的计算无法准确反映样本间的相似性,使FTSVM在处理含有大量不相关或弱相关特征的高维数据分类时,难以达到良好分类效果;且隶属度的设计未有效区分离群点或噪声。针对以上问题,提出了一种基于特征加权混合隶属度的FM-FTSVM。首先计算每个特征的信息增益,并依据信息增益值的大小为特征赋予权重,降低不相关或弱相关特征的作用,使其能更好地应用于高维数据分类;然后,为每一类样本构造一个最小包围球计算基于紧密度的特征加权隶属度,并结合基于距离的特征加权隶属度得到特征加权混合隶属度,综合考虑样本点到类中心的特征加权欧式距离和样本间的紧密程度,可更好识别离群点或噪声数据;最后,融合特征加权核函数,降低不相关特征对核函数或距离计算产生的影响。与对比算法在人工数据集、高维数据集和UCI数据集上进行比较,发现本文提出的方法在区分离群点、噪声和有效样本上有明显优势,且在高维数据集上可获得更好分类效果。

基于最小二乘孪生支持向量机的不确定数据学习算法

孪生支持向量机通过计算2个二次规划问题,得到2个不平行的超平面,用于解决二分类问题。然而在实际的应用中,数据通常包含不确定信息,这将会对构建模型带来困难。对此,提出了一种用于求解带有不确定数据的最小二乘孪生支持向量机模型。首先,对于每个实例,该方法都分配一个噪声向量来构建噪声信息。其次,将噪声向量结合到最小二乘孪生支持向量机,并在训练阶段得到优化。最后,采用一个2步循环迭代的启发式框架求解得到分类器和更新噪声向量。实验表明,跟其他对比方法比较,本方法采用噪声向量对不确定信息进行建模,并将孪生支持向量机的二次规划问题转化为线性方程,具有更好的分类精度和更高的训练效率。

基于混合孪生支持向量机的径流区间预测

径流具有非线性和随机性特征,单一点预测模型难以精确刻画和描述径流演化过程。为此,提出了一种可有效量化径流波动范围的智能区间预测方法。首先采用自适应噪声完备集合经验模态分解将非线性径流序列划分为若干子序列,并采用样本熵方法重构得到修正序列;其次以孪生支持向量机为基础,分别对复杂度较高的子序列构建区间预测模型、复杂度较低的子序列建立点预测模型,同时采用鲸鱼优化方法寻求满意的模型参数组合;最后将各子模型的预测结果叠加得到最终的预测区间。结果表明:所提方法具有良好的稳健性和可靠性,在点预测、区间预测等不同场景、不同预见期的性能指标均优于对比模型;如预见期为3 d时,对于黄河流域唐乃亥水文站,所得预测区间具有较高的可靠度与清晰度,其预测区间覆盖率PICP值为98.30%,预测区间平均宽度PINAW值为0.0792,可靠度、清晰度分别平均提高了9.47%和32.66%。研究成果可为智能化径流预测提供行之有效的方法。

增量式稀疏密度加权孪生支持向量回归机

密度加权孪生支持向量回归机(DWTSVR)是一种能够反映数据内在分布的回归算法,具有预测精度高和鲁棒性强等优点,然而其并不适用于训练样本以增量形式提供的场景。针对该问题,提出一种增量式稀疏密度加权孪生支持向量回归机(ISDWTSVR)。首先,辨别新增数据是否为异常样本,并赋予有效样本适当的权重,减小异常样本对模型泛化性能的影响;其次,结合矩阵降维与主成分分析思想筛选出原始核矩阵中的一组特征列向量基代替原特征,实现核矩阵列稀疏化,以获得稀疏解;接着,借助牛顿迭代法和增量学习策略对上一时刻的模型信息进行调整,实现模型的增量更新,同时结合矩阵求逆引理避免增量更新过程中直接求解逆矩阵,进一步加快训练速度;最后,在UCI基准数据集上进行仿真实验,并与现有代表性算法进行比较。实验结果表明,ISDWTSVR继承了DWTSVR的泛化性能,在大规模数据集Bike-Sharing上,新增一个样本模型更新平均CPU时间为5.13 s,较DWTSVR缩短了97.94%,有效地解决了模型必须从头开始重新训练的问题,适用于大规模数据集的在线学习。

近邻密度辅助模糊优化孪生支持向量机的钢板表面缺陷分类

为提升钢板表面缺陷分类精度,提出一种选择性弱化样本的分类模型。首先,在图像预处理阶段引入显著性检测算法来减少二值化后图像出现失真的影响;其次,为了降低不利的边缘样本点对模型的影响,同时又能提高有利的边缘样本点对模型的贡献,构造了一种新的密度模糊隶属度函数对样本进行权重赋值;最后,在孪生支持向量机(TWSVM)的基础上,将构造的密度模糊隶属度函数作为优化条件嵌入模型内,提出了近邻密度辅助模糊优化的TWSVM算法,以提高分类效果。在数据集NEU上的实验结果表明,引入显著性检测算法后,重新设计的特征在整体准确率上提高了1.66%,同时采用优化后的算法进行缺陷分类,准确率达到98.33%,进一步提高了分类性能。

孪生支持向量回归机研究进展

孪生支持向量回归机(Twin Support Vector Regression,TSVR or TWSVR)是一种基于统计学习理论的回归算法,它以结构风险最小化原理为理论基础,通过适当地选择函数子集及该子集中的判别函数,使学习机的实际风险达到最小,保证了在有限训练样本上得到的小误差分类器对独立测试集的测试误差仍然较小.孪生支持向量回归机通过将线性不可分样本映射到高维特征空间,使得映射后的样本在该高维特征空间内线性可分,保证了其具有较好的泛化性能.孪生支持向量回归机的算法思想基于孪生支持向量机(Twin Support Vector Machine,TWSVM),几何意义是使所有样本点尽可能地处于两条回归超平面的上(下)不敏感边界之间,最终的回归结果由两个超平面的回归值取平均得到.孪生支持向量回归机需求解两个规模较小的二次规划问题(Quadratic Programming Problems,QPPs)便可得到两条具有较小拟合误差的回归超平面,训练时间和拟合精度都高于传统的支持向量回归机(Support Vector Regression,SVR),且其QPPs的对偶问题存在全局最优解,避免了容易陷入局部最优的问题,故孪生支持向量回归机已成为机器学习的热门领域之一.但孪生支持向量回归机作为机器学习领域的一个较新的理论,其数学模型与算法思想都尚不成熟,在泛化性能、求解速度、矩阵稀疏性、参数选取、对偶问题等方面仍存在进一步改进的空间.本文首先给出了两种孪生支持向量回归机的数学模型与几何意义,然后将孪生支持向量回归机的几个常见的改进策略归纳如下.(1)加权孪生支持向量回归机由于孪生支持向量回归机中每个训练样本受到的惩罚是相同的,但每个样本对超平面的影响不同,尤其是噪声和离群值会使算法性能降低,并且在不同位置的训练样本应给予不同的处罚更为合理,因此考虑在孪生支持向量回归机的每个QPP中引入一个加权系数,给予不同位置的训练样本不同程度的惩罚.(2)拉格朗日孪生支持向量回归机由于孪生支持向量回归机的对偶问题中半正定矩阵的逆矩阵可能不存在,若存在,则对偶问题不是严格凸函数,可能存在多个解,因此考虑使用松弛变量的2范数代替原有的1范数,使对偶问题更简单,易于求解.(3)最小二乘孪生支持向量回归机由于孪生支持向量回归机的求解需要在对偶空间进行,得到的解为近似解,考虑通过最小二乘法将原问题的不等式约束转化为等式约束,使得原问题可以在原空间内求解,在很大程度上降低计算时间,提高泛化性能,且不损失精度.(4)v-孪生支持向量回归机通过引入一组参数v1与v2自动调节ε1与ε2的值以控制训练样本的特定部分对两条回归超平面所能造成的最大误差,从而自适应给定数据的结构,提高孪生支持向量回归机的拟合精度.(5)ε-孪生支持向量回归机在孪生支持向量回归机的原问题中引入正则化项以达到结构风险最小化的目的,使对偶问题转化为稳定的正定二次规划问题,并通过SOR求解对偶问题,加快训练速度.(6)孪生参数不敏感支持向量回归机克服参数的选取对孪生支持向量回归机超平面构造的影响,使算法非常适合于存在异方差噪声数据的数据集,训练速度和泛化性能也有提升.本文同时对以上算法的数学模型、改进算法及应用进行了系统地分析与总结,给出了以上算法在9个UCI基准数据集上的回归性能与计算时间,并在模型结构层面逐一分析每个算法的表现与耗时的根本原因.对于其他不便于归类的孪生支持向量回归机改进算法及应用,本文也对其作逐一总结.整体来看,最小二乘孪生支持向量回归机在性能和计算时间方面表现最佳,拉格朗日孪生支持向量回归机、v-孪生支持向量回归机的性能并列次优且计算时间接近,加权孪生支持向量回归机、ε-孪生支持向量回归机和孪生参数不敏感支持向量回归机的性能不理想,但计算时间接近.本文旨在使读者对孪生支持向量回归机的不同改进算法之间的异同点与优缺点产生更深刻的理解与认识,从而将更多优秀的改进策略应用于孪生支持向量回归机,最终为进一步提高孪生支持向量回归机的性能以及扩展孪生支持向量回归机的应用范围提供较为清晰的思路.

线性判别分析优化孪生支持向量机的网络入侵检测

为了提高大规模网络数据入侵类型实时检测的准确率,采用线性判别分析(LDA)对网络样本特征进行降维处理,降低孪生支持向量机(TWSVM)的运算复杂度,增强TWSVM的网络入侵检测适用度;首先,采用LDA基于类内和类间散度计算获得网络入侵检测样本的降维特征变量;然后,建立LDA-TWSVM网络入侵检测算法,分别求解TWSVM一次规划和二次规划的核心参数;最后,输入降维特征变量,通过TWSVM输出获得网络入侵检测结果。结果表明:LDA网络样本特征降维对网络入侵检测的正向激励效果较为显著,使得所提出的算法在网络入侵检测中具有较高的适应度;相比于几种常用入侵检测算法,所提出的算法具有更高的检出率(0.9943)和更优的均方根误差(1.1328)。

基于PSO优化孪生支持向量机的自然语言处理

为了进一步提高孪生支持向量机(Twin support vector machine,TWSVM)的自然语言文本分类准确度,提出了一种改进的粒子群优化(Particle swarm optimization,PSO)算法,并采用改进的PSO算法对TWSVM核心参数进行优化。根据迭代次数来选择自适应权重从而对传统PSO算法进行改进,以防止收敛速度过快而错过全局最优解。采用Word2Vec对自然语言样本进行向量化处理,并通过PSO算法对TWSVM惩罚因子进行优化求解,解决因为惩罚因子设置不合理而造成自然语言文本分类准确率不高的问题。试验证明,通过合理设置PSO算法的速度权重初始值和稳定值,结合自适应递减权重策略,能够获得较高的惩罚因子优化性能,从而提高TWSVM的分类准确率,相比于常见自然语言文本分类算法,PSO-TWSVM的分类准确率更高,均方根误差值更低,在自然语言文本分类中的适用度高。

基于改进孪生支持向量机的新型电力系统继电保护故障诊断模型

针对新能源发电因大量并网而导致电网安全性降低的问题,提出了一种基于改进孪生支持向量机的新型电力系统继电保护故障诊断模型。该模型面向新型电力系统设计了一种继电保护体系,并结合设备状态特征构建了故障时序模型。同时利用蛙跳算法对孪生支持向量机的参数进行寻优,以获得最优模型用于设备状态量的分析处理,从而实现故障类型的快速分类。实验结果表明,改进孪生支持向量机的分类准确率约为90%,且所提模型的故障诊断准确率和时间分别约为98.05%及1.48 s,优于其他对比方法。

基于pinball损失的一对一加权孪生支持向量机

孪生支持向量机通过求解2个较小二次规划问题得到一对非平行超平面,从时间和准确率方面提高了分类器的性能.由于此方法使用Hinge损失函数,造成孪生支持向量机对噪声较为敏感以及重采样的不稳定.为此,针对多分类问题,将pinball损失函数与样本权重引入到孪生支持向量机中,采用一对一方法组合二分类器,提出了基于pinball损失的一对一加权孪生支持向量机,较好地解决了孪生支持向量机对噪声的敏感性以及重采样的不稳定性.另外,对于样本的不同影响,给出了多种求取样本权重的方法.实验中选取标准数据集和人工合成数据集对提出的算法进行了验证,并与一对一孪生支持向量机(OVO-TWSVM)、一对多孪生支持向量机(OVA-TWSVM)以及基于pinball损失的一对一加权孪生支持向量机(Pin-OVOTWSVM)进行了比较,表明了提出方法的有效性.

一种改进的鲁棒模糊孪生支持向量机算法

针对模糊孪生支持向量机算法(FTSVM)对噪声仍然敏感,容易过拟合以及不能有效区分支持向量和离群值等问题,提出了一种改进的鲁棒模糊孪生支持向量机算法(IRFTSVM)。将改进的k近邻隶属度函数和基于类内超平面的隶属度函数结合,构造了一种新的混合隶属度函数;在FTSVM算法的目标函数中引入正则化项和额外的约束条件,实现了结构风险最小化,避免了逆矩阵运算,且非线性问题可以像经典的SVM算法一样直接从线性问题扩展而来;将铰链损失函数替换为pinball损失函数,以此降低对噪声的敏感性。此外,在UCI数据集和人工数据集上对该算法进行评估,并与SVM、TWSVM、FTSVM、PTSVM和TBSVM五个算法进行比较。实验结果表明,该算法的分类结果是令人满意的。

改进的一对一支持向量机多分类算法

支持向量机的一对一多分类算法具有良好的性能,但该算法在分类时存在不可分区域,影响了该方法的应用。因此,提出一种一对一与基于紧密度判决相结合的多分类方法,使用一对一算法分类,采用基于紧密度决策解决不可分区,依据样本到类中心之间的距离和基于kNN(k nearest neighbor)的样本分布情况结合的方式构建判别函数来确定类别归属。使用UCI(university of California Irvine)数据集做测试,测试结果表明,该算法能有效地解决不可分区域问题,而且表现出比其它算法更好的性能。

基于改进的一对一支持向量机方法的多目标图像分割

支持向量机方法被看作是对传统学习分类方法的一个好的替代,特别在小样本、高维情况下,具有较好的泛化性能。文章对一对一支持向量机方法进行了改进,并采用其对多目标图像进行了分割研究。实验结果表明,支持向量机方法是一种很有前景的图像分割技术。

新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机(TSVR)是在支持向量回归机(SVR)基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化(SRM)原则提出了一种鲁棒的孪生支持向量回归机(Hε-TSVR),并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。

改进的Ramp孪生支持向量机聚类

基于Hinge损失的孪生支持向量机聚类和基于Ramp损失的孪生支持向量机聚类是两种平面聚类的新算法,为解决聚类问题提供了新的研究思路,逐渐成为模式识别等领域的研究热点。然而,它们在处理带有噪声数据的聚类问题时,往往性能表现不佳。为了解决这个问题,构造了非对称的Ramp损失函数,并在此基础上提出了一种改进的Ramp孪生支持向量机聚类算法。非对称Ramp损失函数不仅继承了Ramp损失函数的优点,用非对称的有界函数度量类内散度和类间散度,使得该算法对离聚类中心平面较远的数据点更加鲁棒,而且参数t的引入使得非对称Ramp损失函数更加灵活。特别地,当参数t等于1时,非对称Ramp损失函数退化为Ramp损失函数,使得基于Ramp损失函数的孪生支持向量机聚类算法成为所提算法的特例。同时,基于核技巧推广到了非线性情形,线性和非线性模型均为非凸优化问题,通过交替迭代算法有效求解。分别在多个UCI数据集和人工数据集上进行实验,实验结果验证了所提算法的有效性。

增量式约简拉氏非对称ν型孪生支持向量回归机

拉氏非对称ν型孪生支持向量回归机是一种泛化性能良好的预测算法,然而其并不适用于增量提供样本的场景。为此,提出了一种增量式约简拉氏非对称ν型孪生支持向量回归机(IRLAsy-ν-TSVR)算法。首先,引入正号函数,将有约束最优化问题转换成无约束最优化问题,并采用半光滑牛顿法在原始空间直接求解,以加快收敛速度。接着,利用矩阵求逆引理,实现半光滑牛顿法中Hessian矩阵求逆的高效增量更新,节省时间开销。然后,为了减少样本累积导致的内存消耗,使用约简技术分别筛选增广核矩阵的列向量和行向量以逼近原增广核矩阵,确保解的稀疏性。最后,在基准测试数据集上验证算法的可行性和有效性。结果表明,与一些代表性算法相比,IRLAsy-ν-TSVR算法继承了离线算法的泛化性能,能够获得稀疏解,更适合大规模数据集的在线学习。

模糊最小二乘孪生支持向量机聚类

孪生支持向量机聚类是一种新的基于平面的聚类方法,但其没有考虑样本数据分布对聚类性能的影响。为了解决这个问题,本文基于样本分布信息构造了一种模糊隶属度,在此基础上提出了模糊最小二乘孪生支持向量机聚类算法。该算法通过引入模糊隶属度函数,并对每个样本点赋予不同的权重,可以改进聚类性能。在人工数据集和UCI数据集上进行实验,并与K-means、KPPC、TWSVC和LSTWSVC算法进行比较,实验结果说明了本文算法的有效性。

Fisher正则化的最小二乘孪生支持向量机

最小二乘孪生支持向量机是一种有效的模式分类算法,然而每一个训练样本都对最终的决策平面有影响。如果训练集含有噪声或异常点,其会过度关注这些点,这可能导致最小二乘孪生支持向量机的判别能力较差。为了解决这个问题,受Fisher准则思想的启发,本文引入了双Fisher正则化项,并在此基础上提出了Fisher正则化的最小二乘孪生支持向量机。同时,在人工数据集和UCI数据集上验证了所提算法的有效性。

基于一对一支持向量机的视频自动分类算法

通过分析五类典型视频在视觉上的特性,提取了七种最能揭示几类视频差异的特征,并设计了一种基于一对一支持向量机(1-1 SVM)的视频内容自动分类算法,用于解决在对网络视频媒体的管理、点播、检索中对视频内容进行初步筛选的问题。基于大量实际视频片段的仿真实验结果证明了本算法在区分能力和准确率方面的性能优势。

基于ITD分解和孪生支持向量机的电能质量扰动识别方法研究

电能质量扰动信号的识别与分类是电能质量分析、评估和治理的基础和关键。针对电能质量扰动信号种类复杂、识别速度慢且准确率低等问题,提出一种基于ITD分解和孪生支持向量机的电能质量扰动识别方法。首先,对电能质量扰动信号做ITD分解,得到一系列固有旋转分量(PRC),并通过云模型的熵和超熵筛选出有效的PRC分量,减少特征冗余;其次,计算有效的PRC分量的模糊熵和能量熵,并根据模糊熵和能量熵求得混合特征矩阵;最后,基于混合特征采用麻雀优化的孪生支持向量机对扰动信号进行分类。仿真分析结果表明,该方法能识别多种电能质量扰动信号,且提高了对单一电能质量的识别准确率,进而为电能质量的分析、评估和治理提供辅助决策,以进一步提高供电质量。