基于特征加权混合隶属度的模糊孪生支持向量机

模糊孪生支持向量机(FTSVM)忽略了不同特征间的差异,导致核函数或距离的计算无法准确反映样本间的相似性,使FTSVM在处理含有大量不相关或弱相关特征的高维数据分类时,难以达到良好分类效果;且隶属度的设计未有效区分离群点或噪声。针对以上问题,提出了一种基于特征加权混合隶属度的FM-FTSVM。首先计算每个特征的信息增益,并依据信息增益值的大小为特征赋予权重,降低不相关或弱相关特征的作用,使其能更好地应用于高维数据分类;然后,为每一类样本构造一个最小包围球计算基于紧密度的特征加权隶属度,并结合基于距离的特征加权隶属度得到特征加权混合隶属度,综合考虑样本点到类中心的特征加权欧式距离和样本间的紧密程度,可更好识别离群点或噪声数据;最后,融合特征加权核函数,降低不相关特征对核函数或距离计算产生的影响。与对比算法在人工数据集、高维数据集和UCI数据集上进行比较,发现本文提出的方法在区分离群点、噪声和有效样本上有明显优势,且在高维数据集上可获得更好分类效果。

直觉模糊的结构化最小二乘孪生支持向量机

针对最小二乘孪生支持向量机(least squares twin support vector machine,LSTSVM)对噪声或是异常数据敏感和忽略数据内在结构信息的问题,提出了一种直觉模糊的结构化最小二乘孪生支持向量机(intuition fuzzy and structural least squares twin support vector machine,IF-SLSTSVM)。首先采用孤立森林对输入样本点进行预处理;然后通过直觉模糊数的概念,赋予输入样本点不同的权重以减少噪声或是异常数据对分类超平面产生的影响;最后采用K-Means算法,以协方差的形式获取输入样本点之间的结构信息。IFSLSTSVM在LS-TSVM的基础上,考虑了输入样本点在特征空间中的分布信息及输入样本点之间的关系,提高了模型的鲁棒性。实验采取UCI数据集,在0%、5%、10%以及20%的不同比例噪声环境对IF-SLSTSVM算法的有效性进行验证。结果显示相较于6种对比算法,IF-SLSTSVM算法有更好的鲁棒性。

近邻密度辅助模糊优化孪生支持向量机的钢板表面缺陷分类

为提升钢板表面缺陷分类精度,提出一种选择性弱化样本的分类模型。首先,在图像预处理阶段引入显著性检测算法来减少二值化后图像出现失真的影响;其次,为了降低不利的边缘样本点对模型的影响,同时又能提高有利的边缘样本点对模型的贡献,构造了一种新的密度模糊隶属度函数对样本进行权重赋值;最后,在孪生支持向量机(TWSVM)的基础上,将构造的密度模糊隶属度函数作为优化条件嵌入模型内,提出了近邻密度辅助模糊优化的TWSVM算法,以提高分类效果。在数据集NEU上的实验结果表明,引入显著性检测算法后,重新设计的特征在整体准确率上提高了1.66%,同时采用优化后的算法进行缺陷分类,准确率达到98.33%,进一步提高了分类性能。

机车前端薄壁吸能管仿真模型模糊参数的支持向量回归反求

为了获得影响耐撞性结构有限元计算精度的准确模型参数,提高冲击仿真的准确性,提出一种基于支持向量回归(support vector regression,SVR)模型进行参数优化反求的方法。以一种机车前端防爬结构中的预压薄壁吸能圆管为研究对象建立有限元模型,进行台车冲击试验验证仿真模型准确性。通过拉丁超立方试验设计驱动有限元模型进行少量计算获得数据集,有限元模型中的模糊参数为输入变量,计算与试验载荷的差异为目标响应,通过SVR方法构建映射关系,并采用增强精英保留遗传算法(strengthen elitist genetic algorithm,SEGA)对超参数进行优化,确定SVR模型最佳配置;通过该最优SVR模型再次使用SEGA优化反求,获得最佳模糊参数组合。使用这组参数组合设置有限元模型,其仿真结果相较初始计算耐撞性指标和载荷曲线匹配程度都得到了提高。研究结果为有限元模型中模糊参数的准确设定、碰撞仿真的精度提升提供了一种新的思路。

基于最小二乘孪生支持向量机的不确定数据学习算法

孪生支持向量机通过计算2个二次规划问题,得到2个不平行的超平面,用于解决二分类问题。然而在实际的应用中,数据通常包含不确定信息,这将会对构建模型带来困难。对此,提出了一种用于求解带有不确定数据的最小二乘孪生支持向量机模型。首先,对于每个实例,该方法都分配一个噪声向量来构建噪声信息。其次,将噪声向量结合到最小二乘孪生支持向量机,并在训练阶段得到优化。最后,采用一个2步循环迭代的启发式框架求解得到分类器和更新噪声向量。实验表明,跟其他对比方法比较,本方法采用噪声向量对不确定信息进行建模,并将孪生支持向量机的二次规划问题转化为线性方程,具有更好的分类精度和更高的训练效率。

具有间隔分布优化的最小二乘支持向量机

最小二乘支持向量机(Least Squares Support Vector Machine,LSSVM)通过求解一个线性等式方程组来提高支持向量机(Support Vector Machine,SVM)的运算速度。但是,LSSVM没有考虑间隔分布对于LSSVM模型的影响,导致其精度较低。为了增强LSSVM模型的泛化性能,提高其分类能力,提出一种具有间隔分布优化的最小二乘支持向量机(LSSVM with margin distribution optimization,MLSSVM)。首先,重新定义间隔均值和间隔方差,深入挖掘数据的间隔分布信息,增强模型的泛化性能;其次,引入权重线性损失,进一步优化了间隔均值,提升模型的分类精度;然后,分析目标函数,剔除冗余项,进一步优化间隔方差;最后,保留LSSVM的求解机制,保障模型的计算效率。实验表明,新提出的分类模型具有良好的泛化性能和运行时间。

基于混合孪生支持向量机的径流区间预测

径流具有非线性和随机性特征,单一点预测模型难以精确刻画和描述径流演化过程。为此,提出了一种可有效量化径流波动范围的智能区间预测方法。首先采用自适应噪声完备集合经验模态分解将非线性径流序列划分为若干子序列,并采用样本熵方法重构得到修正序列;其次以孪生支持向量机为基础,分别对复杂度较高的子序列构建区间预测模型、复杂度较低的子序列建立点预测模型,同时采用鲸鱼优化方法寻求满意的模型参数组合;最后将各子模型的预测结果叠加得到最终的预测区间。结果表明:所提方法具有良好的稳健性和可靠性,在点预测、区间预测等不同场景、不同预见期的性能指标均优于对比模型;如预见期为3 d时,对于黄河流域唐乃亥水文站,所得预测区间具有较高的可靠度与清晰度,其预测区间覆盖率PICP值为98.30%,预测区间平均宽度PINAW值为0.0792,可靠度、清晰度分别平均提高了9.47%和32.66%。研究成果可为智能化径流预测提供行之有效的方法。

增量式稀疏密度加权孪生支持向量回归机

密度加权孪生支持向量回归机(DWTSVR)是一种能够反映数据内在分布的回归算法,具有预测精度高和鲁棒性强等优点,然而其并不适用于训练样本以增量形式提供的场景。针对该问题,提出一种增量式稀疏密度加权孪生支持向量回归机(ISDWTSVR)。首先,辨别新增数据是否为异常样本,并赋予有效样本适当的权重,减小异常样本对模型泛化性能的影响;其次,结合矩阵降维与主成分分析思想筛选出原始核矩阵中的一组特征列向量基代替原特征,实现核矩阵列稀疏化,以获得稀疏解;接着,借助牛顿迭代法和增量学习策略对上一时刻的模型信息进行调整,实现模型的增量更新,同时结合矩阵求逆引理避免增量更新过程中直接求解逆矩阵,进一步加快训练速度;最后,在UCI基准数据集上进行仿真实验,并与现有代表性算法进行比较。实验结果表明,ISDWTSVR继承了DWTSVR的泛化性能,在大规模数据集Bike-Sharing上,新增一个样本模型更新平均CPU时间为5.13 s,较DWTSVR缩短了97.94%,有效地解决了模型必须从头开始重新训练的问题,适用于大规模数据集的在线学习。

基于模糊支持向量机的开关柜运行故障实时监测方法

常规的开关柜运行故障实时监测方法主要使用GSY20测量传感器采集故障信号,易受局部放电作用影响,导致监测的异常幅值与实际异常幅值相差较大。因此,需要基于模糊支持向量机设计一种全新的开关柜运行故障实时监测方法。利用模糊支持向量机进行了故障实时监测分类,构建了开关柜运行故障实时监测中心,从而实现了开关柜运行故障实时监测。实验结果表明,所设计的监测方法监测的异常幅值与实际异常幅值接近,监测效果较好。

基于弹球损失模糊支持向量机的客户认购定期存款预测分析

本文基于UCI机器学习库中的一家银行机构营销活动的数据,以客户是否认购定期存款为响应变量,以9个描述客户信息以及社会经济状况的离散和连续指标作为解释变量建立预测模型。提出了一种改进的弹球损失模糊支持向量机(Pin-FSVM)预测模型,旨在提高金融服务行业中银行识别潜在客户认购定期存款的准确性和效率。Pin-FSVM模型通过融合弹球损失函数和模糊隶属度的概念,优化了传统模糊支持向量机的性能。该模型在含噪声数据环境下维持了预测准确率,并有效处理了数据中的不确定性。在应用于银行客户认购存款的预测实践中,Pin-FSVM成功识别出更可能选择定期存款的客户,显著提升了预测效果,为银行精准识别和服务客户群体提供了有力工具。This paper is based on data from the UCI machine learning repository on the marketing activities of a banking institution, with whether a customer subscribes to a time deposit as the response variable, and nine discrete and continuous indicators describing the customer’s information as well as his socio-economic status as the explanatory variables. In this paper, an improved Pinball Loss Fuzzy Support Vector Machine (Pin-FSVM) prediction model is proposed with the aim of improving the accuracy and efficiency of banks in the financial services industry in identifying potential customers to subscribe to time deposits. The Pin-FSVM model optimises the performance of the traditional fuzzy support vector machine by incorporating the concepts of the Pinball Loss Function and the Fuzzy Affiliation Degree. The model maintains prediction accuracy in noisy data environments and effectively handles the uncertainty in the data. In the application to the practice of predicting bank customers’ subscription deposits, Pin-FSVM successfully identifies customers who are more likely to choose time deposits, which significantly improves the prediction effect and provides a powerful tool for banks to accurately identify and serve their customer groups.

基于模糊支持向量机的线路继电保护光纤通信应用技术

传统的继电保护方法往往依赖于主观因素,难以适应复杂多变的运行环境。因此,文章研究新的继电保护方法,提出基于模糊支持向量机的线路继电保护光纤通信应用技术。文章采用光纤传输作为通信装置中的通信技术,设计继电保护光纤通信装置结构,采集线路状态数据,输入模糊支持向量机模型进行分类,根据分类结果,判断线路的健康状况、负载情况等关键信息,构建基于模糊支持向量机的线路实时状态传输通信流程,实现线路继电保护光纤通信技术应用。实验结果表明:所设计技术能够有效地提高继电保护的处理效率。

一种改进的鲁棒模糊孪生支持向量机算法

针对模糊孪生支持向量机算法(FTSVM)对噪声仍然敏感,容易过拟合以及不能有效区分支持向量和离群值等问题,提出了一种改进的鲁棒模糊孪生支持向量机算法(IRFTSVM)。将改进的k近邻隶属度函数和基于类内超平面的隶属度函数结合,构造了一种新的混合隶属度函数;在FTSVM算法的目标函数中引入正则化项和额外的约束条件,实现了结构风险最小化,避免了逆矩阵运算,且非线性问题可以像经典的SVM算法一样直接从线性问题扩展而来;将铰链损失函数替换为pinball损失函数,以此降低对噪声的敏感性。此外,在UCI数据集和人工数据集上对该算法进行评估,并与SVM、TWSVM、FTSVM、PTSVM和TBSVM五个算法进行比较。实验结果表明,该算法的分类结果是令人满意的。

孪生支持向量回归机研究进展

孪生支持向量回归机(Twin Support Vector Regression,TSVR or TWSVR)是一种基于统计学习理论的回归算法,它以结构风险最小化原理为理论基础,通过适当地选择函数子集及该子集中的判别函数,使学习机的实际风险达到最小,保证了在有限训练样本上得到的小误差分类器对独立测试集的测试误差仍然较小.孪生支持向量回归机通过将线性不可分样本映射到高维特征空间,使得映射后的样本在该高维特征空间内线性可分,保证了其具有较好的泛化性能.孪生支持向量回归机的算法思想基于孪生支持向量机(Twin Support Vector Machine,TWSVM),几何意义是使所有样本点尽可能地处于两条回归超平面的上(下)不敏感边界之间,最终的回归结果由两个超平面的回归值取平均得到.孪生支持向量回归机需求解两个规模较小的二次规划问题(Quadratic Programming Problems,QPPs)便可得到两条具有较小拟合误差的回归超平面,训练时间和拟合精度都高于传统的支持向量回归机(Support Vector Regression,SVR),且其QPPs的对偶问题存在全局最优解,避免了容易陷入局部最优的问题,故孪生支持向量回归机已成为机器学习的热门领域之一.但孪生支持向量回归机作为机器学习领域的一个较新的理论,其数学模型与算法思想都尚不成熟,在泛化性能、求解速度、矩阵稀疏性、参数选取、对偶问题等方面仍存在进一步改进的空间.本文首先给出了两种孪生支持向量回归机的数学模型与几何意义,然后将孪生支持向量回归机的几个常见的改进策略归纳如下.(1)加权孪生支持向量回归机由于孪生支持向量回归机中每个训练样本受到的惩罚是相同的,但每个样本对超平面的影响不同,尤其是噪声和离群值会使算法性能降低,并且在不同位置的训练样本应给予不同的处罚更为合理,因此考虑在孪生支持向量回归机的每个QPP中引入一个加权系数,给予不同位置的训练样本不同程度的惩罚.(2)拉格朗日孪生支持向量回归机由于孪生支持向量回归机的对偶问题中半正定矩阵的逆矩阵可能不存在,若存在,则对偶问题不是严格凸函数,可能存在多个解,因此考虑使用松弛变量的2范数代替原有的1范数,使对偶问题更简单,易于求解.(3)最小二乘孪生支持向量回归机由于孪生支持向量回归机的求解需要在对偶空间进行,得到的解为近似解,考虑通过最小二乘法将原问题的不等式约束转化为等式约束,使得原问题可以在原空间内求解,在很大程度上降低计算时间,提高泛化性能,且不损失精度.(4)v-孪生支持向量回归机通过引入一组参数v1与v2自动调节ε1与ε2的值以控制训练样本的特定部分对两条回归超平面所能造成的最大误差,从而自适应给定数据的结构,提高孪生支持向量回归机的拟合精度.(5)ε-孪生支持向量回归机在孪生支持向量回归机的原问题中引入正则化项以达到结构风险最小化的目的,使对偶问题转化为稳定的正定二次规划问题,并通过SOR求解对偶问题,加快训练速度.(6)孪生参数不敏感支持向量回归机克服参数的选取对孪生支持向量回归机超平面构造的影响,使算法非常适合于存在异方差噪声数据的数据集,训练速度和泛化性能也有提升.本文同时对以上算法的数学模型、改进算法及应用进行了系统地分析与总结,给出了以上算法在9个UCI基准数据集上的回归性能与计算时间,并在模型结构层面逐一分析每个算法的表现与耗时的根本原因.对于其他不便于归类的孪生支持向量回归机改进算法及应用,本文也对其作逐一总结.整体来看,最小二乘孪生支持向量回归机在性能和计算时间方面表现最佳,拉格朗日孪生支持向量回归机、v-孪生支持向量回归机的性能并列次优且计算时间接近,加权孪生支持向量回归机、ε-孪生支持向量回归机和孪生参数不敏感支持向量回归机的性能不理想,但计算时间接近.本文旨在使读者对孪生支持向量回归机的不同改进算法之间的异同点与优缺点产生更深刻的理解与认识,从而将更多优秀的改进策略应用于孪生支持向量回归机,最终为进一步提高孪生支持向量回归机的性能以及扩展孪生支持向量回归机的应用范围提供较为清晰的思路.

线性判别分析优化孪生支持向量机的网络入侵检测

为了提高大规模网络数据入侵类型实时检测的准确率,采用线性判别分析(LDA)对网络样本特征进行降维处理,降低孪生支持向量机(TWSVM)的运算复杂度,增强TWSVM的网络入侵检测适用度;首先,采用LDA基于类内和类间散度计算获得网络入侵检测样本的降维特征变量;然后,建立LDA-TWSVM网络入侵检测算法,分别求解TWSVM一次规划和二次规划的核心参数;最后,输入降维特征变量,通过TWSVM输出获得网络入侵检测结果。结果表明:LDA网络样本特征降维对网络入侵检测的正向激励效果较为显著,使得所提出的算法在网络入侵检测中具有较高的适应度;相比于几种常用入侵检测算法,所提出的算法具有更高的检出率(0.9943)和更优的均方根误差(1.1328)。

基于PSO优化孪生支持向量机的自然语言处理

为了进一步提高孪生支持向量机(Twin support vector machine,TWSVM)的自然语言文本分类准确度,提出了一种改进的粒子群优化(Particle swarm optimization,PSO)算法,并采用改进的PSO算法对TWSVM核心参数进行优化。根据迭代次数来选择自适应权重从而对传统PSO算法进行改进,以防止收敛速度过快而错过全局最优解。采用Word2Vec对自然语言样本进行向量化处理,并通过PSO算法对TWSVM惩罚因子进行优化求解,解决因为惩罚因子设置不合理而造成自然语言文本分类准确率不高的问题。试验证明,通过合理设置PSO算法的速度权重初始值和稳定值,结合自适应递减权重策略,能够获得较高的惩罚因子优化性能,从而提高TWSVM的分类准确率,相比于常见自然语言文本分类算法,PSO-TWSVM的分类准确率更高,均方根误差值更低,在自然语言文本分类中的适用度高。

基于聚类分析和支持向量机的非等间隔应力谱编制方法

为保证根据实测应力-时间历程数据编制的应力谱最大程度反映载荷实际作用特性,提出了一种基于疲劳损伤的非等间隔应力谱编制方法。通过引入非等间隔自适应比值系数,根据损伤等效原则,建立应力谱分级数与疲劳损伤关系数学模型;考虑每个应力循环的属性特征,采用聚类分析对所有应力循环进行分类,结合支持向量机多分类进行判别,得到不同分级数下的准确率和预测图;综合考虑数学模型得到的损伤相对误差和支持向量机分类准确率,选取应力谱最佳分级数,编制了相应的非等间隔应力谱,并与目前常用的等间隔和非等间隔8级谱进行比较。分析结果表明:基于损伤等效原则,采用聚类分析和支持向量机进行应力谱分级,不仅考虑了所有应力循环的整体特征,很大程度保留了应力的局部信息和属性,且根据疲劳累积损伤理论得到的损伤与实际损伤结果差异明显降低,从而更能准确反映实测数据的应力特性和疲劳效应,可为其他实测载荷-时间历程数据进行非等间隔分级和载荷谱编制提供参考。

模糊最小二乘孪生支持向量机聚类

孪生支持向量机聚类是一种新的基于平面的聚类方法,但其没有考虑样本数据分布对聚类性能的影响。为了解决这个问题,本文基于样本分布信息构造了一种模糊隶属度,在此基础上提出了模糊最小二乘孪生支持向量机聚类算法。该算法通过引入模糊隶属度函数,并对每个样本点赋予不同的权重,可以改进聚类性能。在人工数据集和UCI数据集上进行实验,并与K-means、KPPC、TWSVC和LSTWSVC算法进行比较,实验结果说明了本文算法的有效性。

基于协同模糊支持向量机的工业机器人故障诊断研究

先进的故障诊断方法对保证工业机器人高效稳定运行具有重要作用。针对传统机器学习故障诊断的不足,利用模糊理论提高处理不确定信息的能力,构建一种协同模糊支持向量机(Synergetic Fuzzy Support Vector Machine,SFSVM)工业机器人故障诊断模型,并对其进行机制优化。在多论域空间结构下,综合处理工业机器人的不确定性信息运行状态监测数据和专家先验知识,提高了工业机器人故障诊断的适用性和鲁棒性。

基于支持向量机的风轮不平衡故障诊断方法研究

针对风电机组风轮不平衡的识别与检测问题,提出一种基于多核融合支持向量机的风轮不平衡识别方法。首先,分析风轮不平衡的影响,提出一种基于变分模态分解(VMD)的信号分解与重构方法;其次,提出基于模糊熵的风轮不平衡特征提取方法,以高斯核函数作为模糊函数,该方法具有较好的噪声鲁棒性和较低的数据长度依赖性;再次,提出基于多核融合支持向量机的风轮不平衡识别方法,融合不同特征和尺度的核函数组成核函数库,并选取最优核函数;最后,在不同湍流强度的仿真中建立交叉验证数据库对该方法进行验证,识别准确率在98%以上,证明该方法能有效识别风轮不平衡。

基于遗传算法和支持向量机的XSS攻击检测方法

针对现有基于过滤器、动态分析、静态分析等的解决方案在检测未知XSS攻击方面效果不佳的问题,利用机器学习方法可高效检测出未知XSS攻击的特点,提出一种基于遗传算法和支持向量机的XSS攻击检测模型.通过模糊测试生成XSS攻击预样本,利用遗传算法搜索特征空间,迭代生成最优测试用例,从而扩充数据集、丰富XSS攻击向量库.给出了基于遗传算法和支持向量机的攻击检测模型,确定了XSS测试用例编码规则.进行了适应度函数设计,完成了选择算子、交叉算子、变异算子的设计.从准确率、召回率、误报率和F_(1)值来评价分类器的检测效果,结果表明:该模型准确率达到了99.5%;对比其他检测方法,该检测模型具有更好的检测效果,并且召回率和误报率也有明显改善.