近邻密度辅助模糊优化孪生支持向量机的钢板表面缺陷分类

为提升钢板表面缺陷分类精度,提出一种选择性弱化样本的分类模型。首先,在图像预处理阶段引入显著性检测算法来减少二值化后图像出现失真的影响;其次,为了降低不利的边缘样本点对模型的影响,同时又能提高有利的边缘样本点对模型的贡献,构造了一种新的密度模糊隶属度函数对样本进行权重赋值;最后,在孪生支持向量机(TWSVM)的基础上,将构造的密度模糊隶属度函数作为优化条件嵌入模型内,提出了近邻密度辅助模糊优化的TWSVM算法,以提高分类效果。在数据集NEU上的实验结果表明,引入显著性检测算法后,重新设计的特征在整体准确率上提高了1.66%,同时采用优化后的算法进行缺陷分类,准确率达到98.33%,进一步提高了分类性能。

基于特征加权混合隶属度的模糊孪生支持向量机

模糊孪生支持向量机(FTSVM)忽略了不同特征间的差异,导致核函数或距离的计算无法准确反映样本间的相似性,使FTSVM在处理含有大量不相关或弱相关特征的高维数据分类时,难以达到良好分类效果;且隶属度的设计未有效区分离群点或噪声。针对以上问题,提出了一种基于特征加权混合隶属度的FM-FTSVM。首先计算每个特征的信息增益,并依据信息增益值的大小为特征赋予权重,降低不相关或弱相关特征的作用,使其能更好地应用于高维数据分类;然后,为每一类样本构造一个最小包围球计算基于紧密度的特征加权隶属度,并结合基于距离的特征加权隶属度得到特征加权混合隶属度,综合考虑样本点到类中心的特征加权欧式距离和样本间的紧密程度,可更好识别离群点或噪声数据;最后,融合特征加权核函数,降低不相关特征对核函数或距离计算产生的影响。与对比算法在人工数据集、高维数据集和UCI数据集上进行比较,发现本文提出的方法在区分离群点、噪声和有效样本上有明显优势,且在高维数据集上可获得更好分类效果。

基于最小二乘孪生支持向量机的不确定数据学习算法

孪生支持向量机通过计算2个二次规划问题,得到2个不平行的超平面,用于解决二分类问题。然而在实际的应用中,数据通常包含不确定信息,这将会对构建模型带来困难。对此,提出了一种用于求解带有不确定数据的最小二乘孪生支持向量机模型。首先,对于每个实例,该方法都分配一个噪声向量来构建噪声信息。其次,将噪声向量结合到最小二乘孪生支持向量机,并在训练阶段得到优化。最后,采用一个2步循环迭代的启发式框架求解得到分类器和更新噪声向量。实验表明,跟其他对比方法比较,本方法采用噪声向量对不确定信息进行建模,并将孪生支持向量机的二次规划问题转化为线性方程,具有更好的分类精度和更高的训练效率。

火箭发动机故障检测的快速增量单分类支持向量机算法

为解决液体火箭发动机故障诊断正负样本不平均问题,以及实现发动机稳态工作段自适应故障检测,建立了基于快速增量单分类支持向量机的异常检测模型。采取特征工程方法,对传感器获得的多变量时间序列进行特征提取。通过增量学习方法,对单分类支持向量机模型进行改进,并应用于液体火箭发动机异常检测,使单分类支持向量机检测模型具备对不同台次、不同工况的自适应性,提高了模型的计算速度。对多台次热试车数据的分析结果表明,该模型十分有效,训练速度快,具备实用价值。

基于混合孪生支持向量机的径流区间预测

径流具有非线性和随机性特征,单一点预测模型难以精确刻画和描述径流演化过程。为此,提出了一种可有效量化径流波动范围的智能区间预测方法。首先采用自适应噪声完备集合经验模态分解将非线性径流序列划分为若干子序列,并采用样本熵方法重构得到修正序列;其次以孪生支持向量机为基础,分别对复杂度较高的子序列构建区间预测模型、复杂度较低的子序列建立点预测模型,同时采用鲸鱼优化方法寻求满意的模型参数组合;最后将各子模型的预测结果叠加得到最终的预测区间。结果表明:所提方法具有良好的稳健性和可靠性,在点预测、区间预测等不同场景、不同预见期的性能指标均优于对比模型;如预见期为3 d时,对于黄河流域唐乃亥水文站,所得预测区间具有较高的可靠度与清晰度,其预测区间覆盖率PICP值为98.30%,预测区间平均宽度PINAW值为0.0792,可靠度、清晰度分别平均提高了9.47%和32.66%。研究成果可为智能化径流预测提供行之有效的方法。

增量式稀疏密度加权孪生支持向量回归机

密度加权孪生支持向量回归机(DWTSVR)是一种能够反映数据内在分布的回归算法,具有预测精度高和鲁棒性强等优点,然而其并不适用于训练样本以增量形式提供的场景。针对该问题,提出一种增量式稀疏密度加权孪生支持向量回归机(ISDWTSVR)。首先,辨别新增数据是否为异常样本,并赋予有效样本适当的权重,减小异常样本对模型泛化性能的影响;其次,结合矩阵降维与主成分分析思想筛选出原始核矩阵中的一组特征列向量基代替原特征,实现核矩阵列稀疏化,以获得稀疏解;接着,借助牛顿迭代法和增量学习策略对上一时刻的模型信息进行调整,实现模型的增量更新,同时结合矩阵求逆引理避免增量更新过程中直接求解逆矩阵,进一步加快训练速度;最后,在UCI基准数据集上进行仿真实验,并与现有代表性算法进行比较。实验结果表明,ISDWTSVR继承了DWTSVR的泛化性能,在大规模数据集Bike-Sharing上,新增一个样本模型更新平均CPU时间为5.13 s,较DWTSVR缩短了97.94%,有效地解决了模型必须从头开始重新训练的问题,适用于大规模数据集的在线学习。

随机梯度下降优化的量子多分类支持向量机

为改善大规模数据在经典机器学习多分类任务中的计算负担,本文提出了一种基于随机梯度下降优化的量子多分类支持向量机(SGD-MQSVM)算法。通过采用量子随机梯度下降法获得训练参数,并采用全对多分类支持向量机的量子方法进行多分类。算法的时间复杂性可将单次迭代的时间复杂度从经典多项式级降低到对数级。

基于粒子群-支持向量机算法的激光诱导击穿光谱钢铁快速检测与分类

钢铁是国民经济中的支柱性产业,由于受生产技术的限制,我国钢铁产品主要集中为质量参差不齐的中低端产品,废品率较高,易造成资源浪费和环境污染。因此,钢铁产品的快速检测与鉴别分类,对保护环境以及提高钢铁资源的回收利用率有着重要意义。利用激光诱导击穿光谱技术(LIBS)进行10种钢铁样品光谱数据的快速采集,并采用支持向量机(SVM)算法对其数据进行学习建模,得到钢铁快速分类模型。然而,由于不同钢铁样品的光谱数据特征是复杂且相似的,导致设置的模型参数也会对SVM模型的分类结果有着较大的影响。为了实现对不同牌号钢铁合金的快速检测分类,实验中采用粒子群算法(PSO)与网格寻优法两种不同方法来优化模型参数,并分别选取样品中6种微量元素(Mn、Cr、Cu、V、Mo、Ti)的17条特征谱线,和经主成分分析法(PCA)对全谱数据降维提取得到的前17个主成分作为模型的输入,建立PSO-SVM、PSO-PCA-SVM、PCA-SVM和SVM四种分类模型。实验结果表明,相比于精度最高的PCA-SVM模型的优化时间(257.84 s),PSO-SVM模型优化时间最短(11.5 s),且识别精度可达96.67%,与PCA-SVM模型的精度(97.5%)几乎相当。该结果表明LIBS结合PSO-SVM算法可实现快速的钢铁检测与分类,该方法为钢铁产品的快速检测与分类提供了一种新的解决途径。

基于网格搜索优化支持向量机多分类参数识别不同工艺酱酒的应用研究

为提升支持向量机(SVM)在不同工艺酱酒分类预测中的准确度,该实验利用网格搜索优化支持向量机参数,建立最优参数的支持向量机分类预测模型。通过对不同工艺酱香型白酒客观结构特征定量分析,将提取的特征信息数据经过预处理(异常值处理、归一化操作等)后存储为样本数据集。其中样本数据分为训练样本与测试样本,通过训练样本对最优参数的SVM白酒品牌分类预测模型进行训练,测试样本对模型进行预测分类。经过试验验证,该模型的不同工艺分类识别率达到94.44%,较传统的SVM等分类算法能够快速、有效地对不同工艺的酱酒进行分类识别,显著改善分类的精度,改进后的方法实现过程也比较简单。

基于改进支持向量机的智能电能表故障多分类方法

智能电能表故障多分类对于制定合理及时的智能电能表检修计划具有重要意义。针对智能电能表故障多分类问题,采用支持向量机构建多分类模型,所建立的模型提取智能电能表的输出电压、输出电流、输出功率、功率因数误差等数据作为分类依据构建多维空间,考虑包括误差超差、直流电流开路、直流电压短路、控制回路短线在内的智能电能表模式识别故障分类。通过所建立的模型依据有限的样本信息在复杂性和学习性之间寻求平衡,对智能电能表多维度运行信息在超平面之间进行最佳分类从而进行故障分类,通过引入一类对多类的最优分类平面集进行改进从而适用于多分类模型。采用混沌粒子群算法针对所建立的基于改进支持向量机的智能电能表故障多分类方法进行求解流程设计。再通过对某配电台区智能电能表故障分类问题采用所建立的模型进行仿真,验证了模型的合理性。

基于遗传算法优化支持向量机的船舰目标识别分类

为了实现有效的海上监管和响应,提高舰船监管效率,降低人力成本,提出基于遗传算法优化支持向量机的舰船目标识别分类方法。以HU矩为舰船目标的特征描述子,在舰船目标图像内,提取具备旋转、尺度与平移不变性的舰船目标特征矩;利用遗传算法,优化支持向量机的惩罚因子与核参数;在参数优化后的支持向量机内,输入舰船目标特征矩样本,输出舰船目标识别分类结果。实验证明,该方法可有效提取舰船目标特征矩;经过参数优化后的支持向量机,可有效降低计算复杂度,加快检测目标识别分类效率,具备较优的舰船目标识别分类性能。该方法均可精准识别分类舰船目标。

基于改进支持向量机的数字档案多标签分类算法

当前的数字档案分类方法存在测试集与训练集的基数之间差值偏大的问题,导致分类结果出现误差。为此,设计一种新的基于改进支持向量机的数字档案多标签分类算法。根据SVM函数确定数字档案信息的标签隶属度。求解深度指标,完成基于改进支持向量机的数字档案标签挖掘。获取数字档案信息样本,计算标签参量之间的相似度水平,实现基于改进支持向量机的数字档案多标签分类算法的设计。实验结果表明,研究方法下的标签测试集基数与训练集基数之间的差值始终小于350个,不会造成严重的数字档案信息错误分类问题。

基于改进支持向量机的软件缺陷快速分类研究

随着软件在各行业的广泛应用,对软件缺陷快速而准确的分类变得愈发关键。本文基于支持向量机(SVM)算法,提出了一种新的改进算法,强调提高处理效率和降低对噪声的敏感性,并通过对比分析实验结果,验证了改进算法相对于传统算法的性能优势。本文的研究结果能够为软件工程领域提供更先进、可靠的软件缺陷分类方法,为确保软件质量和可维护性提供有力支持。

基于支持向量机的通信网络攻击行为分类检测方法

由于通信网络流量数据具有高维性与复杂性,传统的网络攻击行为检测方法的检测准确率较低。为提高检测准确率,文章提出基于支持向量机的通信网络攻击行为分类检测方法,即使用预处理后的流量数据构建图卷积神经网络模型,提取特征并输入支持向量机进行分类,得到最终的攻击行为分类结果。仿真实验结果表明,基于图卷积神经网络的分类检测结果的漏报率仅为0.78%,相较于基于BP神经网络和基于普通卷积神经网络的分类检测方法具有更高的检测精度。

基于多分类不均衡支持向量机的制造型企业财务管理研究

近年来,制造型企业在经营过程中面临的挑战日益增大。为帮助制造型企业探索科学合理的财务管理方法,更好地保障企业的健康经营和降低成本,论文首先利用哈夫曼树将多分类不均衡企业数据分解为一系列相对平衡的二分类子问题,接着以支持向量机为分类器构建模型,然后,采用算术优化算法进行模型参数寻优。结果表明,发展能力、经营能力、偿债能力对企业的财务状况影响较大。最后,论文基于结果对企业提出相关管理建议。

面向类不均衡数据的多任务博弈概率分类向量机

在工程实际中获取的故障样本往往会呈现不均衡特点,同时传统的分类模型也会存在局限性。针对这些问题,基于稀疏贝叶斯理论、模糊隶属度等理论,提出了一种多任务博弈概率分类向量机(MGPCVM)分类方法。首先,在MGPCVM的目标函数中,设计了博弈因子,将不同类样本质心间的博弈信息赋予每个样本特定的样本质心敏感值,以解决传统分类器对不平衡数据集分类表现较差的问题;然后,在贝叶斯框架理论下,采用截断高斯先验分布的方法,使样本参数的正负与对应的标签信息相一致,且使样本质心敏感值产生了稀疏估计;最后,将MGPCVM方法应用于两种不同实验平台采集的滚动轴承实验数据处理,进行了故障诊断有效性验证。研究结果表明:在不同的不平衡比(IR)下,MGPCVM方法的准确率均保持在95%以上,相对于支持向量机(SVM)、概率分类向量机(PCVM)等方法提升了4%~8%;与典型向量式分类方法相比,MGPCVM方法可以在不平衡数据条件下表现出优越的分类性能,适用于实际工况中数据失衡的分类问题。

基于PSO优化孪生支持向量机的自然语言处理

为了进一步提高孪生支持向量机(Twin support vector machine,TWSVM)的自然语言文本分类准确度,提出了一种改进的粒子群优化(Particle swarm optimization,PSO)算法,并采用改进的PSO算法对TWSVM核心参数进行优化。根据迭代次数来选择自适应权重从而对传统PSO算法进行改进,以防止收敛速度过快而错过全局最优解。采用Word2Vec对自然语言样本进行向量化处理,并通过PSO算法对TWSVM惩罚因子进行优化求解,解决因为惩罚因子设置不合理而造成自然语言文本分类准确率不高的问题。试验证明,通过合理设置PSO算法的速度权重初始值和稳定值,结合自适应递减权重策略,能够获得较高的惩罚因子优化性能,从而提高TWSVM的分类准确率,相比于常见自然语言文本分类算法,PSO-TWSVM的分类准确率更高,均方根误差值更低,在自然语言文本分类中的适用度高。

线性判别分析优化孪生支持向量机的网络入侵检测

为了提高大规模网络数据入侵类型实时检测的准确率,采用线性判别分析(LDA)对网络样本特征进行降维处理,降低孪生支持向量机(TWSVM)的运算复杂度,增强TWSVM的网络入侵检测适用度;首先,采用LDA基于类内和类间散度计算获得网络入侵检测样本的降维特征变量;然后,建立LDA-TWSVM网络入侵检测算法,分别求解TWSVM一次规划和二次规划的核心参数;最后,输入降维特征变量,通过TWSVM输出获得网络入侵检测结果。结果表明:LDA网络样本特征降维对网络入侵检测的正向激励效果较为显著,使得所提出的算法在网络入侵检测中具有较高的适应度;相比于几种常用入侵检测算法,所提出的算法具有更高的检出率(0.9943)和更优的均方根误差(1.1328)。

孪生支持向量回归机研究进展

孪生支持向量回归机(Twin Support Vector Regression,TSVR or TWSVR)是一种基于统计学习理论的回归算法,它以结构风险最小化原理为理论基础,通过适当地选择函数子集及该子集中的判别函数,使学习机的实际风险达到最小,保证了在有限训练样本上得到的小误差分类器对独立测试集的测试误差仍然较小.孪生支持向量回归机通过将线性不可分样本映射到高维特征空间,使得映射后的样本在该高维特征空间内线性可分,保证了其具有较好的泛化性能.孪生支持向量回归机的算法思想基于孪生支持向量机(Twin Support Vector Machine,TWSVM),几何意义是使所有样本点尽可能地处于两条回归超平面的上(下)不敏感边界之间,最终的回归结果由两个超平面的回归值取平均得到.孪生支持向量回归机需求解两个规模较小的二次规划问题(Quadratic Programming Problems,QPPs)便可得到两条具有较小拟合误差的回归超平面,训练时间和拟合精度都高于传统的支持向量回归机(Support Vector Regression,SVR),且其QPPs的对偶问题存在全局最优解,避免了容易陷入局部最优的问题,故孪生支持向量回归机已成为机器学习的热门领域之一.但孪生支持向量回归机作为机器学习领域的一个较新的理论,其数学模型与算法思想都尚不成熟,在泛化性能、求解速度、矩阵稀疏性、参数选取、对偶问题等方面仍存在进一步改进的空间.本文首先给出了两种孪生支持向量回归机的数学模型与几何意义,然后将孪生支持向量回归机的几个常见的改进策略归纳如下.(1)加权孪生支持向量回归机由于孪生支持向量回归机中每个训练样本受到的惩罚是相同的,但每个样本对超平面的影响不同,尤其是噪声和离群值会使算法性能降低,并且在不同位置的训练样本应给予不同的处罚更为合理,因此考虑在孪生支持向量回归机的每个QPP中引入一个加权系数,给予不同位置的训练样本不同程度的惩罚.(2)拉格朗日孪生支持向量回归机由于孪生支持向量回归机的对偶问题中半正定矩阵的逆矩阵可能不存在,若存在,则对偶问题不是严格凸函数,可能存在多个解,因此考虑使用松弛变量的2范数代替原有的1范数,使对偶问题更简单,易于求解.(3)最小二乘孪生支持向量回归机由于孪生支持向量回归机的求解需要在对偶空间进行,得到的解为近似解,考虑通过最小二乘法将原问题的不等式约束转化为等式约束,使得原问题可以在原空间内求解,在很大程度上降低计算时间,提高泛化性能,且不损失精度.(4)v-孪生支持向量回归机通过引入一组参数v1与v2自动调节ε1与ε2的值以控制训练样本的特定部分对两条回归超平面所能造成的最大误差,从而自适应给定数据的结构,提高孪生支持向量回归机的拟合精度.(5)ε-孪生支持向量回归机在孪生支持向量回归机的原问题中引入正则化项以达到结构风险最小化的目的,使对偶问题转化为稳定的正定二次规划问题,并通过SOR求解对偶问题,加快训练速度.(6)孪生参数不敏感支持向量回归机克服参数的选取对孪生支持向量回归机超平面构造的影响,使算法非常适合于存在异方差噪声数据的数据集,训练速度和泛化性能也有提升.本文同时对以上算法的数学模型、改进算法及应用进行了系统地分析与总结,给出了以上算法在9个UCI基准数据集上的回归性能与计算时间,并在模型结构层面逐一分析每个算法的表现与耗时的根本原因.对于其他不便于归类的孪生支持向量回归机改进算法及应用,本文也对其作逐一总结.整体来看,最小二乘孪生支持向量回归机在性能和计算时间方面表现最佳,拉格朗日孪生支持向量回归机、v-孪生支持向量回归机的性能并列次优且计算时间接近,加权孪生支持向量回归机、ε-孪生支持向量回归机和孪生参数不敏感支持向量回归机的性能不理想,但计算时间接近.本文旨在使读者对孪生支持向量回归机的不同改进算法之间的异同点与优缺点产生更深刻的理解与认识,从而将更多优秀的改进策略应用于孪生支持向量回归机,最终为进一步提高孪生支持向量回归机的性能以及扩展孪生支持向量回归机的应用范围提供较为清晰的思路.

结构化最大间隔双支持向量机在股票预测中的应用

股票价格受政策、宏观经济以及公司经营状况等多方因素的影响,且各因素之间存在较高的相关性,因此股票数据存在的高噪声、非平稳等特性使得股票预测充满困难。为了减少数据中存在的噪声对股价预测准确性的影响,基于马氏距离的类间隔可分性,提出了结构化最大间隔双支持向量机,其分别针对正类样本和负类样本,寻找两个非平行的超平面,使每一类样本离本类样本的欧式距离尽可能小,同时离异类超平面的马氏距离尽可能大。8组基准数据集的实验结果表明,该方法在含噪声数据的分类问题上具有稳定的准确率,从而提升了模型的预测性能和抗噪能力。同时将其应用到股票涨跌趋势预测中,通过对上证综指、上证A指、上证380指数以及中国平安等14只股票实证分析的结果表明,相较于其他对比模型,结构化最大间隔双支持向量机表现出了较好的预测结果,具有一定的实用价值。