基于最小二乘孪生支持向量机的不确定数据学习算法

孪生支持向量机通过计算2个二次规划问题,得到2个不平行的超平面,用于解决二分类问题。然而在实际的应用中,数据通常包含不确定信息,这将会对构建模型带来困难。对此,提出了一种用于求解带有不确定数据的最小二乘孪生支持向量机模型。首先,对于每个实例,该方法都分配一个噪声向量来构建噪声信息。其次,将噪声向量结合到最小二乘孪生支持向量机,并在训练阶段得到优化。最后,采用一个2步循环迭代的启发式框架求解得到分类器和更新噪声向量。实验表明,跟其他对比方法比较,本方法采用噪声向量对不确定信息进行建模,并将孪生支持向量机的二次规划问题转化为线性方程,具有更好的分类精度和更高的训练效率。

基于沙地猫群优化–最小二乘支持向量机的动态NOx排放预测

针对火电机组频繁调峰导致机组燃烧状态不稳,进而导致锅炉出口NOx浓度波动范围大的问题,提出一种基于沙地猫群优化(sand cat sarm optimization,SCSO)的最小二乘支持向量机(leastsquaressupportvectormachine,LSSVM) NOx动态预测模型。首先利用k近邻互信息计算时间延迟的同时筛选辅助变量。然后,基于SCSO算法进行输入变量阶次的选择。使用包含辅助变量时间延迟和阶次的信息作为模型的输入,SCSO算法优化最小二乘支持向量机参数,建立动态NOx排放最小二乘支持向量机预测模型(SCSO-LSSVM动态软测量模型)。最后将模型与未加入迟延的LSSVM模型,加入迟延的LSSVM模型和粒子群优化算法(particle swarm optimization,PSO)优化最小二乘支持向量机参数的动态软测量模型进行对比验证。结果表明,相较于其他模型,该文建立SCSO-LSSVM动态软测量模型均方根误差、平均绝对误差、平均绝对误差最小,预测精度最高,而且在NOx浓度剧烈波动时也能够较好地预测NOx浓度,具有很好的动态特性。

基于改进最小二乘支持向量机组合模型的深基坑沉降变形预测

为了提高深基坑沉降变形预测精度,及时为深基坑支护施工提供指导,提出一种改进最小二乘支持向量机组合模型;通过引入自适应噪声完备集合经验模态分解方法分解原始深基坑沉降变形数据,并结合粒子群优化算法和遗传算法对最小二乘支持向量机进行参数寻优,对分解的数据分别训练、预测后再叠加,得到最终预测结果;应用所提出模型对济南市某深基坑的累积沉降量进行预测,同时与其他模型对比,验证所提出模型的实用性和优越性。结果表明:所提出模型预测深基坑累积沉降量的平均相对误差为0.035%,均方误差为0.0809 mm^(2),均方根误差为0.2838 mm,所提出模型的准确性远优于其他模型的;自适应噪声完备集合经验模态分解方法的引入更有利于在深基坑沉降变形预测方面发挥最小二乘支持向量机的优势。

基于特征加权混合隶属度的模糊孪生支持向量机

模糊孪生支持向量机(FTSVM)忽略了不同特征间的差异,导致核函数或距离的计算无法准确反映样本间的相似性,使FTSVM在处理含有大量不相关或弱相关特征的高维数据分类时,难以达到良好分类效果;且隶属度的设计未有效区分离群点或噪声。针对以上问题,提出了一种基于特征加权混合隶属度的FM-FTSVM。首先计算每个特征的信息增益,并依据信息增益值的大小为特征赋予权重,降低不相关或弱相关特征的作用,使其能更好地应用于高维数据分类;然后,为每一类样本构造一个最小包围球计算基于紧密度的特征加权隶属度,并结合基于距离的特征加权隶属度得到特征加权混合隶属度,综合考虑样本点到类中心的特征加权欧式距离和样本间的紧密程度,可更好识别离群点或噪声数据;最后,融合特征加权核函数,降低不相关特征对核函数或距离计算产生的影响。与对比算法在人工数据集、高维数据集和UCI数据集上进行比较,发现本文提出的方法在区分离群点、噪声和有效样本上有明显优势,且在高维数据集上可获得更好分类效果。

具有间隔分布优化的最小二乘支持向量机

最小二乘支持向量机(Least Squares Support Vector Machine,LSSVM)通过求解一个线性等式方程组来提高支持向量机(Support Vector Machine,SVM)的运算速度。但是,LSSVM没有考虑间隔分布对于LSSVM模型的影响,导致其精度较低。为了增强LSSVM模型的泛化性能,提高其分类能力,提出一种具有间隔分布优化的最小二乘支持向量机(LSSVM with margin distribution optimization,MLSSVM)。首先,重新定义间隔均值和间隔方差,深入挖掘数据的间隔分布信息,增强模型的泛化性能;其次,引入权重线性损失,进一步优化了间隔均值,提升模型的分类精度;然后,分析目标函数,剔除冗余项,进一步优化间隔方差;最后,保留LSSVM的求解机制,保障模型的计算效率。实验表明,新提出的分类模型具有良好的泛化性能和运行时间。

基于遗传算法优化最小二乘支持向量机的矿工疲劳程度识别模型

为精准识别矿工疲劳程度,减少因疲劳引发的煤矿人因事故,提出了一种基于遗传算法(GA)优化最小二乘支持向量机(LSSVM)的矿工疲劳程度识别模型。首先,通过疲劳诱发试验采集矿工心电数据,利用Friedman检验优选矿工疲劳程度的特征指标;然后,采用主成分分析法对选取的特征指标进行降维处理,建立表征矿工疲劳程度的特征集;在此基础上,利用遗传算法优化最小二乘支持向量机的关键参数,构建矿工疲劳程度识别模型。结果表明:选取的矿工疲劳程度特征指标能够有效反映矿工的疲劳程度;相较GA-SVM和LSSVM模型,融合GA-LSSVM模型可显著提高矿工疲劳程度的识别准确率(平均识别准确率为96.87%)。构建的矿工疲劳程度识别模型可较为高效地识别矿工的疲劳程度,对煤矿人因事故的防控具有一定的现实指导意义。

基于混合孪生支持向量机的径流区间预测

径流具有非线性和随机性特征,单一点预测模型难以精确刻画和描述径流演化过程。为此,提出了一种可有效量化径流波动范围的智能区间预测方法。首先采用自适应噪声完备集合经验模态分解将非线性径流序列划分为若干子序列,并采用样本熵方法重构得到修正序列;其次以孪生支持向量机为基础,分别对复杂度较高的子序列构建区间预测模型、复杂度较低的子序列建立点预测模型,同时采用鲸鱼优化方法寻求满意的模型参数组合;最后将各子模型的预测结果叠加得到最终的预测区间。结果表明:所提方法具有良好的稳健性和可靠性,在点预测、区间预测等不同场景、不同预见期的性能指标均优于对比模型;如预见期为3 d时,对于黄河流域唐乃亥水文站,所得预测区间具有较高的可靠度与清晰度,其预测区间覆盖率PICP值为98.30%,预测区间平均宽度PINAW值为0.0792,可靠度、清晰度分别平均提高了9.47%和32.66%。研究成果可为智能化径流预测提供行之有效的方法。

基于最小二乘支持向量机的造纸工控网络高隐蔽性入侵检测

造纸工控网络的数据特征具有复杂性和多样性,对于高隐蔽性入侵行为,其特征可能被混杂在正常操作和噪声中,增加了检测的难度。为此,提出基于最小二乘支持向量机的造纸工控网络高隐蔽性入侵检测方法。首先,使用CEEMD算法对网络数据进行分解,得到一系列固有模态分量(IMF),利用排列熵对IMF分量进行分析,确定高噪声IMF分量;使用小波降噪对高噪声IMF分量展开抗干扰处理。然后,使用互信息特征选择方法对抗干扰处理后的入侵数据进行特征提取。最后,将提取到的入侵数据特征作为输入数据,通过最小二乘支持向量机(LS-SVM)建立一个判别函数,该函数根据输入数据的特征值进行分类,并判断网络中是否存在高隐蔽性入侵行为。实验结果表明,所提方法最高入侵检测准确率达到0.98,Kappa统计量最大为0.99,表明所提方法的数据处理效果好、网络入侵检测精度高。

增量式稀疏密度加权孪生支持向量回归机

密度加权孪生支持向量回归机(DWTSVR)是一种能够反映数据内在分布的回归算法,具有预测精度高和鲁棒性强等优点,然而其并不适用于训练样本以增量形式提供的场景。针对该问题,提出一种增量式稀疏密度加权孪生支持向量回归机(ISDWTSVR)。首先,辨别新增数据是否为异常样本,并赋予有效样本适当的权重,减小异常样本对模型泛化性能的影响;其次,结合矩阵降维与主成分分析思想筛选出原始核矩阵中的一组特征列向量基代替原特征,实现核矩阵列稀疏化,以获得稀疏解;接着,借助牛顿迭代法和增量学习策略对上一时刻的模型信息进行调整,实现模型的增量更新,同时结合矩阵求逆引理避免增量更新过程中直接求解逆矩阵,进一步加快训练速度;最后,在UCI基准数据集上进行仿真实验,并与现有代表性算法进行比较。实验结果表明,ISDWTSVR继承了DWTSVR的泛化性能,在大规模数据集Bike-Sharing上,新增一个样本模型更新平均CPU时间为5.13 s,较DWTSVR缩短了97.94%,有效地解决了模型必须从头开始重新训练的问题,适用于大规模数据集的在线学习。

基于最小二乘支持向量机的农村土地利用空间优化配置方法及实例分析

因为农村各类用地数据具有样本小、非线性等特点,导致土地利用空间配置结果的适宜性较差,所以本文提出基于最小二乘支持向量机的农村土地利用空间优化配置方法。基于最小二乘支持向量机预测农村土地利用空间格局,得到各类用地面积数据,对各类用地进行满足经济效益与生态效益最大化的多目标函数的优化配置。实例结果表明,农村土地利用空间优化配置结果中各用地类型高度适宜区域的面积占比均超过75%,证实了设计方法的合理性。

近邻密度辅助模糊优化孪生支持向量机的钢板表面缺陷分类

为提升钢板表面缺陷分类精度,提出一种选择性弱化样本的分类模型。首先,在图像预处理阶段引入显著性检测算法来减少二值化后图像出现失真的影响;其次,为了降低不利的边缘样本点对模型的影响,同时又能提高有利的边缘样本点对模型的贡献,构造了一种新的密度模糊隶属度函数对样本进行权重赋值;最后,在孪生支持向量机(TWSVM)的基础上,将构造的密度模糊隶属度函数作为优化条件嵌入模型内,提出了近邻密度辅助模糊优化的TWSVM算法,以提高分类效果。在数据集NEU上的实验结果表明,引入显著性检测算法后,重新设计的特征在整体准确率上提高了1.66%,同时采用优化后的算法进行缺陷分类,准确率达到98.33%,进一步提高了分类性能。

鲁棒的模糊最小二乘双参数间隔支持向量机算法

针对最小二乘双参数间隔支持向量机(LSTPMSVM)对噪声敏感且在分类过程中易受异常值影响的问题,提出了一种鲁棒的模糊最小二乘双参数间隔支持向量机算法(RFLSTPMSVM).该算法利用松弛变量的2范数使得优化问题具有强凸性,再根据隶属度为每个样本分配相应的权重,有效降低异常值带来的影响.同时,在目标函数中引入K-近邻加权,考虑样本之间的局部信息,提高模型的分类准确率.此外,通过求解简单的线性方程组来优化该算法,而不是求解二次规划问题,使模型具有较快的计算速度.在UCI(university of California irvine)数据集上对该算法进行性能评估,并与TWSVM、LSTSVM、LSTPMSVM和ULSTPMSVM 4种算法进行比较.数值实验结果表明,该算法具有更好的泛化性能.

一种稳健最小二乘支持向量机GNSS-IR土壤湿度反演方法

全球卫星导航系统干涉测量(global navigation satellite system interferometric reflectometry,GNSS-IR)是一种新型的遥感技术,可利用多径信噪比序列的延迟相位值反演土壤湿度值,其延迟相位求解通常使用信赖域算法,该算法一定程度依赖初值设定。文章先使用遗传算法求解出延迟相位粗略值,再将该数值作为信赖域的初值用于迭代计算,提升了部分卫星延迟相位的求解精度及稳定性。此外,针对多径信噪比序列易受环境因素影响引入粗差,进而影响模型反演精度,文章采用稳健最小二乘支持向量机作为反演模型,同时又考虑到多星融合的时空尺度优势,将该模型分别做了单星反演至五星融合反演,并与最小二乘支持向量机模型做对比。分析结果表明,当三星融合时该模型提升精度最为明显,MAE最高可降低15.6%,RMSE最高可降低12.0%。

基于粒子群优化和最小二乘支持向量机的储罐腐蚀速率预测

利用粒子群优化(PSO)算法的全局寻优能力,对最小二乘支持向量机(LSSVM)的正则化参数和核参数进行优化,提出了基于PSO-LSSVM的大型储罐腐蚀速率的预测方法。采用该方法对储罐腐蚀速率进行预测,并利用实测数据对模型的预测精度进行验证。结果表明:使用PSOLSSVM获得的腐蚀速率预测结果与实际腐蚀速率较为吻合,罐顶、第一层罐壁、罐底预测结果的平均绝对百分误差分别为2.265%、3.077%、1.18%,均方根误差分别为0.010%、0.012%、0.011%,决定系数分别为0.973、0.982、0.976。该方法可以对储罐内腐蚀速率进行有效的预测。

基于最小二乘支持向量机的电网企业供应链碳排放预测方法研究

电网企业供应链碳排放的预测对推动产业链供应链绿色转型具有重要意义,为此提出基于最小二乘支持向量机的电网企业供应链碳排放预测方法。首先,利用4E平衡模型获取电网企业供应链碳排放数据;其次,利用PLS-VIP算法对碳排放数据实施数据筛选,得到有效的碳排放数据变量;最后,引入最小二乘支持向量机,构建碳排放预测模型,并且采用量子粒子群优化算法对其展开优化,实现电网企业供应链碳排放高精度预测。实验结果表明,所提方法在保证预测过程较高稳定性的同时,一定程度上提高了预测精度和预测效率。

基于最小二乘支持向量机的新型电力系统谐波分量预测

电力电子设备在发电、输电、配电及用电各个领域均有广泛应用,在改善居民生活质量与提升工业生产效率的同时,也引入了大量的谐波,造成电力系统谐波污染。电力系统在不同采样点处的谐波含量不同,而最小二乘支持向量机(LSSVM)具有预测精度高、预测效率高等优点,可应用于谐波含量预测。为了验证所提出算法的有效性,搭建了仿真模型,对光伏发电系统、风力发电系统以及储能装置充放电处的电流的谐波含量进行了预测。仿真结果表明:在不同工况下和不同类型的谐波含量下,该算法均具有较高的预测精度。

面向类不均衡数据的多任务博弈概率分类向量机

在工程实际中获取的故障样本往往会呈现不均衡特点,同时传统的分类模型也会存在局限性。针对这些问题,基于稀疏贝叶斯理论、模糊隶属度等理论,提出了一种多任务博弈概率分类向量机(MGPCVM)分类方法。首先,在MGPCVM的目标函数中,设计了博弈因子,将不同类样本质心间的博弈信息赋予每个样本特定的样本质心敏感值,以解决传统分类器对不平衡数据集分类表现较差的问题;然后,在贝叶斯框架理论下,采用截断高斯先验分布的方法,使样本参数的正负与对应的标签信息相一致,且使样本质心敏感值产生了稀疏估计;最后,将MGPCVM方法应用于两种不同实验平台采集的滚动轴承实验数据处理,进行了故障诊断有效性验证。研究结果表明:在不同的不平衡比(IR)下,MGPCVM方法的准确率均保持在95%以上,相对于支持向量机(SVM)、概率分类向量机(PCVM)等方法提升了4%~8%;与典型向量式分类方法相比,MGPCVM方法可以在不平衡数据条件下表现出优越的分类性能,适用于实际工况中数据失衡的分类问题。

基于麻雀算法优化支持向量机的NOx浓度预测

煤炭作为火电厂发电的主要能源,其在锅炉内焚烧过程中会产生大量的氮氧化物。各电厂一般利用烟气自动监控系统对其浓度进行实时测量,但由于测量时存在较大迟延,不能准确地反映SCR系统NOx浓度的实时变化。因此提出了一种基于改进麻雀算法优化最小二乘支持向量机的NOX浓度预测方法。首先,引入余弦因子改进麻雀算法中的比例算子,将迭代次数信息引入到迭代过程中,平衡算法前后期的全局与局部搜索能力。其次,使用新的变异算子代替原算子,将混沌理论融合到麻雀算法,解决了算法全局搜索能力较差、初始化麻雀分布不稳定及发现者位置更新方式不足的问题。最后,采用改进麻雀算法(CDE-SSA)对最小二乘支持向量机(LSSVM)进行参数寻优。实验结果证明,方法在NOX浓度预测的精度和稳定性上均表现出了良好的性能。

基于小波包分解与最小二乘支持向量机的用户侧净负荷预测

随着分布式可再生能源在用户侧逐步接入,电表监测得到的用户净负荷曲线形态相对于原有实际负荷曲线更加不稳定,因而极大降低了用户的净负荷预测精度。针对此问题,提出基于小波包分解(wavelet packet decomposition,WPD)与最小二乘支持向量机(least squares support vector machine,LSSVM)的用户侧净负荷预测方法,通过对用户净负荷时序数据作小波包分解,得到信号特征更为明显的高频分量与低频趋势部分,筛选剔除波动性大、噪声信号多的高频细节分量。同时考虑气象因素,利用最小二乘支持向量机对小样本非线性信号的训练效率高、泛化能力强的特点,采用其模型对其余包含更多有效负荷数据信息的低频分量分别进行预测重构,叠加得到最终的净负荷预测值。通过对可再生能源高度渗透的某地区用户实际净负荷数据进行实例分析,结果表明所提预测方法在此物理场景下相比于传统预测方法有更高的预测精度。

孪生支持向量回归机研究进展

孪生支持向量回归机(Twin Support Vector Regression,TSVR or TWSVR)是一种基于统计学习理论的回归算法,它以结构风险最小化原理为理论基础,通过适当地选择函数子集及该子集中的判别函数,使学习机的实际风险达到最小,保证了在有限训练样本上得到的小误差分类器对独立测试集的测试误差仍然较小.孪生支持向量回归机通过将线性不可分样本映射到高维特征空间,使得映射后的样本在该高维特征空间内线性可分,保证了其具有较好的泛化性能.孪生支持向量回归机的算法思想基于孪生支持向量机(Twin Support Vector Machine,TWSVM),几何意义是使所有样本点尽可能地处于两条回归超平面的上(下)不敏感边界之间,最终的回归结果由两个超平面的回归值取平均得到.孪生支持向量回归机需求解两个规模较小的二次规划问题(Quadratic Programming Problems,QPPs)便可得到两条具有较小拟合误差的回归超平面,训练时间和拟合精度都高于传统的支持向量回归机(Support Vector Regression,SVR),且其QPPs的对偶问题存在全局最优解,避免了容易陷入局部最优的问题,故孪生支持向量回归机已成为机器学习的热门领域之一.但孪生支持向量回归机作为机器学习领域的一个较新的理论,其数学模型与算法思想都尚不成熟,在泛化性能、求解速度、矩阵稀疏性、参数选取、对偶问题等方面仍存在进一步改进的空间.本文首先给出了两种孪生支持向量回归机的数学模型与几何意义,然后将孪生支持向量回归机的几个常见的改进策略归纳如下.(1)加权孪生支持向量回归机由于孪生支持向量回归机中每个训练样本受到的惩罚是相同的,但每个样本对超平面的影响不同,尤其是噪声和离群值会使算法性能降低,并且在不同位置的训练样本应给予不同的处罚更为合理,因此考虑在孪生支持向量回归机的每个QPP中引入一个加权系数,给予不同位置的训练样本不同程度的惩罚.(2)拉格朗日孪生支持向量回归机由于孪生支持向量回归机的对偶问题中半正定矩阵的逆矩阵可能不存在,若存在,则对偶问题不是严格凸函数,可能存在多个解,因此考虑使用松弛变量的2范数代替原有的1范数,使对偶问题更简单,易于求解.(3)最小二乘孪生支持向量回归机由于孪生支持向量回归机的求解需要在对偶空间进行,得到的解为近似解,考虑通过最小二乘法将原问题的不等式约束转化为等式约束,使得原问题可以在原空间内求解,在很大程度上降低计算时间,提高泛化性能,且不损失精度.(4)v-孪生支持向量回归机通过引入一组参数v1与v2自动调节ε1与ε2的值以控制训练样本的特定部分对两条回归超平面所能造成的最大误差,从而自适应给定数据的结构,提高孪生支持向量回归机的拟合精度.(5)ε-孪生支持向量回归机在孪生支持向量回归机的原问题中引入正则化项以达到结构风险最小化的目的,使对偶问题转化为稳定的正定二次规划问题,并通过SOR求解对偶问题,加快训练速度.(6)孪生参数不敏感支持向量回归机克服参数的选取对孪生支持向量回归机超平面构造的影响,使算法非常适合于存在异方差噪声数据的数据集,训练速度和泛化性能也有提升.本文同时对以上算法的数学模型、改进算法及应用进行了系统地分析与总结,给出了以上算法在9个UCI基准数据集上的回归性能与计算时间,并在模型结构层面逐一分析每个算法的表现与耗时的根本原因.对于其他不便于归类的孪生支持向量回归机改进算法及应用,本文也对其作逐一总结.整体来看,最小二乘孪生支持向量回归机在性能和计算时间方面表现最佳,拉格朗日孪生支持向量回归机、v-孪生支持向量回归机的性能并列次优且计算时间接近,加权孪生支持向量回归机、ε-孪生支持向量回归机和孪生参数不敏感支持向量回归机的性能不理想,但计算时间接近.本文旨在使读者对孪生支持向量回归机的不同改进算法之间的异同点与优缺点产生更深刻的理解与认识,从而将更多优秀的改进策略应用于孪生支持向量回归机,最终为进一步提高孪生支持向量回归机的性能以及扩展孪生支持向量回归机的应用范围提供较为清晰的思路.