Improved Twin Support Vector Machine Algorithm and Applications in Classification Problems

The distribution of data has a significant impact on the results of classification.When the distribution of one class is insignificant compared to the distribution of another class,data imbalance occurs.This will result in rising outlier values and noise.Therefore,the speed and performance of classification could be greatly affected.Given the above problems,this paper starts with the motivation and mathematical representing of classification,puts forward a new classification method based on the relationship between different classification formulations.Combined with the vector characteristics of the actual problem and the choice of matrix characteristics,we firstly analyze the orderly regression to introduce slack variables to solve the constraint problem of the lone point.Then we introduce the fuzzy factors to solve the problem of the gap between the isolated points on the basis of the support vector machine.We introduce the cost control to solve the problem of sample skew.Finally,based on the bi-boundary support vector machine,a twostep weight setting twin classifier is constructed.This can help to identify multitasks with feature-selected patterns without the need for additional optimizers,which solves the problem of large-scale classification that can’t deal effectively with the very low category distribution gap.

基于MTSVR-ISAO的混凝土重力坝参数反演方法

混凝土坝参数识别是评价其运行状态的关键。为进一步提高参数识别的效率和精度,提出一种基于多输出孪生支持向量机(MTSVR)和改进雪消融优化器(ISAO)的混凝土坝参数反演方法。通过训练MTSVR模型模拟待反演参数与位移静水压分量之间的非线性关系以代替复杂的有限元计算。采用ISAO对目标参数进行寻优反演。工程实例分析表明,代理模型计算结果与有限元计算结果基本一致。与传统元启发优化相比,ISAO寻优收敛速度更快,准确度更高,单次参数反演用时更少。结果说明构建的反演方法可在保持计算精度前提下有效提高计算效率,方法具有有效性和实用性,为工程真实参数辨识提供参考。

Primal least squares twin support vector regression

The training algorithm of classical twin support vector regression (TSVR) can be attributed to the solution of a pair of quadratic programming problems (QPPs) with inequality constraints in the dual space.However,this solution is affected by time and memory constraints when dealing with large datasets.In this paper,we present a least squares version for TSVR in the primal space,termed primal least squares TSVR (PLSTSVR).By introducing the least squares method,the inequality constraints of TSVR are transformed into equality constraints.Furthermore,we attempt to directly solve the two QPPs with equality constraints in the primal space instead of the dual space;thus,we need only to solve two systems of linear equations instead of two QPPs.Experimental results on artificial and benchmark datasets show that PLSTSVR has comparable accuracy to TSVR but with considerably less computational time.We further investigate its validity in predicting the opening price of stock.

End-point dynamic control of basic oxygen furnace steelmaking based on improved unconstrained twin support vector regression

In order to improve the end-point hit rate of basic oxygen furnace steelmaking,a novel dynamic control model was proposed based on an improved twin support vector regression algorithm.The controlled objects were the end-point carbon content and temperature.The proposed control model was established by using the low carbon steel samples collected from a steel plant,which consists of two prediction models,a preprocess model,two regulation units,a controller and a basic oxygen furnace.The test results of 100 heats show that the prediction models can achieve a double hit rate of 90%within the error bound of 0.005 wt.%C and 15℃.The preprocess model was used to predict an initial end-blow oxygen volume.However,the double hit rate of the carbon con tent and temperature only achieves 65%.Then,the oxygen volume and coolant additi ons were adjusted by the regulation units to improve the hit rate.Finally,the double hit rate after the regulation is reached up to 90%.The results indicate that the proposed dynamic control model is efficient to guide the real production for low carbon steel,and the modeling method is also suitable for the applications of other steel grades.

基于正则化TSVR的甘蔗收割机切割器入土切割负载压力预测研究

为更准确、快速地对甘蔗收割机切割器入土切割时负载压力的预测,以机车行进速度、土壤含水率、土壤密度、刀盘入土深度以及甘蔗密度为模型输入,基于正则化孪生支持向量回归机(ITSVR)模型,结合基于遗传算法的粒子群优化算法对切割器负载压力进行仿真模拟预测,并将仿真结果与BP神经网络、支持向量回归(TSVR)、极限学习机(ELM)以及孪生支持向量回归(TSVR)模型进行比较分析,最后建立预测系统验证ITSVR的可行性。结果表明:测试样本中正则化孪生支持向量回归机(ITSVR)模型的RMSE、MAE、R^(2)分别为0.0154、0.0108、0.9558,模型的预测时间为5.9 ms,该模型能较准确且较快地对负载压力与影响参数的非线性曲线进行拟合;ITSVR模型较其他模型具有良好的拟合能力以及较快的预测速度;在以5%和10%相对误差作为合格指标模型评价时,ITSVR模型预测的正确率分别为66.7%和100%,有力证明ITSVR模型的可行性。研究结果可为后续的切割自动控制系统设计提供参考依据。

改进的TSVR模型在股市高频数据上的预测

为构建更精准的股票价格预测模型,提出具有局部信息挖掘功能的DNN加权算法对eplion-TSVR模型进行改进,并对改进模型的求解进行推导,针对DNN算法对于参数的选取太过随意,提出使用网格搜索法确定DNN的最优参数以确定最优DR域。搜集中国上证A股中的15支股票的日价格和高频5分钟价格数据并计算其技术指标,对20天以及20分钟后的收盘价进行实证预测。预测结果显示,改进模型在高频股票数据上具有很好的预测能力和泛化性能。

基于KICA-TSVR方法乙烯裂解产物分布软测量

针对乙烯裂解关键质量指标乙烯裂解产物分布难以实时测量的问题,提出一种基于核独立成分分析与孪生支持向量回归机(KICA-TSVR,Kernel Independent Component Analysis-twin Support Vector Regression)软测量建模方法。该方法首先采用KICA(Kernel Independent Component Analysis)算法在非线性高维空间中进行样本特征提取,解决了TSVR因缺少结构风险最小化除噪能力差的问题,提高了模型预测精度。由于TSVR只需求解2个小规模的QP问题且其对偶问题中没有约束条件,使模型具有较快的训练速度。将KICA-TSVR用于乙烯裂解产物分布软测量建模,实验结果表明,同标准SVR(Support Vector Regression)和KICA-SVR方法相比,KICA-TSVR具有更好的模型预测效果和更快的训练速度。

基于LSTSVR模型的边缘计算预测变压器平均油温及绕组热点温度

变压器绕组的热点温度过高,会导致变压器绝缘脆解、裂化甚至击穿短路。因此及时、准确地预测出变压器绕组的热点温度,对提高变压器运行的安全可靠性至关重要。利用最小二乘双支持向量回归机(LSTSVR)作为边缘计算模型,将变压器油中气体色谱分析数据信息与变压器负载电流、环境温度、顶层油温、上死角温度等变压器运行信息结合,构建监测系统架构,预测变压器的平均油温,并计算出绕组热点温度。将所提方法得到的数据与实测数据进行对比,结果利用LSTSVR模型实现了变压器平均油温及绕组热点温度的准确预测,且该模型的预测精度优于最小二乘支持向量回归机模型,有效地提高了绕组热点温度测量的精度。现场实例也证明了所提方法的有效性和可靠性。

基于KNN-TSVR算法的MIMO-OFDM系统信道估计

为了提高多输入多输出正交频分复用(MIMO-OFDM)系统的信道估计性能,提出了一种基于K近邻加权孪生支持向量回归(KNN-TSVR)的信道频率响应估计算法.该算法的工作过程是首先用最小二乘算法对导频位置的信道参数进行估计,获取训练样本,然后用K近邻(KNN)算法对训练样本进行预处理,得到赋予各样本的权重,最后由加权TSVR对MIMO-OFDM系统所有位置的信道参数进行插值估计.本文提出的改进的加权TSVR信道估计方法不仅具有TSVR对非线性关系回归的优势,同时引入KNN算法对TSVR进行改进,使得该算法与传统TSVR相比,具有更好的回归性能和抗噪声能力.对非线性MIMO-OFDM信道进行估计的仿真实验结果证实了这一结论.

基于QCSSA-LSTSVR的氧化铝质量预测模型

针对氧化铝焙烧过程氧化铝质量指标检测滞后的问题,提出融合最小二乘孪生支持向量机(LSTSVR)与量子混沌樽海鞘算法(QCSSA)方法,建立一种氧化铝焙烧过程的质量指标预测模型。首先,利用LSTSVR建立氧化铝质量指标预测模型;其次,针对LSTSVR模型中核宽度系数和惩罚因子选取困难的问题,采用QCSSA进行LSTSVR模型结构参数寻优,利用Logistic混沌策略和量子局部搜索策略来提高SSA的全局寻优能力;最后,利用实际生产数据对所提方法进行实验验证。仿真结果表明,QCSSA优化LSTSVR的方法具有较好的预测效果。

基于LSTSVR模型预测STATCOM晶闸管阀组本体温度

STATCOM晶闸管阀组本体温度过高,会导致其失效。因此及时、准确地预测出STATCOM晶闸管阀组本体温度对提高STATCOM运行的可靠性至关重要。本文利用最小二乘双支持向量回归机(least square twin support vector regression,LSTSVR)算法,将STATCOM进水温度、回水温度、进水流量、IGBT模块散热材料的导热系数、STATCOM输出电压、STATCOM输出电流、晶闸管阀组的集电极电流共7个量作为输入量,构建了STATCOM晶闸管阀组本体温度预测模型。与现场实测数据对比的结果表明,利用LSTSVR模型实现了STATCOM晶闸管阀组本体温度的高精度预测,且模型的预测精度优于最小二乘支持向量回归机(least square support vector regression,LSSVR)模型。应用实例也验证了该方法的准确性和有效性。

基于L_1-范数的非线性TSVR

为了进一步降低TSVR的计算复杂性,加快其学习速度,本文利用L_1-范数将TSVR的两个原始二次规划问题转化为线性规划问题,并提出了基于L_1-范数的TSVR(L_1-TSVR).实验结果表明L_1-TSVR是一个有效的、可竞争的回归方法 .

改进的TSVR转炉终点预测模型研究

准确的预测转炉炼钢终点碳含量和终点温度,对于提高钢的生产效率具有重要意义。建立了一种基于加权拉格朗日ε-孪生支持向量回归机(WL-ε-TSVR)的转炉终点预测模型。根据采集到的某钢厂260 t转炉的实际生产数据,将450组样本用于模型的训练,50组样本用于测试模型的准确性。仿真结果表明,预测误差碳含量控制在±0.005%范围,终点温度控制在±10℃范围,模型的命中率分别达到88%和92%;另外,双命中率达80%。所建模型具有较高的精度,能够更好的满足钢厂的生产需求。

四种TSVR型学习算法的性能比较

我们知道,基于SVR的学习算法的计算复杂性和稀疏性对分析和处理大数据来说是非常重要的两个因素,尤其是对高维数据.为此,学者们做了大量的研究工作并提出了许多改进的SVR型算法.它们当中,有些算法的出发点基本相同,只是求解方法上略有不同;有些算法有明显不同的出发点,其所构建的最优化模型也不相同,但求解方法上大同小异.本文选择四个较具代表性的TSVR型学习算法,分析和比较它们的性能,以期更加深入的理解这些算法,且在应用中更具有选择性.

基于混合孪生支持向量机的径流区间预测

径流具有非线性和随机性特征,单一点预测模型难以精确刻画和描述径流演化过程。为此,提出了一种可有效量化径流波动范围的智能区间预测方法。首先采用自适应噪声完备集合经验模态分解将非线性径流序列划分为若干子序列,并采用样本熵方法重构得到修正序列;其次以孪生支持向量机为基础,分别对复杂度较高的子序列构建区间预测模型、复杂度较低的子序列建立点预测模型,同时采用鲸鱼优化方法寻求满意的模型参数组合;最后将各子模型的预测结果叠加得到最终的预测区间。结果表明:所提方法具有良好的稳健性和可靠性,在点预测、区间预测等不同场景、不同预见期的性能指标均优于对比模型;如预见期为3 d时,对于黄河流域唐乃亥水文站,所得预测区间具有较高的可靠度与清晰度,其预测区间覆盖率PICP值为98.30%,预测区间平均宽度PINAW值为0.0792,可靠度、清晰度分别平均提高了9.47%和32.66%。研究成果可为智能化径流预测提供行之有效的方法。

增量式稀疏密度加权孪生支持向量回归机

密度加权孪生支持向量回归机(DWTSVR)是一种能够反映数据内在分布的回归算法,具有预测精度高和鲁棒性强等优点,然而其并不适用于训练样本以增量形式提供的场景。针对该问题,提出一种增量式稀疏密度加权孪生支持向量回归机(ISDWTSVR)。首先,辨别新增数据是否为异常样本,并赋予有效样本适当的权重,减小异常样本对模型泛化性能的影响;其次,结合矩阵降维与主成分分析思想筛选出原始核矩阵中的一组特征列向量基代替原特征,实现核矩阵列稀疏化,以获得稀疏解;接着,借助牛顿迭代法和增量学习策略对上一时刻的模型信息进行调整,实现模型的增量更新,同时结合矩阵求逆引理避免增量更新过程中直接求解逆矩阵,进一步加快训练速度;最后,在UCI基准数据集上进行仿真实验,并与现有代表性算法进行比较。实验结果表明,ISDWTSVR继承了DWTSVR的泛化性能,在大规模数据集Bike-Sharing上,新增一个样本模型更新平均CPU时间为5.13 s,较DWTSVR缩短了97.94%,有效地解决了模型必须从头开始重新训练的问题,适用于大规模数据集的在线学习。

基于双支持向量回归机的增量学习算法

提出了一种基于双支持向量回归机的增量学习算法。将获取到的新样本加入训练数据集后,该算法无需在整个新的数据集上重新训练双支持向量回归机,而是充分利用增量前的计算信息,从而大大减少了模型更新中逆矩阵的计算量,提高了算法的执行效率。在人工数据集、时间序列预测和UCI数据集上的数值实验表明,该算法快速有效。

孪生支持向量回归机研究进展

孪生支持向量回归机(Twin Support Vector Regression,TSVR or TWSVR)是一种基于统计学习理论的回归算法,它以结构风险最小化原理为理论基础,通过适当地选择函数子集及该子集中的判别函数,使学习机的实际风险达到最小,保证了在有限训练样本上得到的小误差分类器对独立测试集的测试误差仍然较小.孪生支持向量回归机通过将线性不可分样本映射到高维特征空间,使得映射后的样本在该高维特征空间内线性可分,保证了其具有较好的泛化性能.孪生支持向量回归机的算法思想基于孪生支持向量机(Twin Support Vector Machine,TWSVM),几何意义是使所有样本点尽可能地处于两条回归超平面的上(下)不敏感边界之间,最终的回归结果由两个超平面的回归值取平均得到.孪生支持向量回归机需求解两个规模较小的二次规划问题(Quadratic Programming Problems,QPPs)便可得到两条具有较小拟合误差的回归超平面,训练时间和拟合精度都高于传统的支持向量回归机(Support Vector Regression,SVR),且其QPPs的对偶问题存在全局最优解,避免了容易陷入局部最优的问题,故孪生支持向量回归机已成为机器学习的热门领域之一.但孪生支持向量回归机作为机器学习领域的一个较新的理论,其数学模型与算法思想都尚不成熟,在泛化性能、求解速度、矩阵稀疏性、参数选取、对偶问题等方面仍存在进一步改进的空间.本文首先给出了两种孪生支持向量回归机的数学模型与几何意义,然后将孪生支持向量回归机的几个常见的改进策略归纳如下.(1)加权孪生支持向量回归机由于孪生支持向量回归机中每个训练样本受到的惩罚是相同的,但每个样本对超平面的影响不同,尤其是噪声和离群值会使算法性能降低,并且在不同位置的训练样本应给予不同的处罚更为合理,因此考虑在孪生支持向量回归机的每个QPP中引入一个加权系数,给予不同位置的训练样本不同程度的惩罚.(2)拉格朗日孪生支持向量回归机由于孪生支持向量回归机的对偶问题中半正定矩阵的逆矩阵可能不存在,若存在,则对偶问题不是严格凸函数,可能存在多个解,因此考虑使用松弛变量的2范数代替原有的1范数,使对偶问题更简单,易于求解.(3)最小二乘孪生支持向量回归机由于孪生支持向量回归机的求解需要在对偶空间进行,得到的解为近似解,考虑通过最小二乘法将原问题的不等式约束转化为等式约束,使得原问题可以在原空间内求解,在很大程度上降低计算时间,提高泛化性能,且不损失精度.(4)v-孪生支持向量回归机通过引入一组参数v1与v2自动调节ε1与ε2的值以控制训练样本的特定部分对两条回归超平面所能造成的最大误差,从而自适应给定数据的结构,提高孪生支持向量回归机的拟合精度.(5)ε-孪生支持向量回归机在孪生支持向量回归机的原问题中引入正则化项以达到结构风险最小化的目的,使对偶问题转化为稳定的正定二次规划问题,并通过SOR求解对偶问题,加快训练速度.(6)孪生参数不敏感支持向量回归机克服参数的选取对孪生支持向量回归机超平面构造的影响,使算法非常适合于存在异方差噪声数据的数据集,训练速度和泛化性能也有提升.本文同时对以上算法的数学模型、改进算法及应用进行了系统地分析与总结,给出了以上算法在9个UCI基准数据集上的回归性能与计算时间,并在模型结构层面逐一分析每个算法的表现与耗时的根本原因.对于其他不便于归类的孪生支持向量回归机改进算法及应用,本文也对其作逐一总结.整体来看,最小二乘孪生支持向量回归机在性能和计算时间方面表现最佳,拉格朗日孪生支持向量回归机、v-孪生支持向量回归机的性能并列次优且计算时间接近,加权孪生支持向量回归机、ε-孪生支持向量回归机和孪生参数不敏感支持向量回归机的性能不理想,但计算时间接近.本文旨在使读者对孪生支持向量回归机的不同改进算法之间的异同点与优缺点产生更深刻的理解与认识,从而将更多优秀的改进策略应用于孪生支持向量回归机,最终为进一步提高孪生支持向量回归机的性能以及扩展孪生支持向量回归机的应用范围提供较为清晰的思路.

最小二乘孪生参数化不敏感支持向量回归机

孪生参数化不敏感支持向量回归机(twin parametric insensitive support vector regression,简称TPISVR)是一种新型机器学习方法.与其他回归方法相比,TPISVR在处理异方差噪声方面具有独特的优势.标准TPISVR的训练算法可以归结为在对偶空间求解一对具有不等式约束的二次规划问题.然而,这种求解方法的时间消耗比较大.引入最小二乘思想,将TPISVR的两个二次规划问题转化为两个线性方程组,并在原始空间上直接求解,提出了最小二乘孪生参数化不敏感支持向量回归机(least squares TPISVR,简称LSTPISVR).为了解决LSTPISVR的参数选择问题,提出了混沌布谷鸟优化算法,并用其对LSTPISVR的参数进行优化选择.在人工数据集和UCI数据集上的实验结果表明:LSTPISVR在保持精度不下降的情况下,具有更高的运行效率.

光滑CHKS孪生支持向量回归机

针对目前光滑孪生支持向量回归机(smooth twin support vector regression,STSVR)中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑(chen-harker-kanzow-smale,CHKS)函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了光滑CHKS孪生支持向量回归机(smooth CHKS twin support vector regression,SCTSVR).不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能.