增量式稀疏密度加权孪生支持向量回归机

密度加权孪生支持向量回归机(DWTSVR)是一种能够反映数据内在分布的回归算法,具有预测精度高和鲁棒性强等优点,然而其并不适用于训练样本以增量形式提供的场景。针对该问题,提出一种增量式稀疏密度加权孪生支持向量回归机(ISDWTSVR)。首先,辨别新增数据是否为异常样本,并赋予有效样本适当的权重,减小异常样本对模型泛化性能的影响;其次,结合矩阵降维与主成分分析思想筛选出原始核矩阵中的一组特征列向量基代替原特征,实现核矩阵列稀疏化,以获得稀疏解;接着,借助牛顿迭代法和增量学习策略对上一时刻的模型信息进行调整,实现模型的增量更新,同时结合矩阵求逆引理避免增量更新过程中直接求解逆矩阵,进一步加快训练速度;最后,在UCI基准数据集上进行仿真实验,并与现有代表性算法进行比较。实验结果表明,ISDWTSVR继承了DWTSVR的泛化性能,在大规模数据集Bike-Sharing上,新增一个样本模型更新平均CPU时间为5.13 s,较DWTSVR缩短了97.94%,有效地解决了模型必须从头开始重新训练的问题,适用于大规模数据集的在线学习。

孪生支持向量回归机研究进展

孪生支持向量回归机(Twin Support Vector Regression,TSVR or TWSVR)是一种基于统计学习理论的回归算法,它以结构风险最小化原理为理论基础,通过适当地选择函数子集及该子集中的判别函数,使学习机的实际风险达到最小,保证了在有限训练样本上得到的小误差分类器对独立测试集的测试误差仍然较小.孪生支持向量回归机通过将线性不可分样本映射到高维特征空间,使得映射后的样本在该高维特征空间内线性可分,保证了其具有较好的泛化性能.孪生支持向量回归机的算法思想基于孪生支持向量机(Twin Support Vector Machine,TWSVM),几何意义是使所有样本点尽可能地处于两条回归超平面的上(下)不敏感边界之间,最终的回归结果由两个超平面的回归值取平均得到.孪生支持向量回归机需求解两个规模较小的二次规划问题(Quadratic Programming Problems,QPPs)便可得到两条具有较小拟合误差的回归超平面,训练时间和拟合精度都高于传统的支持向量回归机(Support Vector Regression,SVR),且其QPPs的对偶问题存在全局最优解,避免了容易陷入局部最优的问题,故孪生支持向量回归机已成为机器学习的热门领域之一.但孪生支持向量回归机作为机器学习领域的一个较新的理论,其数学模型与算法思想都尚不成熟,在泛化性能、求解速度、矩阵稀疏性、参数选取、对偶问题等方面仍存在进一步改进的空间.本文首先给出了两种孪生支持向量回归机的数学模型与几何意义,然后将孪生支持向量回归机的几个常见的改进策略归纳如下.(1)加权孪生支持向量回归机由于孪生支持向量回归机中每个训练样本受到的惩罚是相同的,但每个样本对超平面的影响不同,尤其是噪声和离群值会使算法性能降低,并且在不同位置的训练样本应给予不同的处罚更为合理,因此考虑在孪生支持向量回归机的每个QPP中引入一个加权系数,给予不同位置的训练样本不同程度的惩罚.(2)拉格朗日孪生支持向量回归机由于孪生支持向量回归机的对偶问题中半正定矩阵的逆矩阵可能不存在,若存在,则对偶问题不是严格凸函数,可能存在多个解,因此考虑使用松弛变量的2范数代替原有的1范数,使对偶问题更简单,易于求解.(3)最小二乘孪生支持向量回归机由于孪生支持向量回归机的求解需要在对偶空间进行,得到的解为近似解,考虑通过最小二乘法将原问题的不等式约束转化为等式约束,使得原问题可以在原空间内求解,在很大程度上降低计算时间,提高泛化性能,且不损失精度.(4)v-孪生支持向量回归机通过引入一组参数v1与v2自动调节ε1与ε2的值以控制训练样本的特定部分对两条回归超平面所能造成的最大误差,从而自适应给定数据的结构,提高孪生支持向量回归机的拟合精度.(5)ε-孪生支持向量回归机在孪生支持向量回归机的原问题中引入正则化项以达到结构风险最小化的目的,使对偶问题转化为稳定的正定二次规划问题,并通过SOR求解对偶问题,加快训练速度.(6)孪生参数不敏感支持向量回归机克服参数的选取对孪生支持向量回归机超平面构造的影响,使算法非常适合于存在异方差噪声数据的数据集,训练速度和泛化性能也有提升.本文同时对以上算法的数学模型、改进算法及应用进行了系统地分析与总结,给出了以上算法在9个UCI基准数据集上的回归性能与计算时间,并在模型结构层面逐一分析每个算法的表现与耗时的根本原因.对于其他不便于归类的孪生支持向量回归机改进算法及应用,本文也对其作逐一总结.整体来看,最小二乘孪生支持向量回归机在性能和计算时间方面表现最佳,拉格朗日孪生支持向量回归机、v-孪生支持向量回归机的性能并列次优且计算时间接近,加权孪生支持向量回归机、ε-孪生支持向量回归机和孪生参数不敏感支持向量回归机的性能不理想,但计算时间接近.本文旨在使读者对孪生支持向量回归机的不同改进算法之间的异同点与优缺点产生更深刻的理解与认识,从而将更多优秀的改进策略应用于孪生支持向量回归机,最终为进一步提高孪生支持向量回归机的性能以及扩展孪生支持向量回归机的应用范围提供较为清晰的思路.

增量式约简拉氏非对称ν型孪生支持向量回归机

拉氏非对称ν型孪生支持向量回归机是一种泛化性能良好的预测算法,然而其并不适用于增量提供样本的场景。为此,提出了一种增量式约简拉氏非对称ν型孪生支持向量回归机(IRLAsy-ν-TSVR)算法。首先,引入正号函数,将有约束最优化问题转换成无约束最优化问题,并采用半光滑牛顿法在原始空间直接求解,以加快收敛速度。接着,利用矩阵求逆引理,实现半光滑牛顿法中Hessian矩阵求逆的高效增量更新,节省时间开销。然后,为了减少样本累积导致的内存消耗,使用约简技术分别筛选增广核矩阵的列向量和行向量以逼近原增广核矩阵,确保解的稀疏性。最后,在基准测试数据集上验证算法的可行性和有效性。结果表明,与一些代表性算法相比,IRLAsy-ν-TSVR算法继承了离线算法的泛化性能,能够获得稀疏解,更适合大规模数据集的在线学习。

新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机(TSVR)是在支持向量回归机(SVR)基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化(SRM)原则提出了一种鲁棒的孪生支持向量回归机(Hε-TSVR),并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。

光滑CHKS孪生支持向量回归机

针对目前光滑孪生支持向量回归机(smooth twin support vector regression,STSVR)中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑(chen-harker-kanzow-smale,CHKS)函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了光滑CHKS孪生支持向量回归机(smooth CHKS twin support vector regression,SCTSVR).不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能.

最小二乘孪生参数化不敏感支持向量回归机

孪生参数化不敏感支持向量回归机(twin parametric insensitive support vector regression,简称TPISVR)是一种新型机器学习方法.与其他回归方法相比,TPISVR在处理异方差噪声方面具有独特的优势.标准TPISVR的训练算法可以归结为在对偶空间求解一对具有不等式约束的二次规划问题.然而,这种求解方法的时间消耗比较大.引入最小二乘思想,将TPISVR的两个二次规划问题转化为两个线性方程组,并在原始空间上直接求解,提出了最小二乘孪生参数化不敏感支持向量回归机(least squares TPISVR,简称LSTPISVR).为了解决LSTPISVR的参数选择问题,提出了混沌布谷鸟优化算法,并用其对LSTPISVR的参数进行优化选择.在人工数据集和UCI数据集上的实验结果表明:LSTPISVR在保持精度不下降的情况下,具有更高的运行效率.

光滑孪生参数化不敏感支持向量回归机

作为机器学习方法之一的孪生参数化不敏感支持向量回归机(TPISVR)有着简洁的数学模型,良好的学习性能,特别适合于求解带有结构异方差噪声的数据回归问题,然而TPISVR的训练速度较低,训练效率有待提高。TPISVR的传统算法可以归结为通过转化对偶问题的方法求解2个带有不等式约束的二次规划问题,然而这种求解二次规划问题的方法对于样本数目较大的问题将受到时间和内存的制约,这是导致TPISVR训练效率低的关键所在。针对此问题,首先,引入正号函数,将TPISVR的2个二次规划问题转化为2个不可微的无约束优化问题;其次,引入CHKS光滑函数和正则项,对TPISVR模型进行正则化,并对不可微的无约束优化问题进行光滑逼近,从而将不可微的模型转化为可微的无约束优化问题,并用收敛速度快的Newton-Armijo方法求解新模型,提出光滑孪生参数化不敏感支持向量回归机(STPISVR);最后,从理论上证明了STPISVR模型是收敛的,并具有任意阶光滑性。为了验证所提算法的有效性和可行性,对机器学习常用的人工数据集和UCI数据集进行仿真实验。实验结果表明:和其他机器学习方法相比,STPISVR在保证精度不下降的前提下,获得了更高的训练效率。

多项式光滑孪生支持向量回归机

针对光滑孪生支持向量回归机(Smooth Twin Support Vector Regression,STSVR)中Sigmoid函数逼近精度不高的问题,将正号函数展开为无穷多项式级数,由此得到一族光滑函数.采用该多项式光滑函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了多项式光滑孪生支持向量回归机(Polynomial Smooth Twin Support Vector Regression,PSTSVR).不仅从理论上证明了PSTSVR的收敛性和满足任意阶光滑的性能,而且在人工数据集和UCI数据集上的实验表明了PSTSVR比STSVR具有更好的回归性能.

改进的稀疏孪生支持向量回归算法

相比传统支持向量机,尽管孪生支持向量机具有较快的计算速度,然而不具备结构风险最小化和稀疏性,易产生过拟合现象。针对这一问题,提出了一种具有稀疏性的改进的孪生支持向量回归算法。通过在目标函数中加入正则项将结构风险最小化原则引入到孪生支持向量回归算法中,改善了算法的回归性能;同时选择训练样本的一个子集代替全部的训练样本,使核函数由方阵转变成矩形阵,从而使算法具有稀疏性,有效减少运算时间。仿真结果证明了该算法的有效性。

加权光滑投影孪生支持向量回归算法

现有双边移位投影孪生支持向量回归(PPTSVR)算法在训练阶段没有考虑不同位置样本对超平面构造的影响,当样本中存在异常点时会降低算法拟合性能。针对该问题,提出一种加权光滑投影孪生支持向量回归算法。采用孤立森林法赋予每个样本不同的权值,并且赋予样本中异常点很小的权值,通过将权值引入算法目标函数,削弱异常点对超平面构造的影响。为直接在原空间中寻求最优超平面,引入正号函数,将有约束优化问题转化为无约束优化问题,并采用Sigmoid光滑函数对目标函数进行光滑处理,证明其任意阶可微且严格凸的特性,进而在原空间中采用牛顿迭代法进行求解。在基准数据集和人工测试函数上的实验结果表明,该算法相比于现有代表性回归算法具备更好的拟合性能和更快的训练速度,尤其当训练样本中存在异常点时,相比于PPTSVR算法拟合性能提升更明显。

增量式约简最小二乘孪生支持向量回归机

为了解决增量式最小二乘孪生支持向量回归机存在构成的核矩阵无法很好地逼近原核矩阵的问题,提出了一种增量式约简最小二乘孪生支持向量回归机(IRLSTSVR)算法。该算法首先利用约简方法,判定核矩阵列向量之间的相关性,筛选出用于构成核矩阵列向量的样本作为支持向量以降低核矩阵中列向量的相关性,使得构成的核矩阵能够更好地逼近原核矩阵,保证解的稀疏性。然后通过分块矩阵求逆引理高效增量更新逆矩阵,进一步缩短了算法的训练时间。最后在基准测试数据集上验证算法的可行性和有效性。实验结果表明,与现有的代表性算法相比,IRLSTSVR算法能够获得稀疏解和更接近离线算法的泛化性能。

基于灰狼优化算法的孪生支持向量回归机

为了解决孪生支持向量回归机的参数寻优问题,提出了一种基于灰狼优化算法的孪生支持向量回归机。该算法将均方根误差和平均绝对误差作为灰狼优化算法的适应度函数,借助灰狼优化算法的全局寻优能力,以目标范围内生成狼群的位置代表不同的孪生支持向量回归机参数取值,通过有限次数迭代和灰狼优化算法的位置更新机制得到孪生支持向量回归机的最优参数。实验结果表明,该算法能够找到合适的参数;与现有算法相比,该算法的预测性能更佳,寻优时间显著缩短。

基于自适应调节极大熵的孪生支持向量回归机

孪生支持向量回归机(Twin Support Vector Regression,TSVR)的数学模型是求解一对约束优化问题,如何将约束优化问题转化为无约束优化问题进行求解是一个难题.在TSVR约束优化模型的基础上,依据最优化理论提出TSVR的无约束优化问题.然而,无约束优化问题的目标函数有可能不可微,为解决这个问题,引入极大熵函数,确保优化问题都是可微的.标准的极大熵函数法有可能发生数值溢出,所以对极大熵函数法进行了改进,提出自适应调节极大熵函数法来逼近TSVR的不可微项,并提出基于自适应调节极大熵函数法的TSVR学习算法.实验结果表明,和其他回归方法相比,所提算法不仅能够提高回归精度,而且效率得到了较大的提高.

基于高斯噪声的孪生近端最小二乘支持向量回归模型研究及应用

孪生近端最小二乘支持向量回归机(twin proximal least squares support vector regression,TPLSSVR)是在PLSSVR模型的理论基础上结合TSVR模型的双超平面理念而设计的一种新的回归模型.本文利用TPLSSVR模型框架构建了基于高斯噪声的孪生近端最小二乘支持向量回归模型.该模型利用最小二乘方法,分别加入正则化项b_(1)^(2)、b_(2)_(2),将一个不等式约束问题转化为两个更简单的等式约束问题,提高了模型的泛化能力,有效提升了预测精度.为解决模型的参数选择问题,选用收敛速度快、鲁棒性好的粒子群优化算法对模型参数进行优化选择.将新构建的模型应用于人工数据集和风速数据集,实验结果显示该模型有较好的预测效果.

基于孪生支持向量回归的风力机功率预测方法

针对风力机运行状态的不确定性问题应用机器学习提出一种基于孪生支持向量回归的风力机功率预测方法。首先,在孪生支持向量回归方法中分别采用线性核函数与多项式核函数,参数寻优上选用遗传算法建立预测模型并以平均预测精度作为评价指标;其次,基于SCADA数据分析影响风力机性能的环境因素确定了风速、风向和环境温度为输入,风力机功率为输出,并进行了数据预处理;最后,以2MW风力机为研究对象分别采用线性核函数与多项式核函数孪生支持向量回归预测方法进行了风力机功率预测,通过比较平均预测精度得出了多项式核函数孪生支持向量回归预测方法的预测精度较高。实现了依据风力机短期历史运行数据对功率的精准预测,对风力机性能预警方面具有帮助。

精确增量式ε型孪生支持向量回归机

为了解决现有ε型孪生支持向量回归机的训练算法无法高效处理线性回归的增量学习问题,提出了一种精确增量式ε型孪生支持向量回归机(AIETSVR).首先通过计算新增样本的拉格朗日乘子以及调整边界样本的拉格朗日乘子,尽可能减少新增样本的二次损失对原有样本的影响,使得大部分原有样本依然满足Karush–Kuhn–Tucker(KKT)条件,从而获得一个有效的初始状态;其次对异常拉格朗日乘子逐步调整至满足KKT条件;然后从理论上分析了AIETSVR的可行性和有限收敛性;最后在基准测试数据集上进行仿真.结果表明,与现有的代表性算法相比,AIETSVR能够获得精确解,在缩短大规模数据集的训练时间上优势显著.

非平行ε-带支持向量回归机

提出了一个非平行ε-带支持向量回归机,它通过一对凸二次规划问题确定一个ε-不敏感的上界超平面和一个ε-不敏感的下界超平面,从而得到最终的回归函数。每个凸二次规划问题的规模是传统的支持向量回归机的一半。与双支持向量机相比,虽然它们都是寻找两个不一定平行的超平面来构造最终的回归函数,但是非平行ε-带支持向量回归机的几何意义更接近传统的支持向量回归机。数据实验结果也表明,非平行ε-带支持向量回归机不仅具有良好的泛化性能,而且速度快。

基于SSA-TSVR的飞机状态预测方法研究

为了构建地面飞行安全态势监测系统,针对飞机状态数据向地面传输过程中出现数据传输异常情况而导致无法对飞机状态进行实时监控的问题,提出一种基于SSA-TSVR的飞机状态预测方法,使用随机森林算法对真实飞行数据进行特征重要度分析,筛选与待预测飞机状态参数关系密切的重要参数,获得待预测参数与飞行数据间重要度关系;通过孪生支持向量回归算法建立预测模型,对缺失的关键飞行状态参数进行预测;并运用飞鼠搜索算法对孪生支持向量回归模型进行优化,根据不同预测对象选择对应的最优核函数,提高了模型预测精度;以飞行高度、速度为预测对象进行实验验证,预测模型实现了利用不完整飞行数据对飞机状态进行准确预测,对飞机飞行状态监测有着重要意义。

新型非平行平面支持向量回归机及其应用

支持向量回归机(SVR)和孪生支持向量回归机(TSVR)是机器学习中的常用算法。受TSVR启发,针对SVR训练速度和预测精度问题,提出一种新型非平行平面支持向量回归机(NNHSVR)。NNHSVR的优势如下:(1)NNHSVR模型构造的是两个较小规模的二次规划问题,最终求解得到2个非平行平面,训练速度较SVR快;(2)NNHSVR在目标函数中加入调节参数u,对边界函数进行约束,使得模型对离群点更加鲁棒。人工数据集和UCI数据集上的实验表明:NNHSVR算法不仅有较好的泛化性能,而且训练速度快。将NNHSVR算法应用于传染病预测问题,取得了比传统传染病预测模型BP神经网络更好的效果。

快速原空间孪生支持向量回归算法

孪生支持向量回归(TSVR)通过快速优化一对较小规模的支持向量机问题获得回归函数.文中提出在原始输入空间中采用Newton法直接优化TSVR的目标函数,从而有效克服TSVR通过对偶二次规划问题求得近似最优解导致性能上的损失.数值模拟实验表明该方法不仅能提高TSVR的性能,并且可降低学习时间.