增量式稀疏密度加权孪生支持向量回归机

密度加权孪生支持向量回归机(DWTSVR)是一种能够反映数据内在分布的回归算法,具有预测精度高和鲁棒性强等优点,然而其并不适用于训练样本以增量形式提供的场景。针对该问题,提出一种增量式稀疏密度加权孪生支持向量回归机(ISDWTSVR)。首先,辨别新增数据是否为异常样本,并赋予有效样本适当的权重,减小异常样本对模型泛化性能的影响;其次,结合矩阵降维与主成分分析思想筛选出原始核矩阵中的一组特征列向量基代替原特征,实现核矩阵列稀疏化,以获得稀疏解;接着,借助牛顿迭代法和增量学习策略对上一时刻的模型信息进行调整,实现模型的增量更新,同时结合矩阵求逆引理避免增量更新过程中直接求解逆矩阵,进一步加快训练速度;最后,在UCI基准数据集上进行仿真实验,并与现有代表性算法进行比较。实验结果表明,ISDWTSVR继承了DWTSVR的泛化性能,在大规模数据集Bike-Sharing上,新增一个样本模型更新平均CPU时间为5.13 s,较DWTSVR缩短了97.94%,有效地解决了模型必须从头开始重新训练的问题,适用于大规模数据集的在线学习。

孪生支持向量回归机研究进展

孪生支持向量回归机(Twin Support Vector Regression,TSVR or TWSVR)是一种基于统计学习理论的回归算法,它以结构风险最小化原理为理论基础,通过适当地选择函数子集及该子集中的判别函数,使学习机的实际风险达到最小,保证了在有限训练样本上得到的小误差分类器对独立测试集的测试误差仍然较小.孪生支持向量回归机通过将线性不可分样本映射到高维特征空间,使得映射后的样本在该高维特征空间内线性可分,保证了其具有较好的泛化性能.孪生支持向量回归机的算法思想基于孪生支持向量机(Twin Support Vector Machine,TWSVM),几何意义是使所有样本点尽可能地处于两条回归超平面的上(下)不敏感边界之间,最终的回归结果由两个超平面的回归值取平均得到.孪生支持向量回归机需求解两个规模较小的二次规划问题(Quadratic Programming Problems,QPPs)便可得到两条具有较小拟合误差的回归超平面,训练时间和拟合精度都高于传统的支持向量回归机(Support Vector Regression,SVR),且其QPPs的对偶问题存在全局最优解,避免了容易陷入局部最优的问题,故孪生支持向量回归机已成为机器学习的热门领域之一.但孪生支持向量回归机作为机器学习领域的一个较新的理论,其数学模型与算法思想都尚不成熟,在泛化性能、求解速度、矩阵稀疏性、参数选取、对偶问题等方面仍存在进一步改进的空间.本文首先给出了两种孪生支持向量回归机的数学模型与几何意义,然后将孪生支持向量回归机的几个常见的改进策略归纳如下.(1)加权孪生支持向量回归机由于孪生支持向量回归机中每个训练样本受到的惩罚是相同的,但每个样本对超平面的影响不同,尤其是噪声和离群值会使算法性能降低,并且在不同位置的训练样本应给予不同的处罚更为合理,因此考虑在孪生支持向量回归机的每个QPP中引入一个加权系数,给予不同位置的训练样本不同程度的惩罚.(2)拉格朗日孪生支持向量回归机由于孪生支持向量回归机的对偶问题中半正定矩阵的逆矩阵可能不存在,若存在,则对偶问题不是严格凸函数,可能存在多个解,因此考虑使用松弛变量的2范数代替原有的1范数,使对偶问题更简单,易于求解.(3)最小二乘孪生支持向量回归机由于孪生支持向量回归机的求解需要在对偶空间进行,得到的解为近似解,考虑通过最小二乘法将原问题的不等式约束转化为等式约束,使得原问题可以在原空间内求解,在很大程度上降低计算时间,提高泛化性能,且不损失精度.(4)v-孪生支持向量回归机通过引入一组参数v1与v2自动调节ε1与ε2的值以控制训练样本的特定部分对两条回归超平面所能造成的最大误差,从而自适应给定数据的结构,提高孪生支持向量回归机的拟合精度.(5)ε-孪生支持向量回归机在孪生支持向量回归机的原问题中引入正则化项以达到结构风险最小化的目的,使对偶问题转化为稳定的正定二次规划问题,并通过SOR求解对偶问题,加快训练速度.(6)孪生参数不敏感支持向量回归机克服参数的选取对孪生支持向量回归机超平面构造的影响,使算法非常适合于存在异方差噪声数据的数据集,训练速度和泛化性能也有提升.本文同时对以上算法的数学模型、改进算法及应用进行了系统地分析与总结,给出了以上算法在9个UCI基准数据集上的回归性能与计算时间,并在模型结构层面逐一分析每个算法的表现与耗时的根本原因.对于其他不便于归类的孪生支持向量回归机改进算法及应用,本文也对其作逐一总结.整体来看,最小二乘孪生支持向量回归机在性能和计算时间方面表现最佳,拉格朗日孪生支持向量回归机、v-孪生支持向量回归机的性能并列次优且计算时间接近,加权孪生支持向量回归机、ε-孪生支持向量回归机和孪生参数不敏感支持向量回归机的性能不理想,但计算时间接近.本文旨在使读者对孪生支持向量回归机的不同改进算法之间的异同点与优缺点产生更深刻的理解与认识,从而将更多优秀的改进策略应用于孪生支持向量回归机,最终为进一步提高孪生支持向量回归机的性能以及扩展孪生支持向量回归机的应用范围提供较为清晰的思路.

基于L1范数损失的非平行支持向量回归机

针对NPSVR训练速度和预测精度问题,提出一种基于L1范数损失的非平行支持向量回归机L1NPSVR模型,用于预测数值输出。L1NPSVR通过求解两个较小规模的凸规划问题,建立一个ε_(1)-不敏感的下界函数和一个ε_(2)-不敏感的上界函数。在L1NPSVR模型中,每个优化问题同时最小化训练样本的L1范数损失和铰链损失,以保证模型的稳定性,减轻噪声和异常值的影响。L1NPSVR通过求解一对更小的优化问题来提高模型的运行效率。仿真结果验证了所提出方法的可行性及有效性。

新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机(TSVR)是在支持向量回归机(SVR)基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化(SRM)原则提出了一种鲁棒的孪生支持向量回归机(Hε-TSVR),并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。

基于模拟退火算法优化的支持向量回归机对内螺旋槽切削力的预测

鉴于内螺旋槽加工领域缺少预测精度良好的切削力预测模型。基于ABAQUS软件对内螺旋槽的切削加工过程进行了有限元仿真,并由此得出切削力数值;通过模拟退火算法对支持向量回归机预测模型进行参数寻优,得出最优参数以及最优切削力预测值,为刀具设计提供依据,并经切削力实验对预测值进行验证。通过仿真以及切削力实验可知,模拟退火算法优化的支持向量回归机预测精度比优化前的预测精度提高了50%以上,且模拟退火优化的支持向量机模型能够应用于实际内螺旋槽的切削加工中。

基于贝叶斯支持向量回归机的稳健参数设计

稳健参数设计是一种质量改进的重要技术,能够从产品生产的源头上减少和控制波动的产生。双响应曲面法是其常用的方法,主要是利用低阶多项式模型来拟合均值和方差响应,但当样本较复杂(如为非线性或者高维样本)时,低阶多项式模型的拟合性能往往较差,求解优化问题效果不佳。支持向量回归机对非线性数据有良好的拟合潜力,但其性能依赖于参数的合理设置,文章将贝叶斯优化应用于支持向量回归机的参数选择,并将优化后的模型应用于稳健参数设计中响应曲面模型的构建,提出一种基于贝叶斯支持向量回归机的稳健参数设计方法。试验结果表明,所提方法和其他常见优化方法相比,可以获得更精确的响应曲面,可以在实际应用中近似得到可靠的最优因子搭配水平。

增量式约简拉氏非对称ν型孪生支持向量回归机

拉氏非对称ν型孪生支持向量回归机是一种泛化性能良好的预测算法,然而其并不适用于增量提供样本的场景。为此,提出了一种增量式约简拉氏非对称ν型孪生支持向量回归机(IRLAsy-ν-TSVR)算法。首先,引入正号函数,将有约束最优化问题转换成无约束最优化问题,并采用半光滑牛顿法在原始空间直接求解,以加快收敛速度。接着,利用矩阵求逆引理,实现半光滑牛顿法中Hessian矩阵求逆的高效增量更新,节省时间开销。然后,为了减少样本累积导致的内存消耗,使用约简技术分别筛选增广核矩阵的列向量和行向量以逼近原增广核矩阵,确保解的稀疏性。最后,在基准测试数据集上验证算法的可行性和有效性。结果表明,与一些代表性算法相比,IRLAsy-ν-TSVR算法继承了离线算法的泛化性能,能够获得稀疏解,更适合大规模数据集的在线学习。

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。

板形模式识别的多输出最小二乘支持向量回归机新方法

为了克服最小二乘支持向量回归机(LS-SVR)算法不能直接应用于多输入多输出(MIMO)系统建模的缺点,通过在目标函数中加入样本绝对误差项,提出了一种多输出最小二乘支持向量回归机(MLSSVR)新算法。将MLSSVR算法应用于板形模式识别研究,提出了一种基于MLSSVR的板形模式识别新方法,将该方法与LS-SVR合成识别方法进行对比实验,并对MLSSVR识别模型的识别能力进行了测试和分析,结果证明了MLSSVR算法的有效性。MLSSVR板形模式识别方法不仅避免了LS-SVR合成方法的复杂组合运算,具有更高的识别速度,而且具有更高精度和很强的泛化能力。

一种新的支持向量回归机TSVR

标准的支持向量回归机对于参数的选取有很强的依赖性.当选取的参数不恰当,或当数据受到噪声的污染时,回归的效果将受到较大的影响.笔者将训练点被正确划分的程度引入到支持向量回归机模型中,通过理论推导,提出了一种新的支持向量回归机TSVR,并给出了TSVR算法收敛的相关证明.同时,通过大量的数值实验,证明了TSVR具有较好的回归效果,其回归结果对参数的选取较不敏感,具有比标准的支持向量回归机更好的性质.

基于蚁群优化最小二乘支持向量回归机的河蟹养殖溶解氧预测模型

养殖池塘溶解氧是河蟹赖以生存的重要指标,及时准确地掌握溶解氧浓度变化趋势是确保高密度河蟹健康养殖的关键。为提高溶解氧预测精度和效率,该文提出了蚁群算法(ACA)优化最小二乘支持向量回归机(LSSVR)的河蟹养殖溶解氧预测方法。采用蚁群算法对最小二乘支持向量回归机的模型参数进行优化,并以自动获取的最佳参数组合构建溶解氧与其影响因子间非线性预测模型。利用该模型对江苏宜兴市2010年7月20日～7月28日期间高密度养殖池塘溶解氧进行预测。研究表明,该预测模型取得较好的预测效果,与支持向量回归机和BP神经网络相比,模型评价指标均方根误差、相对均方误差均值、平均绝对误差和和决定系数和运行时间分别为0.0328、0.0016、0.0448、0.9916和3.3275s均优于其他预测方法,ACA-LSSVR模型不仅计算复杂度低、收敛速度快、预测精度高、泛化能力强,还能满足实际高密度河蟹养殖溶解氧管理的需要,为其他领域的水质预测提供参考。

基于自适应扰动量子粒子群算法参数优化的支持向量回归机短期风电功率预测

智能电网的建设和大规模风电接入电网对短期风电功率预测精度提出了更高的要求。为了克服支持向量回归机(support vector regression machine,SVR)依赖人为经验选择学习参数的弊端,在量子粒子群优化(quantum-behaved particle swarm optimization,QPSO)算法中加入自适应早熟判定准则、混合扰动算子和动态扩张收缩系数,提出了自适应扰动量子粒子群优化算法(adaptive disturbance quantum-behaved particle swarm optimization,ADQPSO),并使用ADQPSO优化选择SVR的学习参数。实例研究表明,ADQPSO算法全局寻优能力强、鲁棒性好、计算耗时短,利用ADQPSO优化得到的SVR参数,可有效提高模型的预测精度;与反向传播神经网络(back propagation neural network,BPNN)和径向基神经网络(radial basis functionneural network,RBFNN)相比,提出的ADQPSO-SVR能够提高短期风电功率预测的准确性和稳定性。

支持向量回归机在数控加工中心热误差建模中的应用

研究并选择最佳模型对数控加工中心加工过程中的主要误差源-主轴热误差进行补偿,以便提高机床的加工精度。以leaderway-V450加工中心为实验对象,对主轴热误差支持向量回归机模型和多元回归模型进行了分析对比。首先,根据夏季数据建立了多元回归模型和支持向量回归机模型。然后,将夏季另一批数据和秋季数据分别代入两种模型计算各模型补偿精度。最后,根据两种模型的精度变化规律比较两者稳健性。实验结果表明:支持向量回归机夏季模型用于补偿夏季和秋季热误差补偿标准差都小于2μm,而多元回归模型用于补偿夏季数据补偿标准差小于2μm,用于补偿秋季数据补偿标准差大于8μm。数据显示支持向量回归机模型用于热误差补偿不仅具有较高精度,同时具有较好鲁棒性。

应用双支持向量回归机的风速预测模型

风速对风电场功率输出起着十分重要的作用,但由于风速具有很强的随机性,使得对其预测的精度不高。针对上述问题,以双支持向量回归机为主要工具,结合风电场的实测风速数据建立了风速预测模型;给出了模型的特征以及相关参数的,并与标准支持向量回归机的预测结果进行了比较。实验结果表明:双支持向量回归机在预测精度上优于标准支持向量回归机,为风电场的风速预测提供了参考。

基于核主成分分析和支持向量回归机的红外光谱多组分混合气体定量分析

提出了一种核主成分分析(KPCA)特征提取结合支持向量回归机(SVR)的红外光谱混合气体组分定量分析新方法。首先将特征吸收谱线严重重叠的混合气体光谱通过非线性变换映射到高维特征空间,然后在特征空间中再利用主成分分析法提取主成分,提取出的主成分作为SVR的输入建立校正模型,实现了甲烷、乙烷、丙烷、异丁烷、正丁烷、异戊烷以及正戊烷七种组组分特征吸收光谱严重重叠的混合气体的定量分析。用KPCA-SVR所建模型对未知浓度混合气体的七种组分预测的RMSE(φ×10-6)较仅用SVR模型预测的RMSE(φ×10-6)降低了一个数量级。结果表明,核主成分分析法具有很强的非线性特征提取能力,可以充分利用全光谱数据并有效地消除光谱数据噪声,降低数据维数,与支持向量回归机结合可以提高红外光谱分析的精度,缩短模型计算时间,是一种有效的红外光谱分析新方法。

基于支持向量回归机的煤层瓦斯含量预测研究

为了对煤层瓦斯含量进行准确预测,应用支持向量回归机(SVR)理论建立煤层瓦斯含量预测模型,结合现场实测数据利用支持向量机(SVM)工具箱进行模型的求解及预测,并从均方根误差、希尔不等系数和平均绝对百分误差3个不同误差指标与人工神经网络预测模型进行比较分析。研究结果表明:SVR模型其预测精度及可行性高于神经网络模型,而且运算快,实时性较好,用于煤层瓦斯含量的预测较理想,具有良好的应用前景,可以为煤矿瓦斯防治提供理论依据。

基于最小二乘支持向量回归机的燃煤锅炉结渣特性预测

对燃煤锅炉结渣特性建模预测并结合优化算法实现燃烧优化是降低锅炉结渣几率有效的方法。文中将煤的软化温度tST、硅铝比w(SiO2)/w(Al2O3)、碱酸比J、硅比G以及锅炉的无因次炉膛平均温度φt、无因次切圆直径φd等作为输入变量,以结渣程度作为输出,建立最小二乘支持向量回归机燃煤锅炉结渣预测模型。同时采用显微镜原理对惩罚参数γ和核参数σ进行寻优,快速有效地获得二者的最优组合。通过对5台锅炉结渣特性进行预测评判,结果表明此方法是合理可行的。同时依据本方法及面向对象的高级语言,开发了相应的预测评判系统。

基于支持向量回归机的公路货运量预测模型

为了提高公路货运量预测的能力,应用基于结构风险最小化准则的标准支持向量回归机方法来研究公路货运量预测问题。在选择适当的参数和核函数的基础上,通过对成都公路货运量时间序列进行预测,并与人工神经网络、线性回归分析等方法进行了对比,发现该方法能获得最小的训练相对误差和测试相对误差。

基于支持向量回归机的交通状态短时预测方法研究

提出基于支持向量回归机的交通状态短时预测方法.具体的做法是,以交通检测器收集到某时刻前几时段及上下游前几时段的交通流量、占有率、平均速度等交通参数为输入,以对应时段交通流量为输出,选取核函数,对支持向量回归机进行训练.应用训练完成的支持向量回归机,输入交通流量、占有率、平均速度,来预测下时段的交通流量.最后,以某城市道路的实时数据来对模型进行验证,预测结果表明了模型的有效性.

基于果蝇算法优化支持向量回归机的纺丝性能预测

提出了基于支持向量回归机(SVR)的纤维伸长率预测方法。该方法根据有限的学习样本,建立了纺丝速度、纺丝温度、吹风速度和吹风温度4个参数作为影响纤维质量的关键参数组成的预测参数集合与纤维伸长率之间的一种非线性映射,对纤维伸长率进行预测。以工业过程中实际的样本数据得到纺丝伸长率的SVR预测模型。采用果蝇优化算法优化SVR预测模型的参数,并与BP神经网络及传统SVR的预测模型进行结果对比分析。实验结果表明,果蝇算法优化SVR预测方法优于BP及传统SVR预测方法,有着良好的泛化能力,能够对实际纤维生产过程起到一定的指导作用。