求解非半正定核Huber-支持向量回归机问题的序列最小最优化算法

序列最小最优化(SMO)算法是求解大型支持向量机(SVM)问题的有效算法.已有的算法都要求核函数是正定的或半正定的,从而使其应用受到限制.针对这种缺点,本文提出一种新的的SMO算法,可求解非半正定核Huber-SVR问题.提出的算法在保证收敛的前提下可使非半正定Huber-SVR能够达到比较理想的回归精度,因而具有一定的理论意义和实用价值.

概率积分法参数辨识的多尺度核偏最小二乘回归方法

针对传统的偏最小二乘回归(PLS)、人工神经网络(ANN)、支持向量机(SVM)等非线性建模方法在概率积分法参数辨识中存在着预测效果差的不足,提出概率积分法参数辨识的多尺度核偏最小二乘回归(multi-scale KPLS)方法。首先,构建满足容许条件的多尺度高斯核函数;然后,对学习样本进行模糊聚类,以最优分类个数作为多尺度高斯核函数的尺度个数,并采用10次10折交叉验证按照网格搜索方法确定核函数的宽度;最后,详细论述multi-scale KPLS的建模过程。通过实例将multi-scale KPLS的预测结果与3种传统的PLS方法、径向基神经网络(RBF-NN)和SVM模型进行对比分析。结果表明:multi-scale KPLS顾及建模样本的多尺度特性,其预测精度明显高于其他预测模型;multi-scale KPLS有效地克服了各影响因素之间的多重共线性对预测结果的不利影响,具有较强的稳健性;multi-scale KPLS适用于多个因变量对多个自变量的概率积分法参数辨识问题,其建模参数均可自适应确定,在建模效率上优于RBF-NN和SVM。

基于核的偏最小二乘特征提取的最小二乘支持向量机回归方法

提出了用核的偏最小二乘进行特征提取.首先把初始输入映射到高维特征空间,然后在高维特征空间中计算得分向量,降低样本的维数,再用最小二乘支持向量机进行回归.通过实验表明,这种方法得到的效果优于没有特征提取的回归.同时与PLS提取特征相比,KPLS分析效果更好.

一类非平坦函数的多核最小二乘支持向量机的鲁棒回归算法

给出了标准最小二乘支持向量机的数学回归模型,并提出了多核最小二乘支持向量机算法,用于提高非平坦函数的回归精度.运用谱系聚类方法解决多核最小二乘支持向量机的解缺乏稀疏性的问题.利用偏最小二乘回归方法对多核最小二乘支持向量机进行了鲁棒回归.通过仿真实例证实了所提方法的有效性.

核泄漏事故风险评估中的概率分析及预测

文章利用逻辑回归模型(logistic regression model,LRM)、线性判别模型(linear discriminant model,LDM)和支持向量机(support vector machine,SVM)3种统计模型,从核反应堆的内部和外部因素2个方面评估其在核泄漏事故中所体现的相关安全性能。针对每种模型,利用数理统计理论探究核反应堆相关影响因素与其发生核泄漏事故的概率。研究发现核反应堆外部因素有主导内部因素的趋势并在整个核泄漏事故风险中占有举足轻重的地位。文章提供的模型分析与预测结果可为核反应堆工程师及其相关决策者在核反应堆的选址、设计及建设运营等方面提供参考。

最小最大概率回归机在短期风电功率预测中的应用

为了对短期风电功率的预测进行研究,提出了一种基于最大最小概率回归机(MPMR)的预测方法。MPMR方法是将最小最大概率分类机(MPMC)向回归问题的应用推广。该方法仅须假定产生预测模型的数据分布均值与协方差矩阵已知,即能够最大化模型的预测输出位于其真实值边界内的最小概率。验证试验表明,MPMR方法能更好地跟踪风电功率的变化,有效地提高风电功率的预测精度,具有很好的应用前景。

最小角回归结合核极限学习机的近红外光谱对柑橘黄龙病的鉴别

传统的柑橘黄龙病检测方法存在准确度低、稳定性差等问题,该文提出了一种基于最小角回归结合核极限学习机(Least angle regression combined with kernel extreme learning machine,LAR-KELM(RBF))的近红外柑橘黄龙病鉴别方法。该方法将光谱数据通过小波变换进行预处理,然后用最小角回归(LAR)算法进行光谱波长的筛选,最后通过核极限学习机(KELM(RBF))实现样本的分类。实验采用柑橘叶片的近红外光谱数据,验证了LAR-KELM(RBF)算法的性能,其分类准确度最高为99.91%,标准偏差为0.11。不同规模训练集的实验结果表明,LAR-KELM(RBF)模型较极限学习机(ELM)、波形叠加极限学习机(SWELM)、反向传播神经网络(BP(2层))、KELM(RBF)和支持向量机(SVM)模型分类准确度高、稳定性强,能够广泛应用于柑橘黄龙病的检测鉴别。

回归支持向量机的改进序列最小优化学习算法

支持向量机(support vector machine,简称SVM)是一种基于结构风险最小化原理的学习技术,也是一种新的具有很好泛化性能的回归方法,提出了实现回归支持向量机的一种改进的SMO(sequential minimal optimization)算法,给出了两变量子优化问题的解析解,设计了新的工作集选择方法和停止条件,仿真实例说明,所提出的SMO算法比原始SMO算法具有更快的运算速度.

基于多核支持向量机的概率密度估计方法

提出了一种基于多核支持向量机的概率密度估计方法。其基本思路是从概率密度的定义出发,利用支持向量机求解线性算子方程的方法,直接估计出密度。使用多核支持向量机取代传统的支持向量机方法来估计概率密度,从仿真结果来看,与Parzen窗方法相比,基于多核支持向量机的概率密度估计方法的精度等级与Parzen窗方法类似,同时又具有Parzen窗方法所不具备的稀疏解；与基于传统支持向量机的概率密度估计方法相比,基于多核支持向量机的概率密度估计方法具有更强的鲁棒性,并且其精度更高。

多尺度最小二乘小波支持向量机的回归建模

普通最小二乘支持向量机算法用于多尺度回归建模时精度较低。针对该问题,选取墨西哥草帽小波函数作为最小二乘支持向量机的核函数,设计一种基于小波核的多尺度最小二乘小波支持向量机。在此基础上,通过解二次优化问题求出多尺度回归建模问题的全局最优解,最终得出的多尺度回归模型能够有效地逼近多尺度信号。仿真结果表明,该算法具有较高的精度。

基于概率核模糊聚类剪枝的工业机器人在线控制研究

本文提出了基于概率核的工业机器人模糊聚类样本选择方法,实现对工业机器人控制过程大样本数据的剪枝处理,减少了进入支持向量回归学习样本数目,以解决工业机器人在线控制学习效率偏低的问题。实验结果表明,该方法改善了工业机器人在线控制在鲁棒性、跟踪精度和快速性等方面的综合性能。

基于最小最大概率回归方法的中长期电价预测模型

中长期电价的预测无论是对于市场监管政策的制定,还是对于大用户和发电商的投资规划,都具有极其重要的意义。影响中长期电价的因素比较复杂,历史电价数据分布混乱增加了一般回归电价预测建模的难度。提出了一种基于最小最大概率回归方法的电力市场中期电价预测的新模型。在分析最小最大概率机(MPM)及其用于回归原理的基础上,使用最小最大概率回归(MPMR)方法对不同的训练样本集进行训练,并计算出预测期的预测值,取得了比较好的预测结果。训练样本的分割使中期电价预测模型更加准确。美国加州现货电能量市场的实例数据验证了所建模型及方法的有效性。

基于支持向量机的概率密度估计方法

介绍了基于支持向量机的概率密度估计。从概率密度的定义出发,利用支持向量机求解线性算子方程的方法,直接估计出密度。建立了几种不同的支持向量机仿真模型来进行概率密度估计。从仿真结果来看,该种方法与Parzen窗的精度等级类似,同时又具有Parzen窗方法所不具备的稀疏解。

应用启发式最小二乘支持向量机的中长期电力负荷预测

针对中长期负荷预测,提出了基于年负荷总量、年负荷增长量、年负荷增长率、年负荷增长加速率、年国内生产总值等5个指标的启发式最小二乘支持向量机中长期负荷预测模型。首先,通过核函数将低维输入变量空间映射到高维特征空间,建立核偏最小二乘回归模型,拟合出单位国内生产总值电耗;然后以单位国内生产总值电耗为启发式算子,在历史负荷数据的基础上合理假设待预测年的负荷总量,利用启发式算子反推出该负荷值对应的年国内生产总值,形成支持向量机扩展训练样本,将支持向量机外推预测转化为内插求值。最后,用训练好的支持向量机求出预测结果。实际算例的结果表明,所提出的方法预测精度较高,具有较强的可行性和实用性。

最小二乘支持向量回归滤波系统性能分析

支持向量机(Support Vector Machine:SVM)一直作为机器学习方法在统计学习理论基础上被研究和发展,本文从信号与系统的角度出发,证明了平移不变核最小二乘支持向量机(Least Squares SVM:LS-SVM)是一个线性时不变系统.以Ricker子波核为例,探讨了不同参数对最小二乘支持向量回归(Least Squares Support VectorRegression:LS-SVR)滤波器频率响应特性的影响,这些参数的不同选择相应地控制着滤波器通带上升沿的陡峭性、通带的中心频率、通带带宽以及信号能量的衰减,即滤波器长度越长通带的上升沿越陡,核参数值越大通带的中心频率越高,且通带带宽越宽,正则化参数值越小,通带带宽越窄(但通带中心频率基本保持恒定),有效信号幅度衰减越严重.合成地震记录的仿真实验结果表明,Ricker子波核LS-SVR滤波器在处理地震勘探信号的应用中,滤波性能优于径向基函数(Radial Basic Function:RBF)核LS-SVR滤波器以及小波变换滤波和Wiener滤波方法.

核偏最小二乘特征提取在混合气体FTIR光谱定量分析中的应用

为进一步提高FTIR光谱法实现特征吸收光谱严重重叠的甲烷、乙烷、丙烷、异丁烷、正丁烷、异戊烷以及正戊烷七组分混合气体定量分析的精度和速度,提出一种核偏最小二乘(Kernel Partial Least Square,KPLS)特征提取耦合支持向量回归机(Support Vector Regression Machine,SVR)的红外光谱定量分析新方法.首先采用KPLS方法对上述七组分混合气体的FTIR光谱进行特征提取,然后将特征提取得到的特征组分作为SVR的输入建立混合气体的定量分析模型.对标准混合气体进行定量分析的结果显示:KPLS-SVR模型的预测精度高于未进行特征提取SVR模型预测的精度,同时预测时间也减少了一半.研究表明,KPLS法可以很好地提取隐含在混合气体FTIR光谱数据与其组分浓度之间的非线性特征并有效地消除光谱数据噪声,大幅度降低数据维数,与SVR耦合可以提高红外光谱分析的精度和速度,是一种有效的红外光谱定量分析方法.

基于支持向量机的大样本回归算法比较研究

支持向量机的研究是当前人工智能领域的研究热点。基于支持向量机的大样本回归问题一直是一个非常具有挑战性的课题。最近,基于递归最小二乘算法,Engel等人提出了核递归最小二乘算法。文中基于块增量学习和逆学习过程,提出了自适应迭代回归算法。为了说明两种方法的性能,论文在训练速度、精度和支持向量数量等方面,对它们做了比较。模拟结果表明:核递归最小二乘算法所得到的支持向量个数比自适应迭代回归算法少,而训练时间比自适应迭代回归算法的训练时间长,训练和测试精度也比自适应迭代回归算法差。

基于压缩感知的多尺度最小二乘支持向量机

提出一种基于压缩感知(Compressive sensing,CS)和多分辨分析(Multi-resolution analysis,MRA)的多尺度最小二乘支持向量机(Least squares support vector machine,LS-SVM).首先将多尺度小波函数作为支持向量核,推导出多尺度最小二乘支持向量机模型,然后基于压缩感知理论,利用最小二乘匹配追踪(Least squares orthogonal matching pursuit,LS-OMP)算法对多尺度最小二乘支持向量机的支持向量进行稀疏化,最后用稀疏的支持向量实现函数回归.实验结果表明,本文方法利用不同尺度小波核逼近信号的不同细节,而且以比较少的支持向量能达到很好的泛化性能,大大降低了运算成本,相比普通最小二乘支持向量机,具有更优越的表现力.

基于最小二乘小波支持向量机的数据拟合实验

针对目前使用的SVM核函数在回归中不能逼近任意目标函数的问题,在支持向量机的核方法和小波框架理论的基础上,提出了LS-WSVM结构模型。该模型在LS-SVM中使用一种新的由小波构成的SVM核函数。实验结果表明,与标准的SVM及LS-SVM比较起来,在同等条件下,LS-WSVM在函数回归方面LS-WSVM具有优良的逼近性能,拟合效果更为细腻。

基于最小方差支持向量机的织物热湿舒适性预测

在纺织服装工程研究中应用人工智能与机器学习的方法,可以更加准确地预测纺织材料的穿着热湿舒适性。为此,利用最小方差支持向量机(LSSVM),分析了36种针织织物热湿舒适性客观指标与人体穿着对织物的热湿舒适性主观评定之间的对应关系,并建立了客观指标与主观评定之间的回归模型。该模型能够快速预测成衣之后人体穿着主观评定的舒适度,并可节约新面料和织物材料研发过程中的评估成本。通过对多个回归模型的比较与分析,证明LSSVM回归模型比BP神经网络模型能够更加准确地预测织物的主观热湿舒适性。