基于核主成分分析和支持向量回归机的红外光谱多组分混合气体定量分析

提出了一种核主成分分析(KPCA)特征提取结合支持向量回归机(SVR)的红外光谱混合气体组分定量分析新方法。首先将特征吸收谱线严重重叠的混合气体光谱通过非线性变换映射到高维特征空间,然后在特征空间中再利用主成分分析法提取主成分,提取出的主成分作为SVR的输入建立校正模型,实现了甲烷、乙烷、丙烷、异丁烷、正丁烷、异戊烷以及正戊烷七种组组分特征吸收光谱严重重叠的混合气体的定量分析。用KPCA-SVR所建模型对未知浓度混合气体的七种组分预测的RMSE(φ×10-6)较仅用SVR模型预测的RMSE(φ×10-6)降低了一个数量级。结果表明,核主成分分析法具有很强的非线性特征提取能力,可以充分利用全光谱数据并有效地消除光谱数据噪声,降低数据维数,与支持向量回归机结合可以提高红外光谱分析的精度,缩短模型计算时间,是一种有效的红外光谱分析新方法。

求解非半正定核Huber-支持向量回归机问题的序列最小最优化算法

序列最小最优化(SMO)算法是求解大型支持向量机(SVM)问题的有效算法.已有的算法都要求核函数是正定的或半正定的,从而使其应用受到限制.针对这种缺点,本文提出一种新的的SMO算法,可求解非半正定核Huber-SVR问题.提出的算法在保证收敛的前提下可使非半正定Huber-SVR能够达到比较理想的回归精度,因而具有一定的理论意义和实用价值.

高斯核支持向量机分类和模型参数选择研究

支持向量机(SupportVectorMachine,SVM)是近几年发展起来的机器学习新方法,以高斯核为核函数的支持向量机在实际应用中表现出良好的学习性能,被广泛应用于模式分类中。论文研究了高斯核支持向量机分类在IRIS分类问题上的应用,并结合结构风险最小化原则分析了误差惩罚参数C和高斯核宽度σ对SVM性能的影响,最后通过数值实验进一步分析了这种影响。

复高斯小波核函数的支持向量机研究

针对基于常用核函数的支持向量机在非线性系统参数辨识及预测方面的不足之处,构建了一种新的核函数——复高斯小波函数核函数。首先证明了新构建的核函数的正确性,即满足Mercy条件,表明其可以作为核函数;然后构建基于该核函数的支持向量机,并将该支持向量机用于非线性系统的辨识和未知部分的预测。通过与常用核函数构建的支持向量机的仿真结果进行对比,验证了该方法的正确性和有效性。

随机傅里叶特征空间中高斯核支持向量机模型选择

模型选择是支持向量机(support vector machines,SVMs)学习的关键问题.标准支持向量机学习本质上是求解一个凸二次优化问题,求解的时间复杂度为数据规模的立方级,而经典的模型选择方法往往需要多次训练支持向量机,这种模型选择方法对于中等规模的支持向量机学习计算代价已较高,更难以扩展到大规模支持向量机学习.基于高斯核函数的随机傅里叶特征近似,提出一种新的、高效的核支持向量机模型选择方法.首先,利用随机傅里叶特征映射,将无限维隐式特征空间嵌入到一个相对低维的显式随机特征空间,并推导在2个不同的特征空间中分别训练支持向量机所得到的模型的误差上界;然后,以模型误差上界为理论保证,提出随机特征空间中核支持向量机的模型选择方法,应用随机特征空间中的线性支持向量机来逼近核支持向量机,计算模型选择准则的近似值,从而评价所对应的核支持向量机的相对优劣;最后,在标杆数据集上验证所提出方法的可行性和高效性.实验结果表明,所提出的模型选择方法与标准交叉验证方法的测试精度基本相当,但可显著地提高核支持向量机模型选择效率.

一种改进的再生核支持向量机回归模型

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数进行改进,给出一种新的支持向量机核函数,并提出一种改进的最小二乘再生核支持向量机的回归模型,该回归模型的参数被减少,且仿真实验结果表明:最小二乘支持向量机的核函数采用改进的再生核函数是可行的,改进后的再生核函数不仅具有核函数的非线性映射特征,而且也继承了该再生核函数对非线性逐级精细逼近的特征,回归的效果比一般的核函数更为细腻。

高斯序列核支持向量机用于说话人识别

说话人识别问题具有重要的理论价值和深远的实用意义,在研究支持向量机核方法理论的基础上,将其与传统高斯混合模型(GMM)相结合构建成基于高斯序列核的支持向量机(SVM)。SVM的灵活性和强大分类能力主要在于可以根据要处理的问题来相应的选取核函数。在识别的过程中引入特征空间归正技术NAP(Nuisance Attribute Projection)对同一说话人在不同信道和环境所带来的特征差异进行弥补。用美国国家标准与技术研究所(NIST)2004年评测数据集进行实验,结果表明该方法可以大幅度提高识别率。

多尺度高斯核支持向量机算法

针对支持向量机中单尺度高斯核算法存在局部风险的问题,提出一种基于核排列的多尺度高斯核算法。利用核排列这一度量标准来选择高斯核函数的尺度,并把多个弱分类器聚集成一个强分类器得到多尺度高斯核,从而构造支持向量机模型。利用UCI数据集Iris Plants、 Wine Recognition等仿真实验结果表明:所提出的基于核排列的多尺度高斯核算法比传统的单尺度高斯核算法具有更高的分类准确率。

基于核的偏最小二乘特征提取的最小二乘支持向量机回归方法

提出了用核的偏最小二乘进行特征提取.首先把初始输入映射到高维特征空间,然后在高维特征空间中计算得分向量,降低样本的维数,再用最小二乘支持向量机进行回归.通过实验表明,这种方法得到的效果优于没有特征提取的回归.同时与PLS提取特征相比,KPLS分析效果更好.

基于数据依赖核支持向量机回归的风速预测模型

针对风速随机性大、影响因素多、预测准确度不高的情况,基于支持向量机与信息几何的统计学关联性,从信息几何学角度分析核函数的几何结构,构造数据依赖核函数,并与支持向量机回归相结合,形成数据依赖核支持向量机回归(Data Dependent Kernel-SVR,DDK-SVR)方法.将该方法用于风速预测中,建立DDK-SVR风速预测模型,并将预测结果与传统支持向量机、神经网络方法进行对比.结果表明,DDK-SVR方法具有更高的预测精度.

一类非平坦函数的多核最小二乘支持向量机的鲁棒回归算法

给出了标准最小二乘支持向量机的数学回归模型,并提出了多核最小二乘支持向量机算法,用于提高非平坦函数的回归精度.运用谱系聚类方法解决多核最小二乘支持向量机的解缺乏稀疏性的问题.利用偏最小二乘回归方法对多核最小二乘支持向量机进行了鲁棒回归.通过仿真实例证实了所提方法的有效性.

Q-高斯核支持向量机的财务危机预报

针对科学实践、经济生活等诸多领域数据分布相对复杂的分类问题,使用传统支持向量机(SVM)无法很好地刻画其变量间的相关性,从而影响分类性能。对于这一情况,提出使用经典高斯函数的参数推广形式——Q-高斯函数作为SVM的核函数构建财务危机预警模型。结合沪深股市A股制造业上市公司的财务数据分别建立T-2和T-3财务预警模型进行实证分析,采用显著性检验筛选出合适的财务指标并利用交叉验证方法确定模型参数。相比高斯核SVM财务危机预警模型,使用Q-高斯核SVM建立的T-2和T-3模型的预报准确率都提高了大约3%,而且成本较高的第Ⅰ类错误最多降低了14.29%。

基于时序核函数的支持向量回归机

为克服维数灾难和过拟合等传统算法所不可规避的问题,利用支持向量机(SupportVectorMachine,SVM)提出基于时序数据时间相关性的核函数修正选择方法,并以真实的二氧化硫(SO2)数据为实验数据验证该方法的有效性.实验结果表明采用时序核函数对测试数据集的拟合效果更好,并对模型泛化能力有一定的提高.

基于核路径算法的支持向量回归机参数选择

参数选择是支持向量机研究领域的重要问题。针对核参数的选择,提出一种基于二分法的核参数解路径算法。由于解为核参数的非线性光滑函数,该算法随着参数的更新,可以在已有参数得出的解的基础上通过更新公式进行推导计算,从而求得当前参数所对应的解,其目标函数的极值所对应的参数值即为最优参数解。该算法可以快速地求得最优参数。将该方法应用于双酚A生产过程的质量指标软测量建模,仿真结果表明了该算法的可行性和有效性。

基于复合核支持向量回归机的多类分类算法

针对传统支持向量机(SVM)在解决多类分类问题时需要训练多个分类器、存在不可分区域等问题,研究了基于支持向量回归机的多类分类算法。利用回归思想求解多类分类问题,将分类样本作为回归输入,样本的类别标识作为回归输出,通过支持向量回归机训练拟合出各样本与其类别标识之间的函数关系。将待分类样本代入回归函数,对其输出取整后即可得到样本类别。该算法仅使用1个分类器,明显简化了分类过程。另外,引入复合核函数来提高支持向量回归机的性能。采用加州大学欧文分校(UCI)例题库中的多类分类问题进行仿真验证,并将改进算法与传统算法作对比,结果表明改进算法在分类速度和准确率上都有显著提高。

基于改进灰狼算法优化多核支持向量回归机及其应用

为更好发现数据中的复杂规律,避免核函数选择的盲目性和局部最优等非线性优化问题,本文提出一种基于改进灰狼算法优化多核支持向量回归机算法.首先,基于全局核函数和局部核函数构建多核支持向量机采油速度预测模型;其次,利用基于云模型和二次插值算法改进灰狼优化算法对核函数权值和参数的选取进行优化;最后,应用灰色关联分析理论确定采油速度影响因素集,并作为多核支持向量回归机预测模型的输入.与6种采油速度预测方法进行对比,所提方法具有较好的全局寻优能力和较高的预测率的优点.

基于混合核函数支持向量机的回归模型

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数和Sig核函数进行有效的线性混合,给出一种新的支持向量机的混合核函数,并提出一种基于再生核的混合核函数支持向量机回归模型,该回归模型兼具了全局核函数与局部核函数的优点,且算法的复杂度被降低.仿真实验结果表明:最小二乘支持向量机的核函数采用基于再生核的混合核函数是可行的,回归的效果比单核函数可以更为细腻.

混合不完备数据的拓展高斯核-支持向量机分类方法

针对混合不完备数据集,提出一种基于邻域联系度距离拓展高斯核函数的支持向量机分类方法。首先,给出了基于邻域联系度距离拓展高斯核函数的定义;其次,给出基于二次函数逼近的支持向量机SMO训练算法和分类算法;最后,取多个UCI数据集进行了实验分析,通过与填充支持向量机、混合距离支持向量机和风险重构支持向量机分类方法进行比较,结果表明提出的分类方法在不对缺失值作任何处理、不改变支持向量机模型结构与约束条件的情况下,仍然获得了优异的分类效果。

基于高斯核支持向量机和遗传算法的优化组合研究

选用2008~2015共8年数据,首先基于高斯核的支持向量机在沪市A股上构建周期性的投资组合,并通过误差图和评价指标与BP神经网络、广义回归神经网络进行比较,结果表明了支持向量机在股票预测上更具有优势.再将改进遗传算法运用于上证股票市场构建最优投资组合,以上证指数作为基准进行比较,得出混合遗传算法优化组合的模型相比单一模型更为有效.

基于高斯核支持向量机的商品期货市场套利研究

基于高斯RBF核支持向量机预测棉花商品期货主力和次主力合约协整关系的价差序列,确定最优SVM参数,并选择合适的开平仓阈值,进行同品种跨期套利.再与多项式核支持向量机套利结果对比,得到在所有开平仓阈值上,基于高斯RBF核支持向量机套利的收益率都明显高于多项式核支持向量机套利的收益率.