基于高斯噪声的孪生近端最小二乘支持向量回归模型研究及应用

孪生近端最小二乘支持向量回归机(twin proximal least squares support vector regression,TPLSSVR)是在PLSSVR模型的理论基础上结合TSVR模型的双超平面理念而设计的一种新的回归模型.本文利用TPLSSVR模型框架构建了基于高斯噪声的孪生近端最小二乘支持向量回归模型.该模型利用最小二乘方法,分别加入正则化项b_(1)^(2)、b_(2)_(2),将一个不等式约束问题转化为两个更简单的等式约束问题,提高了模型的泛化能力,有效提升了预测精度.为解决模型的参数选择问题,选用收敛速度快、鲁棒性好的粒子群优化算法对模型参数进行优化选择.将新构建的模型应用于人工数据集和风速数据集,实验结果显示该模型有较好的预测效果.

最小二乘孪生参数化不敏感支持向量回归机

孪生参数化不敏感支持向量回归机(twin parametric insensitive support vector regression,简称TPISVR)是一种新型机器学习方法.与其他回归方法相比,TPISVR在处理异方差噪声方面具有独特的优势.标准TPISVR的训练算法可以归结为在对偶空间求解一对具有不等式约束的二次规划问题.然而,这种求解方法的时间消耗比较大.引入最小二乘思想,将TPISVR的两个二次规划问题转化为两个线性方程组,并在原始空间上直接求解,提出了最小二乘孪生参数化不敏感支持向量回归机(least squares TPISVR,简称LSTPISVR).为了解决LSTPISVR的参数选择问题,提出了混沌布谷鸟优化算法,并用其对LSTPISVR的参数进行优化选择.在人工数据集和UCI数据集上的实验结果表明:LSTPISVR在保持精度不下降的情况下,具有更高的运行效率.

增量式约简最小二乘孪生支持向量回归机

为了解决增量式最小二乘孪生支持向量回归机存在构成的核矩阵无法很好地逼近原核矩阵的问题,提出了一种增量式约简最小二乘孪生支持向量回归机(IRLSTSVR)算法。该算法首先利用约简方法,判定核矩阵列向量之间的相关性,筛选出用于构成核矩阵列向量的样本作为支持向量以降低核矩阵中列向量的相关性,使得构成的核矩阵能够更好地逼近原核矩阵,保证解的稀疏性。然后通过分块矩阵求逆引理高效增量更新逆矩阵,进一步缩短了算法的训练时间。最后在基准测试数据集上验证算法的可行性和有效性。实验结果表明,与现有的代表性算法相比,IRLSTSVR算法能够获得稀疏解和更接近离线算法的泛化性能。

可见-近红外与中红外光谱预测土壤养分的比较研究

对土壤养分的快速和准确测定有助于适时指导施肥。为进一步研究可见-近红外(350~2500 nm)与中红外光谱(4000~650 cm^(–1))对土壤养分的预测能力,以贵州省500个土样为例,对光谱进行Savitzky-Golay(SG)平滑去噪处理,再用标准正态化(SNV)方法进行基线校正,然后分别应用偏最小二乘回归(PLSR)和支持向量机(SVM)两种方法进行建模,探讨了可见-近红外和中红外光谱对土壤全氮(TN)、全磷(TP)、全钾(TK)和碱解氮(AN)、有效磷(AP)、速效钾(AK)共六种土壤养分的预测效果。结果表明:(1)无论基于可见-近红外光谱还是中红外光谱,PLSR模型的预测精度整体均优于SVM模型。(2)中红外光谱对TN、TK和AN的预测精度均显著高于可见-近红外光谱,可见-近红外和中红外光谱均可以可靠地预测TN和TK(性能与四分位间隔距离的比率(RPIQ)大于2.10),中红外光谱可相对较可靠地预测AN(RPIQ=1.87);但两类光谱对TP、AP和AK的预测效果均较差(RPIQ<1.34)。(3)当变量投影重要性得分(VIP)大于1.5时,PLSR模型在中红外光谱区域预测TN和TK的重要波段多于可见-近红外光谱区域,TN的重要波段主要集中于可见-近红外光谱区域的1910和2207 nm附近,中红外光谱区域的1120、1000、960、910、770和668 cm^(–1)附近;TK的重要波段主要集中于可见-近红外光谱区域的540、2176、2225和2268 nm附近,中红外光谱区域的1040、960、910、776、720和668 cm^(–1)附近。因此,中红外光谱技术结合PLSR模型对土壤养分预测效果较好,可快速准确预测土壤TN和TK,可为指导适时施肥提供技术支撑。

基于近红外光谱结合化学计量学的花椒品质快速评价研究

应用近红外光谱技术结合化学计量学建立花椒代表性成分的定量分析模型。采用紫外可见分光光度法测定不同批次花椒总酰胺和总黄酮含量,并测定挥发油含量。采集50批次花椒样品的近红外光谱,应用Kennard-Stone算法划分样本集。进一步采用偏最小二乘回归(partial least squares regression,PLSR)和支持向量机(support vector machine,SVM)建立3个指标的含量预测模型,并比较各模型的性能。不同批次花椒样品总酰胺、总黄酮和挥发油含量分别为10.40%~29.09%、10.33%~24.73%、2.72%~8.04%。近红外光谱分别经MSC、SG平滑、SG平滑+MSC预处理后,应用SVM构建的花椒总酰胺、总黄酮和挥发油定量模型准确度较PLSR高,校正集决定系数(R_(C)^(2))分别为0.818,0.655,0.927,预则集决定系数(R_(P)^(2))分别为0.898,0.856,0.916。文章所建立的近红外光谱结合PLSR和SVM定量测定模型可以实现花椒类调味品的品质快速评价。

利用近红外光谱技术检测固定化脂肪酶酶蛋白含量

利用近红外光谱技术检测固定化脂肪酶的酶蛋白含量,在获得近红外光谱数据后,分别用一阶导数、二阶导数、标准正态变量变换和多元散射校正4种不同预处理方法进行处理,获得最佳的光谱处理方法为标准正态变量变换。利用连续投影算法、竞争性自适应重加权算法、无信息变量消除算法3种不同的波长筛选算法获得特征波长,在此基础上分别用偏最小二乘法、支持向量机回归和BP神经网络3种建模方法建立近红外光谱模型,最终获得最佳的建模方法为标准正态变量变换-支持向量机回归,在此建模条件下,模型决定系数为0.9894,模型均方根误差为0.3178,模型交叉验证决定系数为0.9764,模型交叉验证均方根误差为0.3816,相对分析误差可达6.51。

可见-近红外光谱联合随机蛙跳算法检测生物柴油含水量

生物柴油是一种优质清洁柴油,可从各种生物质中提炼,其特有的优势受到越来越广泛的关注。该文应用可见-近红外光谱技术原理对生物柴油的含水率进行了检测。配置含水率分别为0、2.5%、5.0%、7.5%和10.0%的试验样品并获取可见-近红外光谱,进行主成分分析,观察不同含水率生物柴油的聚类性,并采用Random Frog算法进行特征波段的提取,最后采用随机蛙跳算法(Random Frog)挑选出的特征波段作为偏最小二乘回归(partial least squares regression,PLSR)和最小二乘支持向量机(least squares-support vector machine,LS-SVM)模型的输入量,建立生物柴油含水量的预测模型。结果发现:采用Random Frog提取出的8条特征波段(563、560、642、565、562、493、559和779 nm)所建立非线性模型LS-SVM所得到的结果较好,其中Random Frog-LS-SVM的结果中R均大于0.95,校正集均方根误差RMSEC=0.722,预测集均方根误差RMSEP=0.520。结果表明采用Random Frog-LS-SVM模型可以准确的预测生物柴油的含水量,为实际应用提供参考。

基于近红外光谱波长优选的土壤有机质含量预测研究

近红外光谱技术是检测土壤信息的有效工具,为了提高预测模型的准确度和建模效率,需要对波长进行优选。提出SiPLS-GA-SPA特征波长提取方法,即协同区间偏最小二乘算法(SiPLS)、遗传算法(GA)和连续投影算法(SPA)对土壤有机质特征波长进行梯度提取,最终从1 050个波长中提取9个土壤有机质的特征波长。利用偏最小二乘回归(PLSR)和支持向量机回归(SVMR)建立6种基于特征波长的土壤有机质含量预测模型。结果表明:SiPLS-GA-SPA-SVMR模型的预测结果为RMSEP=1.15,R2=0.91,优于其他模型;SiPLS-GA-SPA特征波长提取方法能够简化预测模型,提高模型预测精度,为开发便携式近红外光谱土壤养分检测仪提供理论基础。

基于LS-SVM的苹果近红外光谱回归模型的研究

提出了一种应用于苹果近红外光谱分析的LS-SVM回归模型;使用基于两层网格搜索的交叉验证算法确定LS-SVM的最优参数(γ,σ2),缩短搜索时间并提高了效率;针对LS-SVM稀疏性的缺乏和鲁棒性的不足,对模型进行优化训练。在不同方差的噪声下,通过优化训练模型的抗干扰能力明显强于常规训练模型;将优化后的LS-SVM模型应用于苹果酸度的预测,利用光纤光谱仪采集苹果近红外吸收光谱作为模型输入,使用酸度计测得苹果测量酸度值作为模型输出;实验结果表明,所建模型的相关系数和均方根误差为0.9615和0.0312,与MLR、PLR、ANN和常规LS-SVM模型比较,优化后的LS-SVM具有更好的回归性能。

基于回归算法与决策树思想的秦艽产地划分

目的:药材产地对药材品质优劣影响很大,不同产地秦艽品质差异较大,使用秦艽样本近红外光谱数据构建模型,实现秦艽样本产地划分。方法:将多元线性回归算法(MLR)、偏最小二乘回归算法(PLS)、支持向量回归算法(SVR)和岭回归算法(RR)与决策树思想相结合对样本进行分类。结果:秦艽数据集包含207个样本,其中107个样本来自甘肃玛曲县,100个秦艽样本来自甘肃临洮县,模型的误判率在0.3%左右。结论:将回归算法与决策树思想相结合的方法可以提高模型的性能,使得算法既拥有回归算法强大的拟合能力,又拥有决策树的分类能力。在秦艽样本数据上得到了很好的分类效果。

赣南脐橙园土壤全磷和全钾近红外光谱检测

为建立一种能够同时快速检测土壤全磷和全钾的定量估计模型,该文采用近红外漫反射技术对赣南脐橙果园的土壤进行研究,对56个土样风干、过筛,然后进行光谱采集和化学分析。光谱经过Savitzky-Golay平滑后再用一阶微分变换的方法进行预处理,分别应用偏最小二乘回归(partial least square regress PLS)、主成分回归(principal component regression PCR)和最小二乘支持向量机(least squares support vector machine LS-SVM)3种方法,在4 000~7 500 cm^(-1)波数范围内,建立赣南脐橙果园土壤全磷和全钾快速定量检测模型。结果发现在建立土壤全磷模型时,PLS和PCR的预测模型效果均不理想,但LS-SVM建立的模型较为理想,其预测相关系数(correlation coefficient of prediction R_P)为0.884,预测集均方根误差(the root mean square error of prediction RMSEP)为0.341,预测相对分析误差(residual predictive deviation RPD)为2.59。在建立土壤全钾模型时,PLS、PCR和LS-SVM建立3种模型效果均理想,其中以LS-SVM模型最理想,其预测相关系数(R_P)为0.971,预测集均方根误差(RMSEP)为0.714,预测相对分析误差(RPD)为5.12。研究表明,采用LS-SVM建立的土壤全磷和全钾模型对实现土壤全磷和全钾含量快速检测具有可行性。

番茄叶片早疫病近红外高光谱成像检测技术

提出了基于格拉姆斯密特（MGS）模型和贝叶斯罗蒂斯克回归（BlogReg）的近红外高光谱成像技术检测番茄叶片早疫病的方法。利用高光谱图像采集系统获取波长874-1 734 nm范围内70个染病和80个健康番茄叶片的高光谱图像,选取染病和健康叶片30像素×30像素感兴趣区域的光谱反射率。建立了番茄叶片早疫病的最小二乘-支持向量机（LS-SVM）识别模型,再通过MGS和BlogReg提取特征波长（EW）,分别得到5个（911、1 409、1 511、1609、1 656 nm）和9个（901、905、908、915、918、1 123、1 305、1 460、1 680 nm）特征波长,并建立EW-LS-SVM和EWLDA模型。在所有模型中,建模集的正确识别率为93%-98%,预测集的正确识别率为96%-100%。结果表明,近红外高光谱成像技术检测番茄叶片早疫病是可行的,MGS和BlogReg都是有效的特征波长提取方法。

基于可见-近红外光谱技术的润滑油含水量无损检测方法研究

研究了基于可见-近红外光谱技术的发动机润滑油含水量快速检测方法。在获取光谱信息的基础上,提出了采用不同的光谱建模方法以提高检测精度和简化分析计算。分别采用主成分分析(PCA)和连续投影算法(SPA)方法进行模型输入变量的提取。SPA最终选择了476,483,544,925,933,938,952,970和974nm共9个波长为最优变量。基于SPA选择的变量,分别应用偏最小二乘回归(PLSR)和多元线性回归(MLR)建模。效果均优于全波段PLSR模型和PCA-PLSR模型。说明SPA选择的有效变量能够包含最重要的全波段光谱信息,同时可以去除无用的信息变量。为了进一步提高检测效果,采用LS-SVM分别基于SPA选择后的有效变量和全波段光谱进行建模。两个模型的预测确定系数(Rp2)均在0.9以上。SPA-LS-SVM的效果要优于全波段LS-SVM模型的效果。SPA-LS-SVM模型的Rp2达到了0.983,剩余预测偏差(RPD)值为6.963。表明可见-近红外光谱可以用于发动机润滑油含水量的检测。

基于可见/近红外光谱分析技术的猪肉肉糜品质检测研究

以225个猪肉肉糜样本为研究对象,利用可见/近红外光谱分析技术对猪肉肉糜主要品质指标的的快速检测进行了研究。光谱经小波去噪后,采用偏最小二乘法和支持向量机定量分析方法分别建立了肉糜中肌内脂肪、蛋白质和水分含量的可见/近红外光谱预测模型。其中,肌内脂肪的支持向量机定量预测模型最优,校正相关系数rcal和预测相关系数rval为0.889和0.888;蛋白质的偏最小二乘定量预测模型最优,校正相关系数rcal和预测相关系数rval为0.869和0.881;水分的偏最小二乘定量预测模型最优,校正相关系数rcal为0.877,预测相关系数rval为0.848,所有模型的预测相对分析误差(RPD)均小于3.0。研究表明,可见/近红外光谱分析技术可用来检测猪肉肉糜品质,进一步提高所建模型的精度和稳定性可应用于实际检测。

近红外光谱和模式识别技术在西湖龙井与浙江龙井茶叶鉴别中的应用

为了鉴别西湖龙井和浙江龙井茶叶,采用近红外光谱分析技术结合化学计量学方法建立了识别模型。先对原始光谱进行标准正态变换(Standard Normal Variant,SNV)预处理,然后分别采用最小二乘判别分析(Partial Least Square Regression-discriminantAnalysis,PLS-DA)、最小二乘支持向量机(Least Square Support Vector Machine,LSSVM)和径向基人工神经网络(Radial Basis Function Neural Network,RBFNN)三种模型对西湖龙井和浙江龙井茶叶进行预测。最小二乘支持向量机参数通过网格搜索和完全交叉验证得到优化。经优化后,惩罚系数(γ)和核函数参数(δ~2)分别为229.1和124.9;RBFNN最佳隐藏层神经元个数为27个。通过比较可知,LSSVM的预测性能最好,其校正集均方根误差(RMSECV)和相关系数(R^2)分别为0和1,验证集均方根误差(RMSEP)和相关系数(R^2)也分别为0和1,分辨正确率为100%。

基于可见-近红外光谱技术的制动液品牌混掺比例快速无损检测方法

研究了基于可见-近红外光谱技术的制动液品牌混掺比例快速无损检测方法。全波段建立的偏最小二乘回归(PLSR)和最小二乘支持向量机(LS-SVM)模型均得到了较好的预测结果。这两个模型的建模集和预测集的确定系数(r_c^2和r_p^2)均在0.98以上。采用连续投影算法(SPA)挖掘特征波长,最终选择了439nm、443nm、459nm、519nm、570nm、717nm、896nm和902nm共8个波长作为最优变量。基于SPA选择的变量建立的PLSR和LS-SVM模型的r_c^2和r_p^2均在0.97以上,能够满足实际应用的需要。研究结果表明,可见-近红外光谱可以用于制动液品牌混掺比例快速无损检测。

基于近红外光谱技术和LSPTSVM模型的镉污染贻贝检测研究

贝类重金属污染已成为亟待解决的海洋食品安全问题,镉是重要的污染源之一。食用被重金属镉污染的翡翠贻贝会严重危害身体健康。研究了基于近红外反射光谱的镉污染贻贝无损、快速检测方法。通过采集正常贻贝和镉污染贻贝的950~1700 nm光谱数据,构建基于最小二乘投影孪生支持向量机(least squares projection twin support vector machine, LSPTSVM)检测模型,优化模型参数和正交投影轴数量获得最佳检测性能。提出的LSPTSVM模型检测镉污染贻贝准确率达到99.50%,优于其他孪生支持向量机模型。LSPTSVM模型适用于小样本数据集。针对难以获得大量镉污染训练样本情况,LSPTSVM模型较其他模型具有更好的稳健性。结果表明:近红外光谱结合LSPTSVM模型可实现镉污染贻贝检测,为贝类的品质评价和安全检测提供一种新的方法。

LS-SVM的非线性特征提取新方法及与PCA的关系研究

提出一种基于最小二乘支持向量机(LS-SVM)的非线性特征提取新方法.先将线性特征提取公式表达成与LS-SVM回归算法中相同的形式;再根据SVM思想,将数据集由输入空间映射到高维特征空间,进而通过核技巧实现非线性特征提取.在理论上证明了所提特征提取方法的结果与PCA方法具有一致性,是传统PCA的一种对偶形式,更适合高维特征数据集的提取.最后,通过近红外光谱数据集特征提取实例验证了在上述条件下该方法的优越性.

基于PCA-SVMR快速测定复方氯丙那林和对乙酰氨基酚

基于主成分分析-支持向量机回归(PCA-SVMR)方法,利用近红外光谱技术研究了复方氯丙那林和复方对乙酰氨基酚两种模型制剂有效组分的快速同时测定,建立了它们的多元校正模型,并以传统的稳健方法偏最小二乘回归(PLSR)为基础考察了PCA-SVMR方法对于小样本药物体系的拟合能力、预测能力和模型稳定性。研究表明,PLSR的预测能力必须以强拟合能力为前提,PCA-SVMR则没有这样的要求,使前者对校正样本的依赖性远强于后者,从而在小样本药物体系中前者的稳定性大大弱于后者,该两种药物制剂的PCA-SVMR多元校正模型的测定准确度总体上优于PLSR。

四种TSVR型学习算法的性能比较

我们知道,基于SVR的学习算法的计算复杂性和稀疏性对分析和处理大数据来说是非常重要的两个因素,尤其是对高维数据.为此,学者们做了大量的研究工作并提出了许多改进的SVR型算法.它们当中,有些算法的出发点基本相同,只是求解方法上略有不同;有些算法有明显不同的出发点,其所构建的最优化模型也不相同,但求解方法上大同小异.本文选择四个较具代表性的TSVR型学习算法,分析和比较它们的性能,以期更加深入的理解这些算法,且在应用中更具有选择性.