面向XRF的竞争性自适应重加权算法和粒子群优化的支持向量机定量分析研究

研究高效、准确、便捷的土壤重金属检测方法对于了解土壤的污染状况以及开展污染防治工作具有重要的意义。由于X射线荧光光谱分析(XRF)技术具备快速、准确、无损检测、样品制备简单等优势,在土壤重元素定量检测获得广泛应用。XRF仪器测试标准样品的荧光光谱并建立校准曲线,通过反演计算得到待测样品的元素含量。由于样品元素间存在基体效应,以及荧光谱特征峰存在叠加干扰,未经优化的校准曲线的线性度较差,这给反演计算来困难。为了解决上述问题,分别利用小波变换、非对称加权惩罚最小二乘法(arPLS)对光谱进行去噪和扣除本底基线,提高校准曲线的决定系数(R2);运用竞争性自适应重加权算法(CARS),针对不同目标元素优化变量选取;进一步地,基于选取的变量建立粒子群算法(PSO)优化的支持向量机回归(SVR)模型,并通过该模型反演计算各元素含量,提高定量分析的准确度和预测的泛化能力。实验结果显示,经过小波去噪和arPLS本底扣除后的校准曲线的决定系数(R2)有明显提升,Cr、Cu、Zn、As、Pb分别从0.965、0.979、0.971、0.794、0.915提高为0.979、0.987、0.981、0.828、0.953;通过CARS选取的谱线变量的个数大幅度减少,从2 048个通道降低到30个以下,为原来变量个数的1.5%,提高了变量选择的精准性;与偏最小二乘法(PLS)、未优化的SVR模型进行对比,采用CARS变量选择和PSO优化的SVR模型进行含量预测,训练集RC2与测试集RP2的决定系数分别在0.99、0.90以上,预测准确性有明显提高。因此,所提出的竞争性自适应重加权算法和PSO优化的SVR定量分析模型对于土壤重金属元素定量分析具有较好的理论指导和应用价值。

竞争性自适应重加权算法和相关系数法提取特征波长检测番茄叶片真菌病害

基于竞争性自适应重加权算法(CARS)和相关系数法(CA)特征波长选择方法,提出了利用可见-近红外高光谱成像技术检测番茄叶片灰霉病的方法。首先获取380~1 023nm波段范围内80个染病和80个健康番茄叶片的高光谱图像,然后提取染病和健康叶片感兴趣区域(ROI)的光谱反射率值,作为番茄叶片灰霉病鉴别模型的输入来建立支持向量机(SVM)鉴别模型,训练集和验证集的鉴别率都是100%。研究进一步通过CARS和CA提取特征波长,分别得到5个(554,694,696,738和880nm)和4个(527,555,571和633nm)特征波长,然后分别建立CARS-SVM和CA-SVM鉴别模型。结果显示,CARS-SVM模型中训练集和验证集的鉴别率都是100%,CA-SVM模型中训练集和验证集的鉴别率分别是91.59%和92.45%。以上结果说明了从可见-近红外高光谱图像中提取的光谱反射率值用于检测番茄叶片的灰霉病是可行的。

中红外光谱技术结合竞争性自适应重加权算法快速分析白酒风味组分

采用中红外光谱分析技术结合竞争性自适应重加权算法(CARS)对浓香型白酒基酒中的乳酸乙酯和乙酸乙酯的特征波长变量进行筛选后,建立偏最小二乘法(PLS)模型,并对其进行验证。结果表明,采用中红外光谱分析技术剔除明显噪声区域建立的PLS模型效果较好,而经CARS法进行特征波长选择后建立的CARS-PLS模型效果优于PLS模型,乙酸乙酯和乳酸乙酯的CARS-PLS模型相关系数R^(2)分别为0.995、0.989,预测均方根误差(RMSEP)分别为12.80、4.54,相对分析误差(RPD)分别为8.78及8.60,模型经独立验证均取得了较高的预测精度,验证数据相关系数R^(2)分别为0.994及0.992,RMSEP分别为13.55及4.86。该模型有较高的准确度及稳定性,能够用于白酒基酒中的乳酸乙酯和乙酸乙酯的快速分析,可为白酒酿造过程的质量把控提供技术方法。

基于CARS和1D-CNN联合的XRF土壤重金属超标分析方法研究

随着社会现代化进程的迈进,愈加频繁的人类活动加剧了土壤重金属污染。当土壤中重金属元素含量超过风险筛选值时,会经过食物链摄入人体,过量的重金属累积对人体健康造成损害。筛选出具有重金属污染风险的土壤是治理土壤污染的重要环节。采用X射线荧光(XRF)光谱仪获取了59份国家标准土壤样品的光谱数据,然后对其进行小波阈值去噪和迭代离散小波变换本底扣除等预处理;运用基于竞争性自适应重加权采样(CARS)算法对土壤中的重金属元素进行谱线筛选;将筛选后的结果作为模型的输入,通过建立1D-CNN模型预测土壤样本是否具有重金属污染的风险。实验结果显示,通过CARS算法采样后的特征通道数大幅度减少,Ni、Cu、As、Pb元素从原来的2048个特征点分别减少为37、53、37、45个,为原来通道数的1.81%~2.59%。相较于不筛选和连续投影(SPA)筛选方法,结合CARS算法的1D-CNN模型在判断土壤样品是否有Ni、Cu、As、Pb元素污染风险时的准确率分别可以达到96.67%,93.22%,91.67%,88.33%。经CARS筛选,1D-CNN比偏最小二乘回归(PLSR)方法在预测准确性方面有明显优势。提出的CARS-1D-CNN算法在提高模型预测准确率的同时减少了模型的计算量,对于XRF光谱土壤重金属元素污染风险筛选具有较好的理论指导和应用价值。

窗口竞争性自适应重加权采样策略的近红外特征变量选择方法

通过消除光谱中的冗余信息变量,挑选出代表样品性质的特征变量代替全谱建立定量模型,可以提高近红外分析结果的准确性。基于进化论中适者生存原理的竞争性自适应重加权采样(CARS)算法因具有计算速度快、筛选得到的特征波长少等优点,在近红外特征变量筛选方面得到了广泛的应用。然而该方法在计算过程中容易出现校正集和验证集结果不一致情况。这是因为算法过于强调校正集交叉验证结果,且并未考虑相邻变量之间的协同作用。为了建立更加稳健的变量筛选方法,通过结合"窗口"以及CARS算法的优势,提出了一种基于窗口竞争性自适应重加权采样(WCARS)策略的近红外特征变量筛选方法,并将其应用于复杂植物样品近红外光谱与其化学成分含量之间的建模分析。采用WCARS方法可以实现准确定量分析,且通过与竞争性自适应重加权采样(CARS)方法结果相比较, WCARS方法得到的校正集和预测集结果一致,在一定程度上减少了过拟合问题的出现。该策略能有效增强特征变量选择的稳健性,提高了定量模型的可信度,具有一定的应用价值。

基于连续小波变换耦合CARS算法的冬小麦冠层叶片含水量估算

为实现干旱地区冬小麦冠层叶片含水量的快速测定,以陕西省乾县为研究区,基于野外冬小麦冠层高光谱数据和实测叶片含水量,对原始光谱进行连续小波变换(continuous wavelet transform,CWT)后得到的小波能量系数与实测含水量进行相关性分析;并通过竞争性自适应重加权采样(competitive adaptive reweighted sampling,CARS)过滤冗余变量,筛选与叶片含水量相关性较好的波长变量,作为优选变量集;通过粒子群算法(particle swarm optimization,PSO)对BP神经网络模型进行优化,构建冠层叶片含水量预测模型并进行分析。结果表明,从尺度1到尺度10,小波系数与冬小麦叶片含水量整体相关性先升后降,中等分解尺度在光谱波段去除噪声、提高相关性方面最佳;基于CARS优选变量集所建的两种模型中,BP-PSO模型预测能力明显优于普通BP神经网络模型,其决定系数可达0.82,均方根误差为0.86%,相对误差为0.82%。这说明CWT-CARS-BP-PSO耦合算法在提升相关性、过滤冗余波段、提高模型预测精度方面效果显著,可用于冬小麦叶片含水量预测。

基于CARS-SPA特征提取的黄水淀粉近红外光谱定量模型优化

为提高白酒固态发酵的副产物黄水中淀粉含量预测模型精度和建模效率。采用傅里叶变换近红外光谱仪采集黄水光谱信息,利用一阶导数对光谱进行预处理,并结合偏最小二乘回归(partial least squares regression,PLSR)建立黄水淀粉定量预测模型。使用决定系数(R^(2))和预测均方误差(root mean square error of prediction,RMSEP)评价模型性能。光谱中含有大量冗余信息,为有效提升黄水淀粉含量检测精度和优化模型效率,将不同特征提取方法的优点结合,发现使用竞争性自适应重加权算法(competitive adaptive reweighted sampling,CARS)结合连续投影算法(successive projections algorithm,SPA)提取的光谱特征所建立的PLSR模型,相较于未使用特征提取或仅使用单一特征提取所建立的模型均有明显提升。在单一使用CARS时,模型的R^(2)为0.9654,RMSEP为0.2012%,而结合SPA后,R2为0.9738,RMSEP为0.1748%。此外,光谱维度从2203个减少到了126个,不仅提高了预测精度,也提升了建模效率。本研究提出的方法可作为黄水近红外定量模型优化的有效途径。

优化CARS结合PSO-SVM算法农田土壤重金属砷含量高光谱反演分析

土壤重金属污染是由于人类活动导致重金属物质大量残留在土壤中,超过土壤环境承载力,这种现象将造成土壤质量退化、生态环境恶化。高光谱遥感可以实现图谱合一,能有效地识别出土壤中不同元素的异常情况。为实现农田土壤重金属高效、准确监测,提出了一种特征提高型竞争性自适应重加权算法(CARS)选取特征波段的粒子群算法(PSO)优化支持向量机(SVM)农田土壤重金属砷(As)含量高光谱估测分析方法。利用CARS对暗室实测光谱值进行粗选;利用一阶导数(FD)、高斯滤波(GF)、归一化(N)进行特征提高;在特征精选阶段利用皮尔逊相关系数(PCC)求取预处理后的光谱指标与土壤重金属As之间的相关系数,获取相关性大于0.6的波段作为特征波段;最后利用PSO对SVM所选择的核函数σ和正则化参数γ进行优化,以均方根误差(RMSE)作为适应度函数,通过迭代最优适应度得到SVM最优参数值。选择江汉平原典型区域洪湖市燕窝镇的土壤为研究对象,预测结果表明基于PSO-SVM算法其验证集的决定系数R 2为0.9823,均方根误差RMSE为0.5216,平均绝对误差MAE为0.4164。主要结论如下:PSO算法优化SVM参数,通过迭代更新个体极值和群体极值,可以迅速获取全局最优解,与支持向量机回归(SVMR)和随机森林回归(RFR)相比,在预测精度有了较大的提高;特征提高型CARS算法可以有效剔除无关信息,提高相关性,且选取波段少,模型简单,大大提高了效率;可以实现土壤污染预警、满足精准农业需求、为后期重金属污染土地生态修复提供数据基础。

近红外高光谱图像结合CARS算法对鸭梨SSC含量定量测定

高光谱数据量大、维数高且原始光谱噪声明显、散射严重等特征导致光谱建模时关键波长变量提取困难。基于此,提出采用竞争性自适应重加权算法(CARS)对近红外高光谱数据进行关键变量选择。鸭梨作为研究对象。采用决定系数r2、预测均方根误差RMSEP和验证集标准偏差和预测集标准偏差的比值RPD值进行模型性能评估。基于选择的关键变量建立PLS模型(CARS-PLS)与全光谱变量建立的PLS模型进行比较发现CARS-PLS模型仅仅使用原始变量中15.6%的信息获得了比全变量PLS模型更好的鸭梨SSC含量预测结果,r2pre,RMSEP和RPD分别为0.908 2,0.312 0和3.300 5。进一步与基于蒙特卡罗无信息变量MC-UVE和遗传算法(GA)获得的特征变量建立的PLS模型比较发现,CARS不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,该方法能够有效地用于高光谱数据变量的选择。结果表明,近红外高光谱技术结合CARS-PLS模型能够用于鸭梨可溶性固形物SSC含量的定量预测。从而为基于近红外高光谱技术预测水果内部品质的研究提供了参考。

高光谱技术结合CARS算法预测土壤水分含量

高光谱技术已成为预测土壤含水量（soil moisture content,SMC）的重要方法,但因土壤高光谱中包含了大量冗余信息和无效信息,不仅导致SMC的高光谱估算模型复杂度高,而且影响了模型的预测精度。因此,该研究在室内设计SMC梯度试验,测定土壤高光谱反射率,经Savitzky-Golay平滑（Savitzky-Golay smoothing,SG）和连续统去除（continuum removal,CR）预处理后,基于竞争适应重加权采样（competitive adaptive reweighted sampling,CARS）方法分别优选出土壤在全部SMC的水分敏感波长变量,确定适用于土壤在全部SMC的共性波长变量,以其为优选变量集,采用偏最小二乘（partial least squares regression,PLSR）回归方法建立模型并进行验证。结果表明,SG和CR预处理后的光谱曲线在450、1 400、1 900、2 200 nm附近吸收峰的形状特征凸显;基于CARS方法对土壤在不同SMC的光谱曲线进行变量优选后,得出优选变量集为443～449、1 408～1 456、1 916～1 943、2 209～2 225 nm;CARS-PLSR模型性能优于全波段PLSR模型,模型预测R2、均方根误差、相对分析误差分别为0.983、0.0144、8.36,不仅提升了预测精度和预测能力,而且降低了变量维度和模型复杂度。该文通过优选土壤水分的敏感波段,有效提高了SMC预测模型的鲁棒性,为快速准确评估农田墒情提供了新途径,为开发田间SMC测定传感器提供了理论依据。

CARS-SPA算法结合高光谱检测马铃薯还原糖含量

以竞争性重加权自适应选择算法(CARS)结合连续投影算法(SPA)选择马铃薯还原糖含量特征波长,共制备238个样本,比色法测定马铃薯还原糖含量,选择190个样本作校正集,48个样本作验证集,与全光谱和经典变量提取方法比较。结果表明,CARS-SPA算法筛选波段效果最佳,相比于全谱建模其参与建模波长点由203个减少到17个,模型验证集决定系数r^2由0.8464提高到0.8965,均方根误差(RMSEP)由0.0758降到0.0490。结果表明,采用CARS-SPA结合高光谱成像技术检测马铃薯还原糖含量结果可行。

基于高光谱和CARS-IRIV算法的‘库尔勒香梨’可溶性固形物含量检测

[目的]利用高光谱技术实现‘库尔勒香梨’可溶性固形物含量的有效无损检测具有重要意义,但是高光谱数据通常噪声明显,大量无关信息变量和冗余信息变量的存在降低了模型的预测精度。本文旨在探究对高光谱数据特征变量筛选的有效方法来实现‘库尔勒香梨’可溶性固形物含量的快速检测。[方法]以‘库尔勒香梨’可溶性固形物含量(SSC)为研究指标,利用高光谱成像技术采集样本400~1 000 nm波长的漫反射光谱,对样本感兴趣区域(ROI)的光谱进行预处理,分别采用竞争性自适应重加权算法(CARS)、迭代保留信息变量算法(IRIV)以及CARS-IRIV算法筛选特征变量,基于不同筛选方法分别建立偏最小二乘(PLS)与最小二乘支持向量机(LS-SVM)预测模型,以预测集相关系数(Rp)、预测均方根误差(RMSEP)和预测相对分析误差(RPD)值对模型进行评价。[结果]CARS-IRIV算法可以有效减少CARS算法提取的变量个数,并稳定模型预测精度。LS-SVM模型预测结果优于PLS模型,在LS-SVM模型中CARS-IRIV-LS-SVM预测精度最高,Rp、RMSEP和RPD值分别为0.889、0.300和2.823。[结论]CARS-IRIV是一种有效的高光谱特征变量筛选算法,在提高预测精度的同时简化了模型的运算,CARS-IRIV-LS-SVM模型结合高光谱成像技术可以对‘库尔勒香梨’SSC进行快速有效的无损检测。

基于sCARS-RF算法的高光谱估算土壤有机质含量

针对土壤高光谱数据量大、存在光谱信息冗余和重叠现象,应用稳定竞争性自适应重加权采样策略挑选特征变量,结合偏最小二乘回归和随机森林建立土壤有机质含量估算模型,并与竞争性自适应重加权算法、迭代保留有效信息变量、连续投影算法和遗传算法所得结果进行比较。结果显示,5种变量选择算法挑选的特征变量主要分布在1900~2400nm的近红外光谱区域。RF模型的预测效果优于PLSR模型;与PLSR模型相比,RF模型鲁棒性更好,对异常值和噪声的敏感度更低。基于sCARS算法挑选的特征变量建立RF模型,变量数为51个,仅占全波段的2.55%,验证集R^2=0.958,获得的RPD为4.7,能够很好地预测SOM含量。

小波变换耦合CARS算法提高土壤水分含量高光谱反演精度

为实现干旱地区土壤水分含量(soil moisture content,SMC)的快速监测,该文以渭干河-库车河绿洲为靶区,采用小波变换(wavelet transform,WT)对反射光谱进行1~8层小波分解,通过相关性分析确定最大分解层数,再通过竞争性自适应重加权(competitive adaptive reweighted sampling,CARS)滤除冗余变量,筛选出与SMC相关性较好的波长变量,并叠加各层特征光谱的优选波长变量作为最优变量集,用偏最小二乘回归(partial least squares regression,PLSR)构建土壤水分含量预测模型并进行分析。结果显示:1)小波分解过程中,土壤反射率与SMC的相关性不断增强,到小波变换第6层分解(L6)处达到最高,因此小波变换最大分解层数为6层分解;2)通过对土样进行WT-CARS耦合算法筛选出变量,得出的最优变量集包括400~500、1 320~1 461、1 851~1 961、2 125~2 268 nm区域之间共131个波长变量;3)相对于全波段预测模型,各层特征光谱的CARS优选变量预测模型的精度均高,并且基于最优变量集的预测模型的精度最高,该模型的建模集均方根误差0.021、建模集决定系数0.721、预测集均方根误差0.028、预测集决定系数0.924、相对分析误差2.607。说明WT-CARS耦合算法使其在建立模型时尽可能少地损失光谱细节、较为彻底的去除噪声,同时还能对无信息变量进行有效去除,为该研究区SMC的预测提供新的思路。

基于AIRF-CARS波段选择算法的橡胶树叶片氮含量定量研究

以橡胶树叶片的近红外光谱信息为分析对象,运用由粗放到细致的多分辨率特征提取思想,提出了一种融合自适应间隔随机蛙与竞争自适应重加权采样(AIRF-CARS)的算法提取橡胶树叶片的光谱特征信息,从而实现了橡胶树叶片氮含量的定量分析.实验结果表明,AIRF-CARS算法有效的压缩了光谱特征的数量,通过算法选择的特征波长为22个,使得定量分析模型的预测均方根误差(RMSEP)和决定系数(R2)分别为0.1364%和0.9596.因此,本文算法可以有效地提取信息量较大的波长特征,应用于近红外光谱检测的定量分析中,并为便携式田间多波段光谱仪的研发提供理论支撑.

基于SG-CARS-IBP的圣女果可溶性固形物可见/近红外光谱无损检测

圣女果可溶性固形物(SSC)含量对圣女果内部品质影响至关重要,但基于高光谱成像及介电性质特征的SSC检测技术存在局限性,且目前鲜见圣女果SSC无损检测模型。为实现圣女果SSC的无损检测,提出基于圣女果可见/近红外光谱特征的SCC预测模型构建,及改进的BP神经网络算法研究,以期解决圣女果内部品质的快速无损检测。以圣女果为研究对象,试验样本188个,将其划分为训练集150个和测试集38个,采用可见/近红外光谱采集系统获取350~1000 nm范围内的圣女果表面反射强度,经光谱校正得样本反射率,为增强信噪比,截取481.15~800.03 nm范围内的光谱波段作为有效波段进行分析。通过对比三种预处理模型,对有效波段进行SG平滑(Savitzky-Golay Smoothing)预处理,建立BP神经网络预测模型,测试集决定系数(R^(2))和均方根误差(RMSE)分别为0.5785和0.5639;在此基础上,对BP神经网络的网络结构进行改进,寻求BP神经网络最优预测结构,计算输出层与期望值间误差,调整网络结构参数,将隐含层学习率和神经元个数分别设置为0.01和5,建立改进的BP神经网络模型(SG-IBP),测试集R^(2)和RMSE分别为0.9812和0.1023;通过竞争自适应重加权采样算法(CARS)筛选出18个特征波段,测试集R^(2)和RMSE分别为0.9978和0.0479,同时检测速度显著提升。研究结果表明:经过改进的BP神经网络模型性能明显提高,通过CARS提取特征波段后,测试集R^(2)提高了0.4193,RMSE降低了0.516,检测速度明显提升。采用CARS提取特征波段的改进BP神经网络模型(SG-CARS-IBP)具有明显的优越性,SG-CARS-IBP模型较为适合圣女果SSC无损检测研究。该研究可为圣女果SCC的高效无损检测提供参考。

基于CARS-SAA的土壤铵态氮含量高光谱反演

利用高光谱技术对河套灌区土壤铵态氮含量检测过程中,为降低高光谱数据中存在的冗余变量信息对模型预测精度的影响。本文针对河套灌区土壤铵态氮含量提出了一种竞争性自适应重加权算法(CARS)和模拟退火算法(SAA)相结合的特征变量筛选方法,并建立偏最小二乘回归(PLSR)和随机森林回归(RF)相结合的预测模型(PLSR-RF、RF-PLSR)。结果表明,CARS-SAA能有效筛选变量个数和减小计算量,并稳定模型预测精度。其中,CARS-SAA-PLSR-RF模型的预测精度最佳,验证集的决定系数R 2为0.902、均方根误差RMSE为1.583mg·kg^(-1)、相对分析误差RPD为3.198。具有很好的预测效果,可知CARS-SAA是一种有效的高光谱特征变量筛选方法,在提高预测精度的同时简化了模型的运算。该模型结合高光谱技术可以对河套灌区土壤铵态氮含量进行快速有效的无损检测。

自适应权重更新的两步定位算法

在室内环境中,影响定位精度的测量误差包括接收设备自身引起的误差以及信号非视距传播和多径效应所引起的测量正偏差。针对室内环境中测量数据包含测量误差服从正均值高斯分布的特性,提出了一种自适应权重更新的两步定位算法。该算法使用卡尔曼滤波和自适应权重更新的加权最小二乘算法进行两步定位,通过对每个测量距离分配不同的权重,克服了固定权重分配需在特定环境下方能获得良好定位精度的缺点。仿真结果表明,该算法定位精度优于两步定位算法和EKF算法,且对环境适应性更强。

鲸鱼算法改进极限学习机的葡萄酒品质评价研究

[目的]解决近红外光谱中冗余信息过多的问题,提升葡萄酒品质评价模型的准确性,并构建一种快速无损的葡萄酒品质评价方法。[方法]运用竞争性自适应重加权采样法进行特征波长筛选,提出了鲸鱼算法改进极限学习机的葡萄酒品质评价模型。通过自适应重加权采样法等多种特征波长筛选方法,确定了最适用于葡萄酒光谱特征波长筛选的方法;针对ELM的初值权值与隐含层偏置选取问题,利用鲸鱼优化方法对初值权值与隐含层偏置进行优化,从而构建了一种基于鲸鱼优化算法改进的极限学习机葡萄酒品质评价模型。[结果]与GA-ELM、PSO-ELM和传统的ELM模型相比,WOA-ELM的准确率最高,达到了0.9445,GA-ELM的准确率为0.9290,PSO-ELM的准确率为0.9061,传统的ELM方法准确率为0.8177。[结论]通过智能算法优化ELM模型的参数,可以有效提高葡萄酒品质评价的准确性。

基于自适应权重的RFID室内定位算法

针对复杂环境下室内定位稳定性差和误差大的问题,提出基于自适应权重的RFID室内定位算法.根据误差分布特性,采用马氏距离构造基于正态分布的权重函数,自适应赋予每个样本不同的权重;对加权最小二乘支持向量机建立惩罚系数和核函数参数组合的目标函数;采用粒子群优化算法(PSO)优化最优目标函数,利用混沌粒子的随机性和遍历性,将混沌寻优的最优解代替粒子群寻优的最优解,避免陷入局部最优,提高定位精度.仿真实验结果表明,该算法在室内定位中精度更高,定位更稳定.