面向XRF的竞争性自适应重加权算法和粒子群优化的支持向量机定量分析研究

研究高效、准确、便捷的土壤重金属检测方法对于了解土壤的污染状况以及开展污染防治工作具有重要的意义。由于X射线荧光光谱分析(XRF)技术具备快速、准确、无损检测、样品制备简单等优势,在土壤重元素定量检测获得广泛应用。XRF仪器测试标准样品的荧光光谱并建立校准曲线,通过反演计算得到待测样品的元素含量。由于样品元素间存在基体效应,以及荧光谱特征峰存在叠加干扰,未经优化的校准曲线的线性度较差,这给反演计算来困难。为了解决上述问题,分别利用小波变换、非对称加权惩罚最小二乘法(arPLS)对光谱进行去噪和扣除本底基线,提高校准曲线的决定系数(R2);运用竞争性自适应重加权算法(CARS),针对不同目标元素优化变量选取;进一步地,基于选取的变量建立粒子群算法(PSO)优化的支持向量机回归(SVR)模型,并通过该模型反演计算各元素含量,提高定量分析的准确度和预测的泛化能力。实验结果显示,经过小波去噪和arPLS本底扣除后的校准曲线的决定系数(R2)有明显提升,Cr、Cu、Zn、As、Pb分别从0.965、0.979、0.971、0.794、0.915提高为0.979、0.987、0.981、0.828、0.953;通过CARS选取的谱线变量的个数大幅度减少,从2 048个通道降低到30个以下,为原来变量个数的1.5%,提高了变量选择的精准性;与偏最小二乘法(PLS)、未优化的SVR模型进行对比,采用CARS变量选择和PSO优化的SVR模型进行含量预测,训练集RC2与测试集RP2的决定系数分别在0.99、0.90以上,预测准确性有明显提高。因此,所提出的竞争性自适应重加权算法和PSO优化的SVR定量分析模型对于土壤重金属元素定量分析具有较好的理论指导和应用价值。

中红外光谱技术结合竞争性自适应重加权算法快速分析白酒风味组分

采用中红外光谱分析技术结合竞争性自适应重加权算法(CARS)对浓香型白酒基酒中的乳酸乙酯和乙酸乙酯的特征波长变量进行筛选后,建立偏最小二乘法(PLS)模型,并对其进行验证。结果表明,采用中红外光谱分析技术剔除明显噪声区域建立的PLS模型效果较好,而经CARS法进行特征波长选择后建立的CARS-PLS模型效果优于PLS模型,乙酸乙酯和乳酸乙酯的CARS-PLS模型相关系数R^(2)分别为0.995、0.989,预测均方根误差(RMSEP)分别为12.80、4.54,相对分析误差(RPD)分别为8.78及8.60,模型经独立验证均取得了较高的预测精度,验证数据相关系数R^(2)分别为0.994及0.992,RMSEP分别为13.55及4.86。该模型有较高的准确度及稳定性,能够用于白酒基酒中的乳酸乙酯和乙酸乙酯的快速分析,可为白酒酿造过程的质量把控提供技术方法。

竞争性自适应重加权算法和相关系数法提取特征波长检测番茄叶片真菌病害

基于竞争性自适应重加权算法(CARS)和相关系数法(CA)特征波长选择方法,提出了利用可见-近红外高光谱成像技术检测番茄叶片灰霉病的方法。首先获取380~1 023nm波段范围内80个染病和80个健康番茄叶片的高光谱图像,然后提取染病和健康叶片感兴趣区域(ROI)的光谱反射率值,作为番茄叶片灰霉病鉴别模型的输入来建立支持向量机(SVM)鉴别模型,训练集和验证集的鉴别率都是100%。研究进一步通过CARS和CA提取特征波长,分别得到5个(554,694,696,738和880nm)和4个(527,555,571和633nm)特征波长,然后分别建立CARS-SVM和CA-SVM鉴别模型。结果显示,CARS-SVM模型中训练集和验证集的鉴别率都是100%,CA-SVM模型中训练集和验证集的鉴别率分别是91.59%和92.45%。以上结果说明了从可见-近红外高光谱图像中提取的光谱反射率值用于检测番茄叶片的灰霉病是可行的。

窗口竞争性自适应重加权采样策略的近红外特征变量选择方法

通过消除光谱中的冗余信息变量,挑选出代表样品性质的特征变量代替全谱建立定量模型,可以提高近红外分析结果的准确性。基于进化论中适者生存原理的竞争性自适应重加权采样(CARS)算法因具有计算速度快、筛选得到的特征波长少等优点,在近红外特征变量筛选方面得到了广泛的应用。然而该方法在计算过程中容易出现校正集和验证集结果不一致情况。这是因为算法过于强调校正集交叉验证结果,且并未考虑相邻变量之间的协同作用。为了建立更加稳健的变量筛选方法,通过结合"窗口"以及CARS算法的优势,提出了一种基于窗口竞争性自适应重加权采样(WCARS)策略的近红外特征变量筛选方法,并将其应用于复杂植物样品近红外光谱与其化学成分含量之间的建模分析。采用WCARS方法可以实现准确定量分析,且通过与竞争性自适应重加权采样(CARS)方法结果相比较, WCARS方法得到的校正集和预测集结果一致,在一定程度上减少了过拟合问题的出现。该策略能有效增强特征变量选择的稳健性,提高了定量模型的可信度,具有一定的应用价值。

自适应权重更新的两步定位算法

在室内环境中,影响定位精度的测量误差包括接收设备自身引起的误差以及信号非视距传播和多径效应所引起的测量正偏差。针对室内环境中测量数据包含测量误差服从正均值高斯分布的特性,提出了一种自适应权重更新的两步定位算法。该算法使用卡尔曼滤波和自适应权重更新的加权最小二乘算法进行两步定位,通过对每个测量距离分配不同的权重,克服了固定权重分配需在特定环境下方能获得良好定位精度的缺点。仿真结果表明,该算法定位精度优于两步定位算法和EKF算法,且对环境适应性更强。

鲸鱼算法改进极限学习机的葡萄酒品质评价研究

[目的]解决近红外光谱中冗余信息过多的问题,提升葡萄酒品质评价模型的准确性,并构建一种快速无损的葡萄酒品质评价方法。[方法]运用竞争性自适应重加权采样法进行特征波长筛选,提出了鲸鱼算法改进极限学习机的葡萄酒品质评价模型。通过自适应重加权采样法等多种特征波长筛选方法,确定了最适用于葡萄酒光谱特征波长筛选的方法;针对ELM的初值权值与隐含层偏置选取问题,利用鲸鱼优化方法对初值权值与隐含层偏置进行优化,从而构建了一种基于鲸鱼优化算法改进的极限学习机葡萄酒品质评价模型。[结果]与GA-ELM、PSO-ELM和传统的ELM模型相比,WOA-ELM的准确率最高,达到了0.9445,GA-ELM的准确率为0.9290,PSO-ELM的准确率为0.9061,传统的ELM方法准确率为0.8177。[结论]通过智能算法优化ELM模型的参数,可以有效提高葡萄酒品质评价的准确性。

基于自适应权重的RFID室内定位算法

针对复杂环境下室内定位稳定性差和误差大的问题,提出基于自适应权重的RFID室内定位算法.根据误差分布特性,采用马氏距离构造基于正态分布的权重函数,自适应赋予每个样本不同的权重;对加权最小二乘支持向量机建立惩罚系数和核函数参数组合的目标函数;采用粒子群优化算法(PSO)优化最优目标函数,利用混沌粒子的随机性和遍历性,将混沌寻优的最优解代替粒子群寻优的最优解,避免陷入局部最优,提高定位精度.仿真实验结果表明,该算法在室内定位中精度更高,定位更稳定.

基于CARS和1D-CNN联合的XRF土壤重金属超标分析方法研究

随着社会现代化进程的迈进,愈加频繁的人类活动加剧了土壤重金属污染。当土壤中重金属元素含量超过风险筛选值时,会经过食物链摄入人体,过量的重金属累积对人体健康造成损害。筛选出具有重金属污染风险的土壤是治理土壤污染的重要环节。采用X射线荧光(XRF)光谱仪获取了59份国家标准土壤样品的光谱数据,然后对其进行小波阈值去噪和迭代离散小波变换本底扣除等预处理;运用基于竞争性自适应重加权采样(CARS)算法对土壤中的重金属元素进行谱线筛选;将筛选后的结果作为模型的输入,通过建立1D-CNN模型预测土壤样本是否具有重金属污染的风险。实验结果显示,通过CARS算法采样后的特征通道数大幅度减少,Ni、Cu、As、Pb元素从原来的2048个特征点分别减少为37、53、37、45个,为原来通道数的1.81%~2.59%。相较于不筛选和连续投影(SPA)筛选方法,结合CARS算法的1D-CNN模型在判断土壤样品是否有Ni、Cu、As、Pb元素污染风险时的准确率分别可以达到96.67%,93.22%,91.67%,88.33%。经CARS筛选,1D-CNN比偏最小二乘回归(PLSR)方法在预测准确性方面有明显优势。提出的CARS-1D-CNN算法在提高模型预测准确率的同时减少了模型的计算量,对于XRF光谱土壤重金属元素污染风险筛选具有较好的理论指导和应用价值。

近红外光谱结合竞争性自适应重加权采样算法用于人工牛黄的质量分析研究

目的对人工牛黄近红外光谱的特征波长进行分析和研究。方法使用竞争性自适应重加权采样算法(CARS),分别从定性和各定量指标的角度,优化筛选出近红外光谱的特征波长变量。结果筛选出的特征波长数目仅为全变量的0.48%~4.44%,所构建的模型相比于近红外光谱全波长构建的模型来说,不仅变量数量大幅度减少,而且评价模型的指标参数更佳。结论该方法适用于人工牛黄的质量评价与控制。

变量选择结合模型更新以改进苹果的糖度检测

为了获得稳健的近红外光谱模型,采用变量选择结合模型更新的方法,以240个红富士苹果为对象,取得近红外漫透射光谱和糖度数据,建立偏最小二乘回归模型,对苹果糖度含量进行预测,并采用后向区间偏最小二乘法和竞争性自适应重加权算法,对建模变量进行了选择,通过将新批次中的一些样品加入到旧批次中重新校准来实现模型更新。结果表明,变量选择可以提高模型性能,预测决定系数提高到0.7915,预测均方根误差降低到0.5810,预测偏差降至0.2627;结合模型更新策略,可以进一步降低预测均方根误差和预测偏差;仅使用20个样品进行模型更新已经明显改善了模型性能,预测决定系数提高到0.8506,预测均方根误差降到0.4358,预测偏差降到0.1045。这一结果对于多种水果建立稳健的近红外光谱模型是有帮助的。

优化CARS结合PSO-SVM算法农田土壤重金属砷含量高光谱反演分析

土壤重金属污染是由于人类活动导致重金属物质大量残留在土壤中,超过土壤环境承载力,这种现象将造成土壤质量退化、生态环境恶化。高光谱遥感可以实现图谱合一,能有效地识别出土壤中不同元素的异常情况。为实现农田土壤重金属高效、准确监测,提出了一种特征提高型竞争性自适应重加权算法(CARS)选取特征波段的粒子群算法(PSO)优化支持向量机(SVM)农田土壤重金属砷(As)含量高光谱估测分析方法。利用CARS对暗室实测光谱值进行粗选;利用一阶导数(FD)、高斯滤波(GF)、归一化(N)进行特征提高;在特征精选阶段利用皮尔逊相关系数(PCC)求取预处理后的光谱指标与土壤重金属As之间的相关系数,获取相关性大于0.6的波段作为特征波段;最后利用PSO对SVM所选择的核函数σ和正则化参数γ进行优化,以均方根误差(RMSE)作为适应度函数,通过迭代最优适应度得到SVM最优参数值。选择江汉平原典型区域洪湖市燕窝镇的土壤为研究对象,预测结果表明基于PSO-SVM算法其验证集的决定系数R 2为0.9823,均方根误差RMSE为0.5216,平均绝对误差MAE为0.4164。主要结论如下:PSO算法优化SVM参数,通过迭代更新个体极值和群体极值,可以迅速获取全局最优解,与支持向量机回归(SVMR)和随机森林回归(RFR)相比,在预测精度有了较大的提高;特征提高型CARS算法可以有效剔除无关信息,提高相关性,且选取波段少,模型简单,大大提高了效率;可以实现土壤污染预警、满足精准农业需求、为后期重金属污染土地生态修复提供数据基础。

基于随机蛙跳波段选择算法的土壤铅含量高光谱估测

高光谱数据中存在的大量冗余信息对高光谱估测精度产生较大影响。旨在寻求特征波段筛选的最佳算法,以实现土壤重金属铅含量的准确监测,为土壤污染防治提供参考。以新疆渭干河-库车河三角洲绿洲土壤重金属铅含量与光谱数据为数据源,利用蒙特卡洛交叉验证(MCCV)算法确定92个有效土壤样品,通过相关分析选取倒数对数一阶微分变换处理的光谱数据,采用随机蛙跳(RF)算法,并结合竞争性自适应重加权(CARS)算法、迭代保留有效信息变量(IRIV)算法及连续投影算法(SPA),构建RF-CARS、RF-IRIV及RF-SPA三种算法对波段进行筛选。以倒数对数一阶微分变换处理下的特征波段反射率为自变量,土壤重金属铅含量为因变量,采用极端梯度提升(XGBoost)和地理加权回归(GWR)方法构建土壤重金属铅含量估测模型。结果表明:(1)光谱变换处理可有效增强光谱与土壤铅含量的敏感性,其中倒数对数一阶微分变换后的土壤光谱特征更为明显,相关系数可达到0.620(p<0.001)。(2)RF-CARS、RF-IRIV及RF-SPA算法分别从高光谱数据中筛选出6、9和7个特征波段,全部位于近红外光谱区域,3种算法具有较强的特征提取能力,极大减少光谱数据中的冗余信息。(3)基于RF-IRIV算法构建的土壤铅含量估测模型的精度和稳定性高于RF-CARS和RF-SPA算法构建的模型,说明RF-IRIV算法能更为准确的保留与土壤铅含量相关的波段。此外,GWR模型的性能优于XGBoost模型,构建的RF-IRIV-GWR模型具有较好的预测能力,可作为研究区土壤铅含量的最优估测模型,其验证集的决定系数(R^(2))为0.892,均方根误差(RMSE)为0.825 mg·kg^(-1),相对分析误差(RPD)为3.09。基于随机蛙跳(RF)与迭代保留有效信息变量(IRIV)算法,结合地理加权回归(GWR)建模方法在快速准确估测土壤铅含量方面具有一定优势,可进行土壤重金属污染的动态监测。

激光诱导击穿光谱结合竞争自适应重加权采样算法对猪饲料中铜元素的定量分析

饲料中添加铜元素对猪生长速度的促进效果明显,因而铜元素在猪饲料中的超标情况非常普遍,但其带来的危害也非常严重。利用共线双脉冲激光诱导击穿光谱(DP-LIBS)技术对猪饲料中的铜元素进行快速定量分析,采用竞争自适应重加权采样(CARS)算法筛选出与猪饲料中铜元素相关的22个重要变量,压缩率为1.1%;基于筛选出来的22个重要波长变量,利用偏最小二乘(PLS)回归方法建立猪饲料中铜元素含量的预测模型,并对预测集猪饲料样品中的铜元素含量进行预测。结果表明:与全光谱-PLS模型相比,CARS-PLS模型具有更高的预测精度和预测能力,模型相关系数、交叉验证均方根误差、平均相对误差分别为0.978、19.25、5.59%。CARS算法可以有效地优化猪饲料中铜元素的激光诱导击穿光谱在线检测模型,并可以提高模型的预测精度。

基于连续小波变换耦合CARS算法的冬小麦冠层叶片含水量估算

为实现干旱地区冬小麦冠层叶片含水量的快速测定,以陕西省乾县为研究区,基于野外冬小麦冠层高光谱数据和实测叶片含水量,对原始光谱进行连续小波变换(continuous wavelet transform,CWT)后得到的小波能量系数与实测含水量进行相关性分析;并通过竞争性自适应重加权采样(competitive adaptive reweighted sampling,CARS)过滤冗余变量,筛选与叶片含水量相关性较好的波长变量,作为优选变量集;通过粒子群算法(particle swarm optimization,PSO)对BP神经网络模型进行优化,构建冠层叶片含水量预测模型并进行分析。结果表明,从尺度1到尺度10,小波系数与冬小麦叶片含水量整体相关性先升后降,中等分解尺度在光谱波段去除噪声、提高相关性方面最佳;基于CARS优选变量集所建的两种模型中,BP-PSO模型预测能力明显优于普通BP神经网络模型,其决定系数可达0.82,均方根误差为0.86%,相对误差为0.82%。这说明CWT-CARS-BP-PSO耦合算法在提升相关性、过滤冗余波段、提高模型预测精度方面效果显著,可用于冬小麦叶片含水量预测。

基于竞争适应重加权采样算法耦合机器学习的土壤含水量估算

土壤含水量是干旱区地表水-热-溶质耦合运移的关键指标;以干旱区典型样点实测土壤含水量及其室内可见光-近红外光谱数据作为数据集,通过蒙特卡罗交叉验证确定77个有效样本;基于竞争适应重加权采样算法筛选出最优光谱变量子集,利用3种机器学习方法——BP神经网络、随机森林回归和极限学习机建立土壤含水量预测模型,进而实现土壤含水量估算模型的优选。结果表明:竞争适应重加权采样算法能有效剔除无关变量,从2151个光谱波段中优选出20个特征波段,其中R1848与土壤含水量的最大相关系数为0.531;引入偏最小二乘模型和机器学习方法进行对比,分析发现机器学习方法的预测结果比偏最小二乘模型更高;分析比较BP神经网络、随机森林回归和极限学习机的建模结果可知:极限学习机模型建模在机器学习方法中的效果最佳,决定系数R2=0.918,均方根误差RMSE=0.015,相对分析误差RPD=3.123,四分位数间隔RPIQ=3.325;机器学习能显著提升光谱建模反演土壤含水量的精度和稳定性,显示出其在非线性问题中具有很强的透析力和较好的模型稳健性,针对干旱区土壤水分的精准预测和定量估算具有可行性,可为干旱区土壤墒情、精准农业等研究提供科学参考。

马铃薯干物质含量高光谱检测中变量选择方法比较

为提高利用高光谱成像技术快速检测马铃薯干物质含量的精度,比较了主成分分析法(PCA)、组合间隔偏最小二乘法(siPLS)、遗传偏最小二乘法(GA-PLS)、无信息变量消除法(UVE)以及竞争性自适应重加权算法(CARS)等变量选择方法。在此基础上提出一种竞争性自适应重加权算法与连续投影算法(SPA)相结合的波长选择方法,最终将原始光谱变量从678个减少到了27个。用27个变量建立多元线性回归模型,模型预测集相关系数Rp为0.86,预测均方根误差为1.06%。实验结果表明:高光谱成像技术能够对马铃薯干物质含量进行检测,同时CARS-SPA是一种有效的变量选择方法。

近红外高光谱图像结合CARS算法对鸭梨SSC含量定量测定

高光谱数据量大、维数高且原始光谱噪声明显、散射严重等特征导致光谱建模时关键波长变量提取困难。基于此,提出采用竞争性自适应重加权算法(CARS)对近红外高光谱数据进行关键变量选择。鸭梨作为研究对象。采用决定系数r2、预测均方根误差RMSEP和验证集标准偏差和预测集标准偏差的比值RPD值进行模型性能评估。基于选择的关键变量建立PLS模型(CARS-PLS)与全光谱变量建立的PLS模型进行比较发现CARS-PLS模型仅仅使用原始变量中15.6%的信息获得了比全变量PLS模型更好的鸭梨SSC含量预测结果,r2pre,RMSEP和RPD分别为0.908 2,0.312 0和3.300 5。进一步与基于蒙特卡罗无信息变量MC-UVE和遗传算法(GA)获得的特征变量建立的PLS模型比较发现,CARS不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,该方法能够有效地用于高光谱数据变量的选择。结果表明,近红外高光谱技术结合CARS-PLS模型能够用于鸭梨可溶性固形物SSC含量的定量预测。从而为基于近红外高光谱技术预测水果内部品质的研究提供了参考。

高光谱技术结合CARS算法预测土壤水分含量

高光谱技术已成为预测土壤含水量（soil moisture content,SMC）的重要方法,但因土壤高光谱中包含了大量冗余信息和无效信息,不仅导致SMC的高光谱估算模型复杂度高,而且影响了模型的预测精度。因此,该研究在室内设计SMC梯度试验,测定土壤高光谱反射率,经Savitzky-Golay平滑（Savitzky-Golay smoothing,SG）和连续统去除（continuum removal,CR）预处理后,基于竞争适应重加权采样（competitive adaptive reweighted sampling,CARS）方法分别优选出土壤在全部SMC的水分敏感波长变量,确定适用于土壤在全部SMC的共性波长变量,以其为优选变量集,采用偏最小二乘（partial least squares regression,PLSR）回归方法建立模型并进行验证。结果表明,SG和CR预处理后的光谱曲线在450、1 400、1 900、2 200 nm附近吸收峰的形状特征凸显;基于CARS方法对土壤在不同SMC的光谱曲线进行变量优选后,得出优选变量集为443～449、1 408～1 456、1 916～1 943、2 209～2 225 nm;CARS-PLSR模型性能优于全波段PLSR模型,模型预测R2、均方根误差、相对分析误差分别为0.983、0.0144、8.36,不仅提升了预测精度和预测能力,而且降低了变量维度和模型复杂度。该文通过优选土壤水分的敏感波段,有效提高了SMC预测模型的鲁棒性,为快速准确评估农田墒情提供了新途径,为开发田间SMC测定传感器提供了理论依据。

基于变量优选和近红外光谱技术的红富士苹果产地溯源

为实现对红富士苹果的产地溯源,采集阿克苏、静宁、灵宝、烟台的红富士苹果近红外光谱数据,分别采用归一化、中心化、一阶导数、二阶导数、标准正态变换、多元散射校正(multivariate scattering correction,MSC)、小波变换、SG平滑变换、傅里叶变换等9种方法对原始光谱进行预处理,建立概率神经网络(probabilistic neural network,PNN)模型对苹果的产地进行识别。结果表明,MSC预处理之后的模型总准确率最高,为97.5%,阿克苏、静宁、灵宝、烟台4个产地的准确率分别为100%、100%、90%、100%。为简化模型,对MSC预处理之后的光谱数据分别采用主成分法、连续投影算法(successive projection algorithm,SPA)、竞争性自适应重加权算法(competitive adaptive reweighted sampling,CARS)、随机蛙跳算法(random frog,RF)、CARS-SPA、RF-SPA选取特征变量建模。综合考虑正确率和模型的复杂性,最优模型MSC-CARS-SPA-PNN的测试集的总准确率为98.75%,4个产地的红富士苹果准确率分别达到了100%、100%、95%、100%。该研究可为红富士苹果的产地溯源提供理论参考。

化学计量学方法选取对烟草含水率近红外分析准确度的影响

目的:研究不同化学计量学方法对烟草含水率近红外分析准确度的影响。方法:比较不同预处理方法(平滑、一阶、二阶、标准正态变量(SNV)和多元散射校正(MSC)及其组合)以及不同波长筛选方法(基于水分波段、基于波长区间、基于波长点)对预测模型性能的影响。结果:仅对数据进行SNV、MSC、MSC+一阶、MSC+SNV、SNV+一阶预处理的模型能够使不同程度的相对分析误差RPD提高,而其他方法则不同程度下降;在波长筛选方法方面,使用基于波长区间的方法能够获得较好的优化效果,经过变量筛选得到594个波长,为原波长数的27.26%,且能提高0.1336的RPD值。结论:不同的计量学方法会对烟草含水率分析准确度产生影响,对于此次数据,应采用MSC预处理方法及基于波长区间筛选方法对数据进行处理。