基于稳定竞争自适应重加权采样的光谱分析无标模型传递方法

提出了一种基于稳定竞争自适应重加权采样(stability competitive adaptive reweighted sampling,SCARS)的无标模型传递方法。利用有用信息标准即稳定度指数(定义为回归系数除以其标准偏差的绝对值)和传递后的预测均方根误差(root mean squared error of prediction,RMSEP),选择重要的、受测样参数影响不敏感的波长变量,能够消除或减少不同仪器或测量条件对样本信息反应差异,提高模型传递效果。此外,在该方法中,光谱变量被压缩、降维,从而使模型传递更稳定。采用该方法对谷物的近红外光谱分析模型在不同仪器之间进行传递研究。结果表明,该方法能消除仪器间的大部分差异,较好地实现模型传递效果。与正交信号校正法(orthogonal signal correction,OSC)、蒙特卡罗结合无用信息变量消除法(Monte Carlo uninformative variable elimination,MCUVE)、竞争自适应重加权采样法(competitive adaptive reweighted sampling,CARS)的比较表明,SCARS不仅在传递精度上能取得比OSC、MCUVE及CARS更好的效果,而且能有效地对光谱数据进行压缩,简化并优化传递过程。

窗口竞争性自适应重加权采样策略的近红外特征变量选择方法

通过消除光谱中的冗余信息变量,挑选出代表样品性质的特征变量代替全谱建立定量模型,可以提高近红外分析结果的准确性。基于进化论中适者生存原理的竞争性自适应重加权采样(CARS)算法因具有计算速度快、筛选得到的特征波长少等优点,在近红外特征变量筛选方面得到了广泛的应用。然而该方法在计算过程中容易出现校正集和验证集结果不一致情况。这是因为算法过于强调校正集交叉验证结果,且并未考虑相邻变量之间的协同作用。为了建立更加稳健的变量筛选方法,通过结合"窗口"以及CARS算法的优势,提出了一种基于窗口竞争性自适应重加权采样(WCARS)策略的近红外特征变量筛选方法,并将其应用于复杂植物样品近红外光谱与其化学成分含量之间的建模分析。采用WCARS方法可以实现准确定量分析,且通过与竞争性自适应重加权采样(CARS)方法结果相比较, WCARS方法得到的校正集和预测集结果一致,在一定程度上减少了过拟合问题的出现。该策略能有效增强特征变量选择的稳健性,提高了定量模型的可信度,具有一定的应用价值。

最小角回归结合竞争性自适应重加权采样的近红外光谱波长选择

近红外光谱分析技术对检测样品无损伤且检测速度快、精度高,因此被广泛应用在了药品检测、石油化工等领域,尤其近年来机器学习和深度学习建模方法的深入应用使其具备了更准确的检测性能。然而,样品的近红外光谱数据具有比较高的维度且存在谱间重合、共线性和噪声等问题,对近红外光谱模型的性能产生消极影响,此时样品有效特征波长的筛选极为重要。为了提高近红外光谱定量和定性分析模型的准确性和可靠性,提出了一种近红外光谱变量选择方法,其结合了最小角回归(LAR)和竞争性自适应重加权采样(CARS)的优点,具有更优的性能。该方法利用LAR初步筛选样品全谱区的特征波长,接着利用CARS对筛选出来的特征波长进一步选择,从而有效去除无关特征波长。为验证该方法的有效性,从定量和定性分析两个方面评价该方法。在定量分析实验中,以FULL,LAR,CARS,SPA和UVE作为对比方法,以药品样品数据集为实例建立PLS回归分析模型,经LAR-CARS筛选出的变量建立的PLS模型在药品数据集表现出较高的预测决定系数和较低的预测标准偏差。在定性分析实验中,以SVM,ELM,SWELM和BP作为对比方法、不同比例训练集的药品数据集为实例建立分类模型,经LAR-CARS筛选出的变量建立的SVM分类模型精度最高达100%。从实验结果可见,LAR-CARS可有效的筛选出表征样品特征的波长,利用其筛选出的波长建立的定量、定性分析模型具有更好的鲁棒性,可用于样品光谱的特征波长筛选。

近红外光谱结合竞争性自适应重加权采样算法用于人工牛黄的质量分析研究

目的对人工牛黄近红外光谱的特征波长进行分析和研究。方法使用竞争性自适应重加权采样算法(CARS),分别从定性和各定量指标的角度,优化筛选出近红外光谱的特征波长变量。结果筛选出的特征波长数目仅为全变量的0.48%~4.44%,所构建的模型相比于近红外光谱全波长构建的模型来说,不仅变量数量大幅度减少,而且评价模型的指标参数更佳。结论该方法适用于人工牛黄的质量评价与控制。

近红外光谱技术结合竞争自适应重加权采样算法用于中药定量分析

目的:基质复杂、谱带重叠严重,影响了中药近红外定量模型的准确性。为解决以上问题,探讨竞争自适应重加权采样(Competitive adaptive reweighted sampling,CARS)变量筛选方法在中药材、中药提取物和中成药的定量分析中的应用。方法:采集葛根药材、葛根提取物和愈风宁心滴丸的近红外漫反射光谱,测定葛根素含量。分别优化光谱前处理方式,剔除奇异样本后,运用CARS法筛选出的相关变量,建立偏最小二乘法(PLS)校正模型。结果:原料、中间体和制剂的定量模型交互验证均方差(RMSECV)分别为0.35%,1.76%,0.54%,与基于全光谱建立的模型比较,原料、中间体和制剂的CARS-PLS模型的预测准确度均有提高。结论:竞争自适应重加权采样变量筛选方法可以提高模型的预测能力,并有效简化运算过程,为中药的快速、无损检测提供了新的思路。

激光诱导击穿光谱结合竞争自适应重加权采样算法对猪饲料中铜元素的定量分析

饲料中添加铜元素对猪生长速度的促进效果明显,因而铜元素在猪饲料中的超标情况非常普遍,但其带来的危害也非常严重。利用共线双脉冲激光诱导击穿光谱(DP-LIBS)技术对猪饲料中的铜元素进行快速定量分析,采用竞争自适应重加权采样(CARS)算法筛选出与猪饲料中铜元素相关的22个重要变量,压缩率为1.1%;基于筛选出来的22个重要波长变量,利用偏最小二乘(PLS)回归方法建立猪饲料中铜元素含量的预测模型,并对预测集猪饲料样品中的铜元素含量进行预测。结果表明:与全光谱-PLS模型相比,CARS-PLS模型具有更高的预测精度和预测能力,模型相关系数、交叉验证均方根误差、平均相对误差分别为0.978、19.25、5.59%。CARS算法可以有效地优化猪饲料中铜元素的激光诱导击穿光谱在线检测模型,并可以提高模型的预测精度。

基于CARS和1D-CNN联合的XRF土壤重金属超标分析方法研究

随着社会现代化进程的迈进,愈加频繁的人类活动加剧了土壤重金属污染。当土壤中重金属元素含量超过风险筛选值时,会经过食物链摄入人体,过量的重金属累积对人体健康造成损害。筛选出具有重金属污染风险的土壤是治理土壤污染的重要环节。采用X射线荧光(XRF)光谱仪获取了59份国家标准土壤样品的光谱数据,然后对其进行小波阈值去噪和迭代离散小波变换本底扣除等预处理;运用基于竞争性自适应重加权采样(CARS)算法对土壤中的重金属元素进行谱线筛选;将筛选后的结果作为模型的输入,通过建立1D-CNN模型预测土壤样本是否具有重金属污染的风险。实验结果显示,通过CARS算法采样后的特征通道数大幅度减少,Ni、Cu、As、Pb元素从原来的2048个特征点分别减少为37、53、37、45个,为原来通道数的1.81%~2.59%。相较于不筛选和连续投影(SPA)筛选方法,结合CARS算法的1D-CNN模型在判断土壤样品是否有Ni、Cu、As、Pb元素污染风险时的准确率分别可以达到96.67%,93.22%,91.67%,88.33%。经CARS筛选,1D-CNN比偏最小二乘回归(PLSR)方法在预测准确性方面有明显优势。提出的CARS-1D-CNN算法在提高模型预测准确率的同时减少了模型的计算量,对于XRF光谱土壤重金属元素污染风险筛选具有较好的理论指导和应用价值。

ZY1-02DAHSI影像归一化阴影植被指数NSVI的波段选择及其构建

高光谱影像具有连续的地物光谱信息,在阴影检测方面具有巨大的潜力,而波段冗余度高需进行波段优选。归一化阴影植被指数(NSVI)能够扩大光谱差异,在高光谱影像中应用NSVI将更有效地识别阴影。资源一号02D卫星是我国首颗自主研发并成功运行的高光谱业务卫星,数据信噪比大、覆盖能力强,对该高光谱影像进行准确的阴影检测具有重要意义。以ZY1-02DAHSI影像为试验数据,提取并分析明亮区植被、阴影区植被及水体的光谱反射率;结合竞争自适应重加权采样(CARS)和连续投影算法(SPA)筛选能够有效区分典型地物的主要波段,综合考虑算法的特性进一步选出特征波段构建NSVI;通过步长法确定最佳阈值对影像进行分类,从像元值分布情况、分类精度和光谱增强效果等对比出构建NSVI的最佳波段,并结合不同的阴影指数、波段和影像进行综合评价,验证该方法的意义及普适性。结果表明:波段32和波段73是构建NSVI的最佳波段,分别对应红光波段和近红外波段;不同波段构建的NSVI分类精度均高于90%,由最佳波段构建的NSVI分类精度为94.33%,Kappa系数为0.8328,分类效果最优;NSVI能够增强典型地物间的光谱差异并缓解归一化植被指数的“易饱和”现象,在该影像中因水体累积产生的小波峰有助于提取水体;在ZY1-02DAHSI影像中NSVI的分类效果优于归一化阴影指数和阴影指数,于另一景影像的分类精度也达到93.55%,Kappa系数为0.8167。由算法筛选出的波段具有一定的代表性,最佳波段构建的NSVI在ZY1-02DAHSI影像中具有较好的阴影检测能力,对高光谱影像阴影检测及构建植被指数具有一定的借鉴和参考意义。

基于CWT-sCARS的土壤铜含量高光谱反演

光谱变量的有效程度与土壤铜含量的反演精度密切相关。基于原始反射率以及不同分解尺度下的小波系数,本研究采用连续小波变换(CWT)算法、稳定性竞争自适应重加权采样(sCARS)算法和随机森林(RF)算法对土壤铜含量进行了反演与验证。研究结果表明:连续小波变换可以有效提高光谱特征与土壤铜含量之间的相关性,不同分解尺度对应的最大相关系数中,最大值位于Scale 8分解尺度下1343 nm处,相关系数为0.60;使用sCARS算法可以显著减少特征变量的数量,结合CWT变换和sCARS算法可以显著减轻数据冗余,提高土壤Cu含量的反演精度。该研究可为利用高光谱遥感技术,快速、高精度反演土壤Cu含量提供重要参考。

基于高光谱技术的五味清浊制剂快速无损检测方法研究

目的:采用高光谱技术结合化学计量学方法对蒙古族药五味清浊制剂中胡椒碱、桂皮醛和羟基红花黄色素A进行含量测定,实现快速、无损、全面的五味清浊制剂质量评估。方法:选取2023年度国家药品抽检计划抽检的五味清浊制剂样品33批次(五味清浊散11批次、五味清浊丸22批次),采集其高光谱数据;对比多元散射校正、基线校正、标准正态变换、光谱转化、矢量归一化、光谱降噪、卷积平滑(9)结合一阶导数、卷积平滑(11)结合一阶导数、卷积平滑(9)结合二阶导数和卷积平滑(11)结合二阶导数10种光谱预处理方法,蒙特卡罗无信息变量消除法、竞争性自适应重加权采样法(CARS)2种变量筛选方法,偏最小二乘法、最小二乘法-支持向量机(LS-SVM)2种建模方法用于胡椒碱、桂皮醛和羟基红花黄色素A含量与高光谱数据定量校正模型时的性能。结果:采用CARS建立的胡椒碱和桂皮醛的LS-SVM模型预测能力全局最优,模型的相对预测偏差(RPD)分别为9.2、6.0,验证集相关系数(rpre)分别为0.9935、0.9852,说明模型验证集与测定值具有良好的非线性关系,模型预测效果良好。采用羟基红花黄色素A原始光谱建立的LS-SVM模型性能全局最优,RPD和rpre分别为3.7、0.9762。结论:采用高光谱技术结合化学计量学方法可以快速测定五味清浊制剂中胡椒碱、桂皮醛和羟基红花黄色素A含量,方法操作简便,可为五味清浊制剂的质量控制提供参考。

基于近红外光谱技术的空苞山核桃快速识别

空苞山核桃是指果实没有种仁或者发育受阻的山核桃,严重影响山核桃产品品质。为实现空苞山核桃的快速无损识别,利用2种近红外检测装置在200~1160 nm波长范围采集带壳山核桃样本的光谱,采用8种预处理方法进行光谱预处理,利用竞争自适应重加权采样(CARS)方法筛选空苞山核桃的特征波长变量,最后应用线性判别分析(LDA)、二次判别分析(QDA)和马氏距离判别分析(MDA)建立空苞和正常山核桃的分类模型。结果表明,使用检测装置1所建立的空苞山核桃分类模型性能优于检测装置2的分类模型,经多元散射校正(MSC)预处理后建立的分类模型的识别结果最好,LDA、QDA及MDA模型的特异性、敏感性和正确率均为1,优于其它预处理方法建立的分类模型。经CARS变量筛选后,建模所用的光谱变量数目大大减少,有效简化了分类模型,而模型性能仍与全波长模型性能持平。本文为空苞山核桃的快速、无损识别提供了一种可行的方法。

化学计量学方法选取对烟草含水率近红外分析准确度的影响

目的:研究不同化学计量学方法对烟草含水率近红外分析准确度的影响。方法:比较不同预处理方法(平滑、一阶、二阶、标准正态变量(SNV)和多元散射校正(MSC)及其组合)以及不同波长筛选方法(基于水分波段、基于波长区间、基于波长点)对预测模型性能的影响。结果:仅对数据进行SNV、MSC、MSC+一阶、MSC+SNV、SNV+一阶预处理的模型能够使不同程度的相对分析误差RPD提高,而其他方法则不同程度下降;在波长筛选方法方面,使用基于波长区间的方法能够获得较好的优化效果,经过变量筛选得到594个波长,为原波长数的27.26%,且能提高0.1336的RPD值。结论:不同的计量学方法会对烟草含水率分析准确度产生影响,对于此次数据,应采用MSC预处理方法及基于波长区间筛选方法对数据进行处理。

拉曼光谱结合机器学习对植物油的分类鉴别

该研究采集了六类(38个品牌)常见植物油的551份拉曼光谱,并根据光谱数据分别建立了正交偏最小二乘判别和支持向量机模型,对比了连续投影法和竞争性自适应重加权采样法对模型识别正确率的影响。基于算法改进的偏最小二乘判别模型的总体预测准确率为82.53%、83.13%,低于基于全光谱数据建立的偏最小二乘判别模型。竞争性自适应重加权采样法结合支持向量机对玉米油、橄榄油、葵花籽油和芝麻油的品牌分类测试集正确率均达到100%;椰子油和花生油的测试集正确率为22.22%、63.64%。两类特征提取算法均可以减少建立分类模型所需的变量数目和计算资源,但以提取后变量建立分类模型可能会导致识别正确率下降。在解决样本间相似度较高的多分类问题时,支持向量机模型优于正交偏最小二乘判别模型。正确率差异可能和生产商所使用的生产工艺以及植物油原料相关。面对案件侦办中品牌种类多样的油脂物证,基于拉曼光谱分析和特征提取算法的支持向量机模型可为可食用植物油的无损快速检验提供一定的参考与借鉴。

基于高光谱成像技术的糯玉米种子分类研究

为了快速、准确、无损地对糯玉米种子分类,采用可见-近红外(400~1000 nm)高光谱成像仪对5种糯玉米种子进行数据采集,使用一阶中心差分联合SG平滑对糯玉米种子的原始光谱数据进行预处理去噪,通过自优化竞争性自适应重加权采样算法筛选出56个重要的特征波段,同时采用灰度共生矩阵和Sobel算子提取糯玉米种子的相关性、能量、同致性、相关熵、灰度熵和梯度熵等6种纹理特征,将光谱特征与纹理特征融合后构建支持向量机分类模型,分别用350个训练样本、150个测试样本和50个预测样本对模型进行训练、测试和预测分类,相应得到了准确率为98.50%、95.92%和94.00%的最佳结果,表明利用高光谱成像技术对糯玉米种子分类是可行的。

鲸鱼算法改进极限学习机的葡萄酒品质评价研究

[目的]解决近红外光谱中冗余信息过多的问题,提升葡萄酒品质评价模型的准确性,并构建一种快速无损的葡萄酒品质评价方法。[方法]运用竞争性自适应重加权采样法进行特征波长筛选,提出了鲸鱼算法改进极限学习机的葡萄酒品质评价模型。通过自适应重加权采样法等多种特征波长筛选方法,确定了最适用于葡萄酒光谱特征波长筛选的方法;针对ELM的初值权值与隐含层偏置选取问题,利用鲸鱼优化方法对初值权值与隐含层偏置进行优化,从而构建了一种基于鲸鱼优化算法改进的极限学习机葡萄酒品质评价模型。[结果]与GA-ELM、PSO-ELM和传统的ELM模型相比,WOA-ELM的准确率最高,达到了0.9445,GA-ELM的准确率为0.9290,PSO-ELM的准确率为0.9061,传统的ELM方法准确率为0.8177。[结论]通过智能算法优化ELM模型的参数,可以有效提高葡萄酒品质评价的准确性。

基于高光谱结合机器学习对塑料瓶盖的快速分类研究

为建立一种快速无损分类塑料瓶盖的方法,采用高光谱成像技术对48个塑料瓶盖样品进行检验。首先对原始光谱进行预处理,再分别采用主成分分析法、偏最小二乘-判别分析法和竞争自适应重加权采样法构建高光谱数据集,并对数据集分别使用支持向量机、多层感知机模型和卷积神经网络进行训练。结果表明:利用竞争自适应重加权特征提取构建的塑料瓶盖高光谱图像,在卷积神经网络中的测试集准确率达到了100%。该方法方便快捷,对样品无损且用量少,为塑料瓶盖的分类提供了有力的支持。

基于高光谱成像的烟田土壤pH估测

【目的】为实现区域尺度上烟田土壤pH的快速估测。【方法】以四川省296份烟田土壤为研究对象,利用高光谱成像获取土壤390~2500 nm波段的光谱反射率,系统研究12种光谱预处理方法、2种特征波段选择方法和4种建模方法对烟田土壤pH高光谱估测模型精度的影响。【结果】在600~2500 nm范围内,不同pH的光谱反射率曲线差异明显;原始光谱经单一预处理或组合预处理方法处理后,建立的估测模型精度均有所提高;其中一阶导数(First derivative,D1)组合标准正态分布(Standard normal variate,SNV)为最佳光谱预处理方法。竞争自适应重加权采样算法(Competitive adaptive reweighted sampling,CARS)筛选出93个土壤pH特征波段,主要集中在近红外波段800~2500 nm。无论使用光谱全波段还是主成分分析降维得到的光谱特征,核岭回归(Kernel ridge regression,KRR)和支持向量机(Support vector machine,SVM)两种建模方法都取得了比偏最小二乘回归(Partial least square regression,PLSR)和岭回归(Ridge regression,RR)更高的估测精度;但使用CARS筛选的特征波段建模时,PLSR和RR取得了比KRR和SVM更高的估测精度。其中基于D1-SNV预处理方法,使用CARS筛选特征波段建立的土壤pH PLSR估测模型精度较高,模型验证集决定系数为0.758,均方根误差为0.555,相对分析误差为2.034。【结论】运用高光谱成像技术在区域尺度上对烟田土壤pH进行较高精度估测是可行的,pH估测可采用D1-SNV-CARS-PLSR模型。

湖滨绿洲棕漠土有机碳含量高光谱估算

以博斯腾湖湖滨绿洲为研究区,利用实测棕漠土有机碳含量与高光谱(350~2 500 nm)数据,应用竞争性自适应重加权采样算法(CARS)、连续投影算法(SPA)、竞争性自适应重加权采样-连续投影算法(CARS-SPA)筛选棕漠土有机碳含量响应的高光谱特征波段,分别采用全波段和特征波段结合随机森林(RF)模型构建棕漠土有机碳含量估算模型。结果表明:博斯腾湖湖滨绿洲棕漠土0~50.0 cm土层有机碳含量为1.40~40.92 g/kg,平均值为14.20 g/kg,变异系数为55.54%,呈中等变异水平。CARS、SPA、CARS-SPA等算法筛选出的棕漠土有机碳含量响应特征波段分别为122个、11个和10个。基于CARS-SPA算法筛选出的特征波段数据输入RF模型估算效果最好,验证集检验的决定系数(R^(2))、相对分析误差(RPD)、均方根误差(RMSE)分别为0.85、2.59和2.72 g/kg,该方法能有效减少光谱数据冗余、提高模型估算精度和运行效率。本研究结果为研究区棕漠土有机碳含量的估算提供参考。

基于SG-CARS-IBP的圣女果可溶性固形物可见/近红外光谱无损检测

圣女果可溶性固形物(SSC)含量对圣女果内部品质影响至关重要,但基于高光谱成像及介电性质特征的SSC检测技术存在局限性,且目前鲜见圣女果SSC无损检测模型。为实现圣女果SSC的无损检测,提出基于圣女果可见/近红外光谱特征的SCC预测模型构建,及改进的BP神经网络算法研究,以期解决圣女果内部品质的快速无损检测。以圣女果为研究对象,试验样本188个,将其划分为训练集150个和测试集38个,采用可见/近红外光谱采集系统获取350~1000 nm范围内的圣女果表面反射强度,经光谱校正得样本反射率,为增强信噪比,截取481.15~800.03 nm范围内的光谱波段作为有效波段进行分析。通过对比三种预处理模型,对有效波段进行SG平滑(Savitzky-Golay Smoothing)预处理,建立BP神经网络预测模型,测试集决定系数(R^(2))和均方根误差(RMSE)分别为0.5785和0.5639;在此基础上,对BP神经网络的网络结构进行改进,寻求BP神经网络最优预测结构,计算输出层与期望值间误差,调整网络结构参数,将隐含层学习率和神经元个数分别设置为0.01和5,建立改进的BP神经网络模型(SG-IBP),测试集R^(2)和RMSE分别为0.9812和0.1023;通过竞争自适应重加权采样算法(CARS)筛选出18个特征波段,测试集R^(2)和RMSE分别为0.9978和0.0479,同时检测速度显著提升。研究结果表明:经过改进的BP神经网络模型性能明显提高,通过CARS提取特征波段后,测试集R^(2)提高了0.4193,RMSE降低了0.516,检测速度明显提升。采用CARS提取特征波段的改进BP神经网络模型(SG-CARS-IBP)具有明显的优越性,SG-CARS-IBP模型较为适合圣女果SSC无损检测研究。该研究可为圣女果SCC的高效无损检测提供参考。

基于近红外光谱的沼液挥发性脂肪酸含量快速检测

挥发性脂肪酸(Volatile Fatty Acids,VFA)作为厌氧发酵过程的重要中间产物,其在厌氧反应器中的累积能够反映出产甲烷菌的不活跃状态或厌氧发酵条件的恶化。为了实现对农牧废弃物厌氧发酵进行过程分析和状态监控,将近红外光谱(Near Infrared Spectroscopy,NIRS)与偏最小二乘(Partial Least Squares,PLS)相结合构建玉米秸秆和畜禽粪便厌氧发酵液乙酸、丙酸和总酸含量快速检测模型。将竞争自适应重加权采样法(Competitive Adaptive Reweighted Sampling,CARS)与遗传模拟退火(Genetic Simulated Annealing,GSA)算法相结合构建CARS-GSA算法对沼液中的乙酸、丙酸和总酸进行特征波长优选,原始光谱数据1557个波长点经预处理和波长优选后,得到乙酸、丙酸和总酸特征波长变量分别为135、101和245个,建立的回归模型验证决定系数分别为0.988、0.923和0.886,预测均方根误差(Root Mean Squared Error of Prediction,RMSEP)分别为0.111、0.120和0.727,相对分析误差分别为9.685、3.685和3.484,与全谱建模相比RMSEP分别减少了17.78%、15.49%和1.22%,能够满足农牧废弃物厌氧发酵过程发酵液中乙酸和丙酸含量的快速检测需求,基本满足总酸的检测需求。结果表明,通过构建CARS-GSA算法优选乙酸、丙酸和总酸的敏感波长变量,参与建模的波长点数量显著减少,有效降低了变量维度和模型复杂度,提升了回归模型检测精度和预测能力,为快速准确检测沼液VFA提供了新途径。