基于自加权变量组合集群分析法的近红外光谱变量选择方法研究

变量选择技术是光谱建模的重要环节。本研究提出了一种新的变量选择方法——自加权变量组合集群分析法(AWVCPA),首先通过二进制矩阵采样法(BMS)对变量空间进行采样;其次通过对变量出现频率(Fre)和偏最小二乘回归系数(Reg)两种信息向量(IVs)做加权处理,得到了每个光谱变量的贡献值,进而考虑到了Fre和Reg两类IVs对于光谱建模的影响;最后通过指数衰减函数(EDF)删除贡献小的波长点,进而实现特征变量选取。以啤酒和玉米两组近红外光谱数据为例,基于偏最小二乘法(PLS)建立啤酒中酵母浓度预测模型和玉米中油浓度预测模型,对比其它变量选择方法。研究表明,在相同条件下,基于AWVCPA变量选择方法建立的预测模型都取得了最优的预测精度,对啤酒中酵母浓度的预测,相比全光谱PLS模型,RMSEP由0.5348下降到0.1457,预测精度提高了72.7%;对玉米含油量的预测,相比全光谱PLS模型,预测均方根误差(RMSEP)由0.0702下降到了0.0248,预测精度提高了64.7%。

基于变量组合集群分析法的小麦蛋白质近红外光谱变量选择方法研究

为了解决小麦蛋白质的近红外光谱信息复杂、共线性严重及全光谱建模的预测能力不足等问题,采用一种新的变量选择方法——变量组合集群分析法(VCPA)对小麦蛋白质的近红外光谱进行特征波长选取。首先利用二进制矩阵采样策略(BMS)和指数衰减函数(EDF)删除无信息变量,优选小麦中蛋白质近红外特征波长,然后结合偏最小二乘法(PLS)建立预测模型。与其他变量选择方法相比,VCPA所选用的波长点最少,模型的预测能力最强,VCPA算法所采用的BMS变量采样策略弥补了蒙特卡洛采样方法的不足。研究结果表明,VCPA算法可以有效选择小麦蛋白质近红外光谱特征波长,提高预测模型的可靠性和适用性。

基于蒙特卡洛变量组合集群分析法的小麦蛋白质近红外光谱变量选择

小麦是我国重要的粮食之一,提高对小麦蛋白质含量预测的精准性对保证小麦质量具有重要的意义。采用不同地区的小麦共93个样本近红外光谱与化学值作为建模数据。首先利用小波包(WTP)对光谱信号进行降噪处理,消除外界噪音信号对光谱的影响。其次利用蒙特卡洛变量组合集群分析法(MC-VCPA)进行变量选择,最后利用偏最小二乘法(PLS)建立小麦蛋白质预测模型,并对预测集样本进行预测。对比其他的建模方法,MC-VCPA所选择的10个特征变量代替了全光谱256个变量,预测均方根误差(RMSEP)值由0.4974降低到0.3295,提高了33%,优于其他建模方法。结果表明,基于MC-VCPA的近红外光谱分析方法对小麦蛋白质含量进行定量分析是可行的。

红参提取物总皂苷近红外定量分析建模中的变量筛选

注射用益气复脉(冻干)是由红参、麦冬、五味子3种药材制成的新型冻干粉针制剂。红参提取物总皂苷是注射用益气复脉(冻干)生产过程的重要质控指标,传统分析方法分析结果具有滞后性,无法快速反馈生产过程质量信息。近红外光谱(NIR)作为一种快速无损的过程监控工具已经广泛应用于中药质量控制领域。中药成分复杂且近红外光谱吸收强度弱、谱区重叠严重,如何从干扰严重的复杂光谱中提取有效信息是提高测量准确度的关键。模型集群分析(MPA)通过随机采样,最大限度地提取了样本信息,打破了传统一次性建模思路,为变量筛选方法提供了新的思想。采集了55批红参提取物近红外光谱数据,运用多元散射校正(MSC)进行光谱数据预处理,并将MPA衍生的随机蛙跳法(RF)、竞争自适应重加权(CARS)、变量组合集群分析法(VCPA)、VCPA联合迭代保留信息变量(IRIV)方法与OPUS软件自带的变量筛选方法分别用于总皂苷含量偏最小二乘(PLS)定量分析模型的建立中。结果表明,OPUS软件、CARS-PLS与RF-PLS所建模型校正集相关系数(Rc)仅为0.6013,0.5653与0.6440,拟合效果不理想。VCPA-P LS法所建模型的R c为0.9512,是几种变量筛选方法中最高的,但是其预测性能不佳,模型稳健性不理想。VCPA-IRIV-PLS模型具有最好的预测效果,Rc为0.928,RSEP%为7.99%。

饲料中粗脂肪和粗纤维含量的近红外光谱快速分析

采用近红外光谱(NIRS)结合偏最小二乘(PLS)方法,实现对饲料中粗脂肪和粗纤维的快速定量分析。采用Norris-Williams平滑求导(NW)和多元散射校正(MSC)方法对光谱进行预处理;蒙特卡罗无信息变量消除法(MCUVE)、变量组合集群分析法(VCPA)和区间变量迭代空间收缩法(iVISSA)用于光谱变量选择和优化;PLS用于光谱校正模型的建立,采用校正集相关系数(R_c)、交互验证均方根误差(RMSECV)、预测集相关系数(R_p)和预测集均方根误差(RMSEP)评价模型。光谱预处理中经MSC处理后的光谱模型优于其他预处理方法,其RMSECV和RMSEP值都减小,R_c和R_p值都增大。脂肪定量分析中,原始光谱模型的RMSECV和R_c为0.21和0.87, RMSEP和R_p为0.20和0.88,变量数(V_n)为1 501;经MCUVE方法选择变量后建立的定量模型,其RMSECV和R_c为0.17和0.92, RMSEP和R_p为0.19和0.89,V_n为400个;经VCPA选择变量建立PLS定量模型,其RMSECV和R_c为0.21和0.87, RMSEP和R_p为0.25和0.81,V_n为12;经iVISSA选择变量后的模型,其RMSECV和R_c为0.21和0.86, RMSEP和R_p为0.20和0.87,V_n为20。粗纤维定量分析中,原始模型的RMSECV和R_c为0.28和0.91, RMSEP和R_p为0.25和0.95,V_n为1 501;经MCUVE选择后的模型,其RMSECV和R_c为0.23和0.95, RMSEP和R_p为0.23和0.94,V_n为740;经VCPA选择变量后的模型,其RMSECV和R_c为0.27和0.91, RMSEP和R_p为0.30和0.91,V_n为11;经iVISSA选择后变量的模型,其RMSECV和R_c为0.29和0.90, RMSEP和R_p为0.27和0.93,V_n为20。结果表明, MSC方法可以有效提高光谱质量,消除光谱平移误差;MCUVE变量选择方法可以简化模型提高模型精度和稳定性,建立最优模型。在粗脂肪的定量分析模型中, MSC处理后的光谱经过MCUVE选择后剩余400个变量,R_c和R_p相较于全谱模型提高了0.05和0.01, RMSECV和RMSEP分别降低到了0.17和0.19;经VCPA和iVISSA选择变量的模型其结果与全谱模型相似,但其变量分别只有12和20个。在粗纤维模型中,经MCUVE选择后740个变量用于建立PLS模型,其R_c和R_p为0.95和0.94, RMSECV和RMSEP分别为0.23和0.23;VCPA和iVISSA分别运用11和12个变量建立回归模型,但结果都比MCUVE模型差。利用饲料近红外光谱建立MSC-MCUVE-PLS模型可以有效对饲料粗脂肪和粗纤维进行定量分析。

小波分析的茶鲜叶全氮含量高光谱监测

茶是世界上最受欢迎的饮料之一,而氮素(N)是影响茶叶品质的主要成分之一,因此快速准确地估算N素含量至关重要。由于测定N含量的化学方法繁琐耗时,利用高光谱对茶鲜叶中N含量进行预测,利用连续小波转换(CWT)提取的小波系数,探究CWT不同分解层数对于N素含量的估测能力,并讨论了不同波长选择算法所建模型的预测效果。首先,采集广东省英德市茶园的151个茶鲜叶样品高光谱数据,将获得的原始光谱通过卷积平滑(SG)、去趋势(Detrending)、一阶导数(1st)、多元散射校正(MSC)和标准正态变量变换(SNV)五种预处理方法进行预处理并作为参考。其次,采用连续小波对原始光谱进行初步处理生成多尺度小波系数,并进行相关性分析,分别利用连续投影算法(SPA)、竞争性自适应加权采样法(CARS)和变量组合集群分析(VCPA)方法进一步优化CWT变换后光谱数据的变量空间,最后,以特征变量为输入使用PLSR建立了N素定量监测模型,并对比不同尺度不同方法估算N素的效果。结果表明,连续小波分析方法可有效提升茶鲜叶光谱对N素含量的估测能力,明显优于常规光谱处理方法。经连续小波分解后,对茶鲜叶N素的预测能力随分解尺度的增加整体呈逐步降低的趋势,其中在1~6尺度连续小波变换后的光谱与茶鲜叶N素存在良好的相关性,表明小尺度的连续小波分解可有效应用于茶鲜叶N含量的监测。基于CWT(1)-VCPA方法建立的模型精度最高,且变量数相比于全波段减少了99.34%,其建模与预测R~2达到0.95和0.90,相比于传统光谱处理方法,精度提升了11%,证明CWT-VCPA可以有效降低光谱维度并大幅提升模型精度。实现了茶叶N素含量的高效量化预测,为评估茶叶的其他成分提供了可靠技术参考。

基于冠层高光谱特征的油茶叶片碳氮比估算模型构建

叶片碳氮比是反映油茶个体养分利用效率的重要指标,基于冠层高光谱特征估算碳氮比可为油茶养分监测及精准施肥提供重要的科学依据。当前,利用高光谱开展经济林理化性质的研究较少,特别是面向具有花果同期生物学特性的油茶,其高光谱数据除面临共线性问题外,复杂的理化性质也对敏感光谱特征的响应及估算模型构建带来极大挑战。以安徽黄山区域的油茶长林系列品种为研究对象,在野外环境下采集了120株油茶的冠层光谱,选取可见光与近红外谱区400~1000 nm波长范围的高光谱特征进行分析。利用多元散射校正(MSC)和一阶导数(FD)变换对原始高光谱进行处理,并各自构建三种两波段指数(差值指数-DI、比值指数-RI和归一化指数-NDI)。采用相关分析观察不同处理方法下光谱响应特征区域的变化,使用变量组合集群分析(VCPA)提取响应变量并去除共线性得到最优特征变量子集,进一步构建三种机器学习模型(随机森林-RF、支持向量机-SVM和BP神经网络-BPNN)。最后,比较不同处理下光谱参数对模型估算精度的影响,根据模型评价指标得到最优油茶叶片碳氮比估算模型。研究结果表明:(1)经过MSC或FD特征变换的原始光谱协同VCPA能够挖掘更多潜在变量。(2)两波段光谱指数组合扩展了敏感波段的响应区域,进一步增强了VCPA筛选特征变量的能力,FD-RI与FD-NDI处理效果最好。(3)三种机器学习模型整体精度由大到小排序为BPNN>RF>SVM。所有模型中,经过FD-NDI处理的光谱参数构建的BPNN模型预测能力表现最好,训练集和测试集的决定系数(R 2)分别为0.71和0.66,其相对分析误差(RPD)达到1.74。该研究建立了一种收获期油茶叶片碳氮比的最优BPNN估算模型,拓展了油茶高光谱应用的范围。

高光谱结合波长选择算法串联策略检测调理牛排新鲜度

生鲜调理牛排超过货架期时,其散发的腐败气味易被调料气味掩蔽,使消费者难以分辨。挥发性盐基氮(TVB-N)是表征肉品新鲜度的有效指标。由于测定TVB-N含量的化学方法繁琐耗时,利用高光谱对生鲜调理牛排中TVB-N含量进行预测,并讨论了不同波长选择算法所建模型的预测效果。分别在第0,2,4,6,8天取出制备好的生鲜调理牛排,进行高光谱数据采集和TVB-N含量测定。采用1^st Der,2^nd Der,MC,MSC,SG和SNVT六种光谱预处理方法对光谱数据进行预处理,并建立偏最小二乘模型(PLS)优选出最佳预处理方法。采用竞争性自适应重加权算法(CARS)、变量组合集群分析法(VCPA)、间隔随机蛙跳(iRF)、iRF-CARS、iRF-VCPA等方法对预处理后的光谱数据进行波长选择,建立特征波长下的预测模型。将CARS和VCPA重复运行50次考察其稳定性,并选择频次较高波长建模与单次运行比较。结果表明:在六种光谱预处理方法中,1 st Der为最佳预处理方法。CARS和VCPA单次运行时分别选择了21和11个波长,其中VCPA选择波长建模预测效果更好,模型的R C和R P分别为0.944和0.931,RMSECV和RMSEP分别为1.12和1.28 mg·(100 g)^-1。统计CARS和VCPA重复运行50次时各波长被选择频次,结果表明VCPA因其二进制矩阵采样法(BMS)为每个变量提供相同的采样机会而有更好的稳定性。同时发现两种方法有共同的高频次波长:694.9,696.6,761.8,763.5,811.5和813.3 nm等。将波长被选频次降序排列,选择与单次运行数量相同的较高频次的波长建模,所得模型性能较差。将iRF分别与CARS和VCPA联用,其中iRF-CARS表现出较强的预测能力,选择了24个波长建模,模型的R C和R P分别为0.966和0.938,RMSECV和RMSEP分别为0.91和1.22 mg·(100 g)^-1。这说明将波长区间选择和波长点选择联用可以实现它们的优势互补。高光谱技术结合波长选择方法可以很好地预测调理牛排中TVB-N含量,研究可为波长选择算法联用策略和调理牛排新鲜度快速检测提供理论参考。

基于CC-MPA特征优选算法的小麦条锈病遥感监测

为了弥补一次性建模分析的缺陷,提高小麦条锈病遥感监测模型的运行效率和精度,根据模型集群分析(Model population analysis,MPA)算法的特点,综合利用光谱区间选择算法和光谱点选择算法的优势,提出了一种联合相关系数(Correlation coefficient,CC)与MPA的特征变量优选算法。在利用CC算法对全波段光谱进行特征变量选择的基础上,分别利用基于MPA思想开发的竞争性自适应重加权采样法(Competitive adaptive reweighted sampling,CARS)和变量组合集群分析法(Variable combination population analysis,VCPA)进一步优选对小麦条锈病敏感的特征变量,并利用偏最小二乘回归(Partial least squares regression,PLSR)算法构建了小麦条锈病遥感监测的CC-CARS和CC-VCPA模型。结果表明:联合CC MPA算法优选的特征变量构建的CC-CARS和CC-VCPA模型精度均高于CC、CARS和VCPA算法。3组验证集样本中,CC-CARS模型预测病情指数(Disease index,DI)与实测DI间的R^(2)_(V)较CC模型和CARS模型至少分别提高了6.78%和6.66%,RMSEV至少分别降低了15.31%和10.98%,RPD至少分别提高了18.08%和12.34%。CC VCPA模型预测DI与实测DI间的R^(2)_(V)较CC模型和VCPA模型至少分别提高了9.58%和0.73%,RMSEV至少分别降低了20.78%和3.86%,RPD至少分别提高了26.22%和4.02%。基于CC-MPA的光谱特征优选算法是一种有效的特征选择方法,尤其是利用CC-VCPA方法选择的特征变量数更少,模型预测效果更好,研究结果对光谱特征优选及提高作物病害遥感监测精度具有重要的参考价值。

山茶油中油酸和亚油酸近红外光谱分析模型

将近红外光谱分析技术结合化学计量学方法用于山茶油混合油品中油酸和亚油酸含量的快速检测。配制了76种山茶油混合油样本用于近红外光谱的采集,将不同的光谱预处理方法用于光谱有效信息的提取;将蒙特卡罗无信息变量消除(MCUVE)和变量组合集群分析(VCPA)方法用于建模变量的选择;将偏最小二乘回归(PLSR)用于脂肪酸含量定量分析模型的构建。结果表明:经NWD1st-MSC预处理后,两种脂肪酸的近红外光谱的较正均得到最好的结果;采用基于VCPA的变量优选方法极大地改善了模型精度,实现了建模变量数量的有效压缩。对于油酸模型,建模变量数量由1501减少为7,交叉验证均方根误差和校正相关系数分别为1.107和0.984,预测均方根误差和测试集的预测相关系数分别为1.178和0.981;对于亚油酸模型,建模变量数量由1501减少为8,交叉验证均方根误差和校正相关系数分别为0.089和0.987,预测均方根误差和测试集的预测相关系数分别为0.105和0.982。近红外光谱分析技术结合NWD1st-MSC-VCPA-PLSR的方法为山茶油混合油品中脂肪酸含量的测定提供了一种快速简单的分析方法。