基于优选波长的复合肥总氮含量可见/近红外光谱分析

利用可见/近红外光谱分析仪得到复合肥的原始光谱,经过MSC和一阶导数预处理后,建立了复合肥中总氮含量的PLS模型,实现了复合肥中总氮含量的快速准确无损测量。通过选取不同范围波长建模,取得了预测决定系数(R^2)、预测标准差(S_(RMSEP))、相对分析误差(K_(RPD))最好的基础波段。在基础波段的基础上,采用优选波长算法,获得了加入波长后的模型的预测决定系数和预测标准差图。通过分析,最终确定加入42个优选波长。实验结果表明,加入优选波长后的模型的预测决定系数由不加优选波长模型的0. 760 4提高到了0. 991 1,S_(RMSEP)降低为原来的1/5,K_(RPD)提高到原来的5倍。

基于SiPLS-SPA波长优选的血红蛋白定量分析研究

血红蛋白是人体的一项重要生理指标,浓度异常会导致人体产生各种疾病。红外光谱技术具有简单、无损、快速等优点,非常适合用于生理参数的定量分析。由于光谱背景复杂、有效信息弱,如何提取有效特征变量,构建精准定量模型是个难题。针对此问题,以血液样本和血红蛋白仿体溶液样本光谱数据为研究对象,采用SPXY法、K_S法、duplex法、等间隔划分法四种数据集划分方法划分数据并通过建模对比,优选出最佳数据集划分方法为SPXY法。遍历了SavitzkyGolay一阶求导滤波(S_G1)+小波变换、小波变换+S_G1、标准正态变量变换(SNV)+S_G1三种预处理方法,优选出SNV+S_G1预处理方法。结合串联思想,提出组合区间偏最小二乘法(SiPLS)与连续投影算法(SPA)串联的特征波长优选方法,构建SiPLS-SPA-PLS预测模型,用两组数据对模型进行验证,依据评价指标判断模型的优劣,并与全谱PLS,SPA-PLS和SiPLS三种定量模型相比较。实验结果表明:(1)使用SiPLS-SPA-PLS模型进行定量分析,血液样本的R_(c),R_(p),RMSEC和RMSEP值分别为0.9936,0.9906,0.1992和0.1846,仿体溶液样本的R_(c),R_(p),RMSEC和RMSEP值分别为0.9989,0.9985,1.8489和2.0074。相比全谱PLS,SPA-PLS,SiPLS三种定量模型,R_(c)和R_(p)值最大,RMSEC和RMSEP值最小,该模型最优,可以更精准地实现血红蛋白的定量分析。(2)SiPLS-SPA-PLS定量模型能更加准确地筛选最优波段,两种样本筛选出来的有效波段分别为血液(1144~1264,1606~1798 nm)、仿体溶液(1018~1390,1600~1700 nm),剔除掉仪器的影响因素,大致相同,此方法可以精准优选出特征波长。(3)该模型可以提取有效变量,去除无用噪声影响,血液样本从全谱的700个光谱变量中优选出28个,仿体溶液样本从全谱的1201个光谱变量优选出41个,提高检测速度和预测效率。该方法为血红蛋白快速精准检测提供了一种思路。

应用最小角回归索套算法优选苹果糖度预测模型的建模样本和波长

糖度是评价苹果内部品质的重要指标之一。建立苹果糖度预测模型时,建模样本和波长的质量影响模型的准确性和后期的更新维护。以90个苹果样本为研究对象,采集350~1 150nm波段共1 044个波长的苹果近红外漫透射光谱,研究基于最小角回归索套算法(LASSOLars)优选建模样本和波长的有效性和可行性。结合使用Norris平滑、一阶微分和归一化变量排序对光谱预处理。根据浓度排序划分样本集的75%为原始训练集(68个)和25%为预测集(22个),使用LASSOLars建立优选训练集,对比LASSOLars和蒙特卡罗无信息变量消除、竞争性自适应重加权法,从样本、波长的数目和分布以及模型的结果进行对比分析。结果表明,优选训练集压缩了原始训练集16%的样本,在不改变原始训练集平均水平的前提下,更接近预测集分布,没有削弱模型质量。优选和原始的训练集交叉验证均方根误差RMSECV分别为0.460和0.491,交叉验证决定系数R_(CV)^(2)分别为0.913和0.916,预测集均方根误差RMSEP分别为0.462和0.471,预测集决定系数RP2分别为0.909和0.906。LASSOLars筛选出40个信噪比高的波长,数目最少,建立的模型效果最好,RMSECV,R_(CV)^(2),RMSEP,RP2和RPD分别是0.933,0.400,0.944,0.373和2.838。基于LASSOLars优化建模样本和波长建立苹果糖度预测模型,拓展了LASSOLars算法在子集选择方面的应用,为优化、更新和维护模型提供思路。

基于卡尔曼滤波的近红外光谱特征波长变量优选方法

将经典的卡尔曼滤波器与近红外光谱分析技术相结合,提出了一种新的特征波长变量选择方法——卡尔曼滤波法。分析了卡尔曼滤波器用于波长优选的原理,设计了波长选择算法并将其应用到大豆油脂酸价的近红外光谱检测中。首先利用偏最小二乘法(PLS)对油脂不同吸收波段建模,初步筛选出4 472~5 000 cm^(-1)油脂酸价特征波段共132个波长点,然后进一步利用卡尔曼滤波器进行特征波长选择,从中优选出22个特征波长变量建立PLS校正模型,预测集决定系数R^2、预测误差均方根RMSEP分别为0.970 8和0.125 4,与利用132个波长点建立的校正模型预测结果相当,而波长变量数减少到原来的16.67%。该波长变量选择算法是一种确定性的迭代过程,无复杂的参数设置和变量选择的随机性,物理意义明确。优选出少数对模型影响较大的特征波长变量以代替全谱建模,在简化模型的同时提高了模型的稳健性,为开发专用油脂近红外光谱分析仪器提供了重要参考依据。

波长优选BP神经网络用于近红外光谱分析

近红外光谱分析技术在物质成分分析中的得到广泛的应用,在自主研发的滤光片型近红外仪器中应用基于波长优选的BP神经网络模型的方法。该方法是采用多元线性回归算法获取最优波长,将最优波长作为BP神经网络模型的输入,所得模型的拟合残差为8.768991×10-6,建模样品集相关系数和检验样品集相关系数分别为0.994和0.996。试验结果表明,基于波长优选的BP神经网络模型方法能够更快获得最优解,减少建模所用变量,建立稳健的定量模型。

基于波长组合的多元线性回归在近红外光谱波长优选中的应用

在自主研发的滤光片型近红外检测仪上通过用多元线性回归算法选择最优定量波长,为仪器提供了稳健的定量模型。在制备的26个蛋白质含量为10%～16%的样品的基础上,用DPS软件建立模型,选取各个波长组合进行多元线性回归,然后用多元线性回归给出的与最大检验相关系数定量模型对应的波长组合作为最优波长。试验结果表明,其最优波长分别对应于1、3、4、8号滤光片,校正相关系数和检验相关系数分别为0.847和0.707。用这种方法得到的最优定量模型的实际预测能力相对较强,优选出的波长是可靠的。

特征峰值投影技术应用于鱼粉蛋白近红外波长优选

采用近红外光谱线性分析技术实现对鱼粉蛋白的快速检测,选择合适的波长变量是提高模型预测精度的关键。主要目的是建立一种稳健、简单的多元线性回归(MLR)模型,通过研究基于特征峰值的投影技术实现参与建模的波长优选。特征物质在近红外光谱区域的吸收特征,以鱼粉一阶导数光谱的峰谷波长点作为出发点,依次采用逐步多元线性回归(SMLR)和连续投影线性回归(SPA-MLR)方法完成两度特征信息波长筛选,进一步对备选的波长变量执行显著性检验,最终确定近红外线性分析的特征信息波长组合。结果表明,近红外长波区域中优选出53个特征信息波长变量,能够提高鱼粉蛋白近红外定量模型的预测精度,简化了模型,从而提高了模型的适用性和稳健性。

1000～2500 nm宽波段的葡萄糖吸收光谱的测量波长优选

采用近红外光谱法无创测量人体血糖时,葡萄糖浓度变化引起的光强信号微弱,为了实现目标测量精度,需要选择适宜的测量波长使葡萄糖引起的吸收信号水平强于噪声信号水平.本文提出了基于最佳光程长的测量波长选择原则,可在测量灵敏度最大的条件下,评价葡萄糖吸收光谱的测量是否可行.以葡萄糖在水溶液中的测量为例,基于最佳光程长理论,对1 000~2 500 nm的每个波长均进行光程优化,以1 mmol/L的检测浓度为目标,筛选了可行的测量波段.结果表明,即使在最佳光程长下检测,该检测目标对测量光谱的重复性信噪比要求也非常高,当SNR达到10 000∶1时,仅有4个波段满足要求,分别是:1 000~1 160 nm,1 375~1 420 nm,1 590~1 640 nm和1 870~1 910 nm.其中短波长波段1 000~1 160 nm对光谱信噪比的要求最低,且最佳光程长最长,皮肤穿透深度最大,显示了较好的应用前景.这一结果对皮肤中的葡萄糖测量的波长选择有较好的参考价值.此外,本文所提出的波长选择方法也同样适用于采用吸收光谱法对其他物质成分的测量.

MIV波长优选改善VIS/NIR光谱TVB-N模型性能研究

挥发性盐基氮(TVB-N)是衡量肉品新鲜的重要理化指标,利用可见/近红外(VIS/NIR)光谱对TVB-N含量进行定量检测具有重要意义。预测模型是VIS/NIR光谱检测TVB-N含量性能的关键要素,使其兼顾准确性与稳健性可有效改善TVB-N的定量分析结果。以猪肉为例,采集51组不同新鲜度样本的VIS/NIR光谱数据,去除低信噪比区间200~450和900~1000 nm,选取有效波段450~900 nm的光谱数据用于建模。随后利用主成分分析(PCA)对光谱信息降维,构建一个反向传播神经网络(BPNN)模型。在此基础上,提出用平均影响值(MIV)方法从有效波段中优选与肉质TVB-N含量强相关的特征波长,最终基于221个优选波长,构建一个MIV-PCA-BPNN预测模型。实验表明,初步构建的PCA-BPNN非线性预测模型,校正相关系数(R_C)和校正均方根误差(RMSEC)分别为0.96和1.47 mg/100 g,预测相关系数(R_P)和预测均方根误差(RMSEP)分别为0.93和1.74 mg/100 g,模型稳健性指标为1.18,优于经典的线性预测模型主成分分析回归和偏最小二乘回归,证明TVB-N具有较强的非线性效应。最终构建的MIV-PCA-BPNN预测模型的R_C和RMSEC分别为0.98和1.21 mg/100 g,R_P和RMSEP分别为0.96和1.12 mg/100 g,模型稳健性指标为1.08,在所构建的预测模型中,RMSEC和RMSEP最小,RC和RP最大,模型的准确性和稳健性最佳。另外,MIV方法筛选出的特征波长集中在7个波峰附近,皆分布于肉品中化学成分的吸收区内,且与TVB-N中的含氢基团的特征吸收峰表现出高度一致性,为利用MIV方法筛选波长变量提供了理论依据。研究结果显示,MIV波长优选可有效改善预测模型的性能,为利用神经网络剔除无关波长变量提供了新思路,所构建的MIV-PCA-BPNN预测模型满足了肉质中TVB-N定量分析的需求。

喷气燃料近红外光谱波长优选方法的比较研究

由于近红外光谱谱区较宽,全谱中通常包含大量的冗余和干扰信息,对校正模型的性能影响较大,因此需要对光谱进行波长优选,挑选出一部分能最大限度体现光谱信息的波长集合,提高建模效率与模型精度。为研究波长优选对喷气燃料校正模型性能的影响,制备了35个喷气燃料样本,接着利用相关系数法(CC)、无信息变量消除法(UVE)、连续投影法(SPA)、随机蛙跳法(RF)和移动窗口偏最小二乘法(MWPLS)进行波长选择,然后以密度为例建立偏最小二乘(PLS)模型。结果显示:通过波长优选后建模的波长数显著减少,为全谱的0.74%~10.25%,其中SPA选取的波长数最少,仅10个波长点;与全谱模型相比各模型校正集的SEC降幅为23.07%~53.85%,其中PLS-SPA降幅最大,R_(c)^(2)的增幅为0.38%~2.14%,其中PLS-UVE增幅最大;验证集SEP的降幅为13.33%~90.00%,其中PLS-UVE、PLS-SPA和PLS-RF降幅最大,R_(p)^(2)的增幅为0.78%~3.25%,其中PLS-UVE的增幅最大;另外,通过波长选择后建立的PLS模型主成分数显著减小,模型的解释力、复杂度得到较大改善。实验表明通过上述五种方法进行波长选择后不仅可以大大减少建模数据量,而且提高了模型的预测精度,具有很好的可行性与有效性。

基于SEV/SEC-iPLS的近红外光谱波长优选方法

为实现建模区间的波长优选,将iPLS法与验证标准差/校正标准偏差(standard error of verification/standard error of calibration,SEV/SEC)相结合,以喷气燃料为研究对象,对其初馏点进行定量分析。结果表明:iPLS法结合SEV/SEC的组合评价指标用所选光谱区间建立的校正模型性能得到较大改善,模型的决定系数R^(2)、SEV分别为0.94和1.05,较全谱区模型分别提升55.70%和36.23%,较传统iPLS法分别提升44.44%和17.50%,并通过配对t检验法验证,证明了该波长优选方法的可行性与有效性。

一种基于SCARS策略的近红外特征波长选择方法及其应用

针对近红外光谱数据的内在特点,提出了一种基于稳定性竞争自适应重加权采样(stability competitive adaptive reweighted sampling,SCARS)策略的近红外特征波长优选方法。该方法以PLS模型回归系数的稳定性作为变量选择的依据,其过程包含多次循环迭代,每次循环均首先计算相应变量的稳定性,而后通过强制变量筛选以及自适应重加权采样技术(ARS)进行变量筛选;最后对每次循环后所得变量子集建立PLS模型并计算交互验证均方根误差(RMSECV),将RMSECV值最小的集合作为最优变量子集。利用饲料蛋白固态发酵过程近红外光谱数据集对所提方法进行了验证,并与基于PLS的蒙特卡罗无信息变量消除法(MC-UVE)和竞争自适应重加权采样(CARS)方法所得结果进行了比较。试验结果显示:建立在SCARS方法优选的21个特征波长变量基础上的PLS模型预测效果更好,其预测均方根误差(RMSEP)和相关系数(Rp)分别为0.054 3和0.990 8;该优选策略能有效地增强固态发酵光谱数据特征波长变量选择的准确性和稳定性,提高了模型的预测精度,具有一定的应用价值。

稻谷千粒质量近红外光谱预测模型的波长选择方法

为研究波长选择方法对稻谷千粒质量近红外光谱分析（MRS）模型预测能力的影响，用偏最小二乘法（PLS），在600～1100nm的波长区间，建立稻谷千粒质量的全光谱近红外光谱预测模型，得到模型的内部交叉验证系数为0．714，外部验证决定系数为0．659，内部交叉验证误差和预测误差分别为1．809和1．756。采用相关系数法、互信息法、逐步回归法、无信息变量消除方法、遗传算法和间隔偏最小二乘法对建模波长区间进行选择和优化，再以同样的方法建立稻谷千粒质量NIRS预测模型。结果显示，通过波长选择和优化后，不仅参与建模的波长显著减少，而且所建模型的内部交叉验证和外部验证决定系数均有所增大，交叉验证误差和预测误差均有所减小。其中，采用遗传算法进行波长选择后，所建模型的内部交叉验证和外部验证决定系数最大，分别为0．729和0．710，交叉验证误差和预测误差则分别降低了9．50％和5．72％，是6种方法中最优的。表明经过波长选择后，可以提高稻谷千粒质量近红外光谱预测模型的预测能力。

基于SWCSS-CARS算法的综纤维素近红外分析模型传递

纸浆材综纤维素的近红外快速无损检测是提高造纸工业智能制造水平的重要手段之一。然而,在实际应用中已有的近红外模型往往无法预测不同仪器测得的木材样品光谱,从而大大限制了该技术的广泛应用。为了降低重新建模和维护的成本,需要运用模型转移技术。笔者以实现纸浆材综纤维素含量近红外分析模型在3台棱光光谱仪器上的共享为目标,以在3台同型号的近红外光谱仪采集的纸浆材样本为研究对象,采用竞争性自适应重加权采样(CARS)波长优化算法,减少筛选稳定一致性波长(SWCSS)方法中无效波长的不利影响,以提高模型对2台从机测量样品的分析能力。建立基于SWCSS-CARS算法的偏最小二乘回归(PLSR)模型,并将其对从机样品的分析能力与单独的SWCSS和CARS的分析能力进行对比分析。结果表明,以综纤维素为基础的SWCSS-CARS方法选出的30个波长建立的主机模型对2台从机样品分析的RPD均大于4.6,Akaike信息准则(A IC)的值为67.68,远远小于模型传递前的3209.83和SWCSS算法的942.82,降低了光谱矩阵的维数,显著提高了模型传递效率。表明SWCSS-CARS算法能够有效去除SWCSS方法中的无效波长,实现了纸浆材综纤维素含量模型在3台同型号近红外光谱仪间的共享。

siPLS-LASSO的近红外特征波长选择及其应用

近红外技术广泛应用于食品、药品等生产过程和产品质量检测,具有样品无需预处理、成本低、无破坏性、测定速度快等优点。但是,全光谱数据维数高、冗余信息多,直接应用于建模会导致模型复杂性高、稳定性差等问题。siPLS是最常见的光谱数据降维方法,但是难以处理光谱数据的共线性问题。LASSO是一种相对新的数据降维方法,但在小样本应用中具有不稳定性。针对siPLS和LASSO在近红外光谱数据应用中存在的问题,提出了基于siPLS-LASSO的近红外特征波长选择方法,并将其应用于秸秆饲料蛋白固态发酵过程pH值监测。该方法首先采用siPLS算法,实现对光谱波长最佳联合子区间的优选;然后,对优选联合子区间使用LASSO算法进行特征波长选择,在此基础上建立PLS校正模型。同时,将siPLS-LASSO方法与其他传统特征波长选择方法进行了对比。结果表明:建立在siPLS-LASSO方法优选33个特征波长基础上的PLS模型预测结果更好,其预测方差(RMSEP)和相关系数(Rp)分别为0.071 1和0.980 8;所提siPLSLASSO方法有效选取了特征波长,提高了模型预测性能。

基于SWSRA-UVE算法的纸浆材综纤维素近红外预测模型共享研究

为实现纸浆材综纤维素质量分数的近红外分析模型在3台不同光谱仪器上的共享,提出了光谱信号比值分析筛选波长-无信息变量剔除(SWSRA-UVE)联用算法。即利用无信息变量剔除(UVE)算法,减少光谱信号比值分析筛选波长(SWSRA)方法中无效波长的不利影响,以提高模型传递精度。建立基于SWSRA-UVE算法优选波长的偏最小二乘回归(PLSR)主机模型,并将其模型传递效果与其他常用模型传递方法进行了对比。结果表明,针对2台从机采用SWSRA-UVE方法最终分别优选出的252和105个波长建立模型,分别用于从机1和从机2测量光谱样品的综纤维素质量分数,预测标准偏差(RMSEP)与模型传递前相比分别从2.011 4和9.451 8下降到了1.238 6和1.629 4,且优于SWSRA和其他模型传递算法结果。因此,SWSRA-UVE方法通过UVE算法进一步优选SWSRA一致性波长结果,大大简化了模型传递过程,显著地提高了主机模型的普适性,有利于近红外光谱分析技术的推广应用。

基于稳定一致波长优选的综纤维素近红外分析模型传递

以实现纸浆材综纤维素含量的近红外分析模型在3台不同型号光谱仪上共享为目标,提出SWCSS-UVE及SWCSS-CARS联用算法。即分别利用竞争性自适应重加权采样算法(CARS)和无信息变量剔除(UVE)算法,减少SWCSS方法中入选的无信息或信息少波长的不利影响,以提高模型转移精度,并与单独的SWCSS和分段直接标准化算法(PDS)以及斜率截距(S/B)算法校正后的传递结果进行比较。结果表明,通过SWCSS-UVE方法最终可从稳定一致光谱信号中进一步优选出91个波长建立模型,该模型能同时应用于2台从机所测量光谱的分析,预测标准偏差(RMSEP)分别从模型转移前的2.0114和9.4518下降到了1.5919与1.6818,优于SWCSS,SWCSS-CARS和PDS以及S/B算法的结果。这表明SWCSS-UVE算法可以有效剔除SWCSS方法中包含的无效波长,简化模型传递过程,提高模型传递效率和稳健性。

光源光斑直径对苹果霉心病近红外检测的影响

为实现中早期霉心病苹果的有效剔除以提高苹果的整体品质,该研究利用近红外光谱技术对苹果霉心病进行快速无损检测,从光谱和分类模型两方面探究光源光斑直径对苹果霉心病检测的影响。在30、50及70 mm光源光斑直径条件下采集了苹果样本的透射光谱,分析不同光源光斑直径下健康苹果和霉心病苹果的光谱差异,然后应用支持向量机(support vector machines,SVM)和粒子群算法优化-最小二乘支持向量机(particle swarm optimization-least squares support vector machine,PSO-LSSVM)方法建立苹果霉心病的分类模型,并对不同光源光斑直径下的分类模型性能进行对比。在此基础上,采用竞争自适应重加权采样(competitive adaptive reweighted sampling,CARS)方法筛选特征波长变量并建立分类模型。结果表明,30 mm光源光斑直径对苹果霉心病的检测效果最好,建立的SVM和PSO-LSSVM分类模型性能均最优。30 mm光源光斑直径下,最优PSO-LSSVM模型的预测集的灵敏度、特异度和正确率分别为89.5%、95.5%和92.7%。CARS-PSO-LSSVM分类模型性能比全波段的分类模型性能略有下降,预测集的灵敏度、特异度和正确率分别为89.5%、90.9%和90.2%,但建模变量数仅占原波长变量数的4.2%,有效地简化了分类模型。该研究为苹果霉心病的快速无损高精度检测提供技术支撑。

基于可见-近红外光谱的鸡只粪便分类判别

鸡只粪便的性状是反映鸡只健康状况的重要特征之一,不同性状的鸡便往往与特定的疾病相关联。针对鸡只粪便性状主要依靠人工监测,存在速度慢且易发生交叉感染等问题,该研究提出一种基于可见-近红外光谱技术的鸡只粪便分类判别模型。首先,通过扫描4类典型的鸡只粪便样本(正常粪便、红血丝粪便、绿色粪便和饲料粪便)在400~900 nm波段范围的光谱数据,对每一类别的鸡便样本按随机性原则以3∶1划分为校正集和测试集。其次,分别采用多元散射校正、SG卷积平滑和标准差标准化进行数据预处理,并建立偏最小二乘判别分析模型,根据模型评价指标确定最优预处理方法。然后,使用主成分分析、竞争性自适应重加权采样、改进的混合蛙跳3种方法对预处理后的样本进行数据降维,并最终建立分类判别模型。结果表明:基于模型评价指标确定最优数据预处理方法后,再采用改进后的混合蛙跳降维方法建立的判别模型区分正常粪便、红血丝粪便、绿色粪便表现最优,测试集判别准确率分别为92.27%、92.59%、100%;而对于饲料粪便,所选3种降维方法建立的判别模型,其测试集准确率均可达100%。因此,通过可见-近红外光谱检测手段,结合特征波长优选与偏最小二乘判别分析,可以有效判别不同类型的鸡只粪便,为实现鸡病智能化监测提供技术支持。

基于随机森林的鱼粉蛋白近红外定量分析

基于近红外(NIR)光谱技术,采用随机森林(RF)回归方法测定饲料鱼粉的蛋白含量。考虑到RF模型的随机性,通过调试决策树数量(ntree)和分裂变量数目(nsv)来进行模型优选;利用基尼系数(G)的下降量来判断近红外波长变量的建模重要性,进而为鱼粉蛋白的NIR分析优选信息波长,以提高NIR定量分析精度。根据统计学原理,选择具有较低计算复杂度的等效最优模型。优选的RF模型构建471个决策树,需要随机的103个波长变量进行树节点分裂,同时通过计算节点分裂前后G的平均下降量来选择52个近红外信息波长进行定标校正,得到等效最优的校正模型,校正均方根偏差和校正相关系数分别为3.970%和0.943;经过独立的预测集样品对最优RF模型进行检验,预测均方根偏差为5.271%,预测相关系数为0.906,说明RF回归结合G系数的波长优选能够有效地提高NIR光谱应用于鱼粉蛋白定量的预测能力。