基于可见/近红外光谱和数据驱动的机器学习方法测量土壤有机质和总氮

土壤养分直接关系到作物产量与品质状况,然而传统化学方法检测存在化学试剂消耗大、耗时费力等问题,不能满足精细农业的需求。快速获取土壤养分信息是发展精细农业、绿色农业的关键,想要了解土壤肥力状况,必须先了解有机质和总氮的含量状况。许多研究表明,长波近红外光谱被广泛应用于土壤检测领域,然而短波可见/近红外光谱在土壤有机质和总氮的研究上却非常罕见。以江西省吉安市安福县和南昌市新建区的四个村庄作为研究区,根据2×2网格法采集了深度为10~30 cm的棕壤、红壤和水稻土三种最为典型的土壤样品共180份。经过研磨、风干等处理后用四分法均匀划分为两份,用于测定样品光谱信息和理化信息。将土壤样品按照2∶1(120∶60)划分为建模集和预测集。考虑到首尾端波段噪声较大,故去除325~349和1051~1075 nm波段,将350~1050 nm波段用于光谱分析。通过连续投影算法(SPA)筛选出有机质12个特征波长点,总氮11个特征波长点,考虑到土壤光谱信息与土壤理化性质之间可能存在非线性联系,建立全波段与特征波长的线性偏最小二乘回归(PLSR)模型和非线性最小二乘支持向量机(LS-SVM)模型对土壤有机质和总氮进行研究,LS-SVM模型采用两步网格搜索法优化了两个超参数γ和σ^(2)。研究结果表明:(1)土壤的光谱反射率随波长增加反射率升高,反射率曲线中460、550、580、740和900 nm处有较为明显的吸收特征。(2)从PLSR模型和LS-SVM模型结果分析可知,非线性模型LS-SVM具有更好的预测精度,分析认为土壤光谱信息与土壤理化性质之间存在一些非线性关系。(3)通过连续投影算法筛选的特征波长提高了模型精度,优化了模型运行效率。SPA-LS-SVM模型是所有模型中最优的预测模型,其中有机质模型的R_(pre)^(2)为0.8847,RMSE_(p)为0.1048,RPD为2.9450,总氮模型的R_(pre)^(2)为0.9018,RMSE_(p)为0.0104,RPD为3.1911。(4)本研究说明可见/近红外光谱能够用于测量不同类型的土壤有机质和总氮含量,并且达到较好的预测效果。可见/近红外光谱在土壤检测领域具有巨大潜力。

柑桔叶片黄龙病光谱特征选择及检测模型

为探索高光谱技术诊断黄龙病及分类的可行性,通过变量筛选方法组合为高维数据实用化提供参考。采集柑桔叶片高光谱图像并进行普通(polymerase chain reaction,PCR)鉴别分为轻度、中度、重度、缺锌和正常5类样品。用无信息变量消除算法(uninformative variable elimination,UVE)剔除无关信息,组合遗传算法(genetic algorithm,GA)和连续投影算法(successive projections algorithm,SPA)筛选变量,对数据进行降维。结合极限学习机(extreme learning machine,ELM)和最小二乘支持向量机(least squares support vector machine,LS-SVM)构建柑桔黄龙病判别模型。对预测样品进行诊断分类,来评价模型判别能力。经对比发现,UVE组合SPA筛选变量后的LS-SVM模型效果最好,该模型以Link_kernel函数为核函数,惩罚因子(γ)最小为1.07,误判率最低为0。用全谱作输入变量时LS-SVM模型复杂程度最高且预测能力最差,误判率最高为11.9%,可能是包含无用信息和冗余信息变量造成的。研究显示,UVE组合SPA筛选变量,结合LS-SVM对柑桔黄龙病诊断并分类具有一定可行性,为高维度数据实用化提供一定参考价值。

基于无信息变量消除法和连续投影算法的可见-近红外光谱技术白虾种分类方法研究

应用无信息变量消除法结合连续投影算法对可见-近红外光谱区进行有效波长的选择,选择后的波长作为输入变量建立最小二乘-支持向量机模型,对白虾属中三种典型种,脊尾白虾、秀丽白虾和东方白虾进行鉴别分类.实验采用Kennard-Stone算法选取150个样本作为建模集,50个样本作为预测集,通过UVE-SPA优选了数值分别为392、431、517、551、595、627、676、734、760、861、943和1018 nm的12个波长为LS-SVM的输入变量,建立了白虾种分类模型.该模型对50个预测集样本检验的准确率达到了92.00%.结果表明,采用可见-近红外光谱对白虾种进行鉴别是可行的,UVE-SPA能够有效地进行波长选择,使LS-SVM模型获得最优的分类结果.

基于高光谱成像技术的茄子叶片灰霉病早期检测

为建立基于高光谱成像技术的茄子叶片灰霉病早期检测方法,利用高光谱成像系统获取120个茄子叶片在380～1 031nm范围的高光谱图像数据,通过主成分分析(PCA)对高光谱数据进行降维,并从中优选出3个特征波段下的特征图像,截取200×150的感兴趣区域图像(ROI),并从每幅特征图像中分别提取均值、方差、同质性、对比度、差异性、熵、二阶矩和相关性等8个基于灰度共生矩阵的纹理特征变量,通过连续投影算法(SPA)提取13个特征变量,利用最小二乘支持向量机(LS-SVM)构建茄子叶片灰霉病早期鉴别模型,模型判别准确率为97.5%。说明高光谱成像技术可以用于茄子叶片灰霉病的早期检测。

基于近红外漫反射光谱的损伤猕猴桃早期识别

以贮藏1d的碰撞损伤猕猴桃、挤压损伤猕猴桃和无损猕猴桃为对象,分别建立了猕猴桃的Fisher判别模型、BP神经网络判别模型与最小二乘支持向量机(LSSVM)判别模型,综合比较了采用全光谱波长(FS)、主成分分析(PCA)提取特征变量与连续投影算法(SPA)优选特征波长作为各模型输入变量时,对各模型判别效果的影响。研究结果表明,SPA优选特征波长相比于PCA和FS有较明显的优势;3种判别模型均能基本满足实际要求,且LSSVM模型的识别性能最佳,其中SPA-LSSVM模型对预测集碰撞损伤样品、挤压损伤样品与无损样品的正确识别率分别达到100%、95%和100%,总的正确识别率为98.2%。

基于可见-近红外光谱技术的润滑油含水量无损检测方法研究

研究了基于可见-近红外光谱技术的发动机润滑油含水量快速检测方法。在获取光谱信息的基础上,提出了采用不同的光谱建模方法以提高检测精度和简化分析计算。分别采用主成分分析(PCA)和连续投影算法(SPA)方法进行模型输入变量的提取。SPA最终选择了476,483,544,925,933,938,952,970和974nm共9个波长为最优变量。基于SPA选择的变量,分别应用偏最小二乘回归(PLSR)和多元线性回归(MLR)建模。效果均优于全波段PLSR模型和PCA-PLSR模型。说明SPA选择的有效变量能够包含最重要的全波段光谱信息,同时可以去除无用的信息变量。为了进一步提高检测效果,采用LS-SVM分别基于SPA选择后的有效变量和全波段光谱进行建模。两个模型的预测确定系数(Rp2)均在0.9以上。SPA-LS-SVM的效果要优于全波段LS-SVM模型的效果。SPA-LS-SVM模型的Rp2达到了0.983,剩余预测偏差(RPD)值为6.963。表明可见-近红外光谱可以用于发动机润滑油含水量的检测。

紫外可见光谱的水产养殖水体有机物浓度快速检测研究

应用紫外可见(ultraviolet/visible,UV/Vis)光谱技术对表征水产养殖水体中有机物浓度的指标化学需氧量(chemical oxygen demand,COD)进行快速测量,对采集到的135份甲鱼养殖水样进行UV/Vis波段全光谱扫描,采用无信息变量消除(uninformative variable elimination,UVE)和连续投影算法(successive projections algorithm,SPA)相结合的变量选择算法选取全波段光谱中的特征波长,从201个UV/Vis光谱变量中选取了7个特征波长,只占全波段光谱变量的3.48%,降低了建模的时间和模型的复杂度。结合最小二乘支持向量机(least-square support vector machine,LS-SVM)算法进行COD预测建模,结果表明:使用特征波长建模的预测效果(相关系数r(correlation coefficient)=0.89,预测均方根误差(root mean square error of prediction,RMSEP)=15.46mg·L-1)好于使用全波段光谱建模的预测效果(r=0.88,RMSEP=15.71mg·L-1)。使用UVE-SPA变量选择算法获取UV/Vis光谱特征波长,结合LS-SVM建模,可以快速、准确的测量水产养殖水体中的COD浓度,为进一步实现水产养殖水质的在线检测以及其他水质参数的快速测定奠定了基础。

PCA和SPA的近红外光谱识别白菜种子品种研究

为了实现对不同品种白菜种子的快速无损鉴别,应用近红外光谱技术获取白菜种子的光谱反射率,首先采用变量标准化校正和多元散射校正对原始光谱进行预处理;其次,采用主成分分析法(PCA)对光谱数据进行聚类分析,从定性分析的角度得到三种不同白菜种子的特征差异,并采用连续投影算法(SPA)选取特征波长;最后,分别基于全波段光谱、PCA分析得到的前3个主成分变量以及SPA算法选取的特征波长,建立了最小二乘支持向量机(LS-SVM)和偏最小二乘判别(PLS-DA)模型进行白菜种子不同品种的鉴别。从主成分PC1、PC2得分图中可以看出,主成分1和2对不同种类白菜种子具有很好的聚类作用。基于特征波长建立的PLS-DA和LS-SVM模型的判别结果优于基于主成分变量建立的模型,其中基于特征波长建立的LS-SVM模型识别效果最优,建模集和预测集的品种识别率均达到100%。结果表明,通过SPA算法选取的6个特征波长变量能够很好的反映光谱信息,提出的SPA算法结合LS-SVM预测模型能获得满意的分类结果,为白菜种子品种的识别提供了一种新方法。

汽轮机油中含水量的近红外光谱研究

汽轮机油在使用过程中会因为种种原因混入水分，使油液理化性能发生变化，影响系统的正常工作，采取合理的措施有效地对汽轮机油中的含水量进行分析一直是汽轮机油的研究热点之一。应用近红外光谱技术结合连续投影算法（SPA）实现了汽轮机油中含水量的分析，通过对汽轮机油中含水量为0～0．156％的57个油样进行光谱扫描，运用原始光谱、一阶导数光谱和多项式最小二乘拟合求导算法Savitz-ky-Golay（SG）的不同预处理方法，并应用SPA提取近红外光谱的有效波长，以相关系数（r）和均方根误差（RMSE）作为模型评价指标对汽轮机油中含水量进行了研究。结果表明原始光谱经过一阶导数与SG预处理后，应用SPA提取近红外光谱的16个特征波长，作为最小二乘支持向量机（LS-SVM）模型的输入变量，建立了SPA-LS-SVM模型。运用此模型对验证集样本进行预测的相关系数和均方根误差分别为0．9759和2．6568×10^-3，说明应用SPA结合近红外光谱技术来检测汽轮机油中含水量是可行的，并能获得满意的预测精度，为进一步应用光谱技术进行汽轮机油中其他污染物的检测提供了新的方法。

基于近红外特征变量筛选对火麻油掺杂的快速检测

利用近红外光谱技术对掺杂了大豆油、花生油、葵花籽油和玉米油的火麻油进行鉴定,结合偏最小二乘法(PLS)和最小二乘支持向量机(LS-SVM)模型建立定量分析,并利用连续投影算法(SPA)和竞争自适应重加权采样算法(CARS)提取特征变量.结果表明:LS-SVM回归模型的准确度优于PLS模型,其预测相关系数R_p^2分别达到0.950 4、0.905 8、0.857 4和0.767 3;SPA和CARS是两种有效的特征变量选择算法,能够提高模型的准确性,并且CARS效果优于SPA;其中,LS-SVM-CARS模型的R_p^2分别达到0.982 1、0.907 5、0.958 7和0.924 9.因此,在油脂掺杂快速检测中,LS-SVM-CARS是一个准确度高、变量数少、传递性较强的定量分析模型.

基于LS-SVM高光谱成像鱼新鲜度鉴别

基于高光谱成像光谱信息的鱼新鲜度(鱼不同冷冻时间以及冻融次数)鉴别。首先,提取鱼样本感兴趣区域(region of interest,ROI)光谱,分别采用蒙特卡罗无信息变量消除(Monte Carlo free information variable elimination,MCVE),连续投影算法(successive projections algorithm,SPA)和随机青蛙算法(random frog,RF)提取特征波长,三种算法分别得到90,31和49个特征变量,采用最小二乘支持向量机作为分类模型,将90,31和49个特征变量作为LS-SVM模型的输入变量建立分类模型,基于SPA-LS-SVM和MCVE-LS-SVM模型预测集识别率都达到了98%,而采用RF-LS-SVM建立的模型取得了较差的预测结果 ,模型预测集识别率都只是达到了88%。结果表明,SPA-LS-SVM作为分类模型优于其他模型,SPA选择的特征波长,不但可以简化模型,还可以提高模型的预测精度,基于高光谱成像技术可以用于鱼新鲜度(鱼不同冷冻时间以及冻融次数)鉴别。

基于可见-近红外光谱技术的制动液品牌混掺比例快速无损检测方法

研究了基于可见-近红外光谱技术的制动液品牌混掺比例快速无损检测方法。全波段建立的偏最小二乘回归(PLSR)和最小二乘支持向量机(LS-SVM)模型均得到了较好的预测结果。这两个模型的建模集和预测集的确定系数(r_c^2和r_p^2)均在0.98以上。采用连续投影算法(SPA)挖掘特征波长,最终选择了439nm、443nm、459nm、519nm、570nm、717nm、896nm和902nm共8个波长作为最优变量。基于SPA选择的变量建立的PLSR和LS-SVM模型的r_c^2和r_p^2均在0.97以上,能够满足实际应用的需要。研究结果表明,可见-近红外光谱可以用于制动液品牌混掺比例快速无损检测。

基于连续投影算法和最小二乘支持向量机的污水中NH_3-N近红外光谱建模

通过扫描不同NH_3-N含量污水的近红外光谱,建立了水样中NH_3-N的定量分析模型。考虑到全谱高维数据建模较大的计算负担,采用连续投影算法(SPA)对水样光谱全谱进行特征波长筛选,将筛选后的特征变量采用最小二乘支持向量机(LS-SVM)进行建模;所建立的SPA和LS-SVM分析模型对污水中NH_3-N分析的预测均方根误差为3.210 8,相关系数为0.984 4,相对分析误差5.681 2;与全谱LS-SVM模型和全谱部分最小二乘(PLS)模型相比,此处的建模方法将全谱模型的512维数据压缩为28维特征光谱数据(计算量占全谱的5.47%),但模型分析精度与全谱LS-SVM模型相近,且高于全谱PLS模型;该方法对实现水样NH_3-N的快速检测以及低维度变量建模具有指导意义。

基于PCA-SOR-LS-SVM模型的入境游客流量预测研究

入境旅游客流量预测模型中输入变量的多少在一定程度上制约了模型的模拟速度和预测效果。首先,由主成分分析法对影响入境游客流量的指标进行综合分析从而确定出少数几个主要指标作为预测模型的输入变量,然后建立以主要指标为输入变量以客流量为输出变量的基于超松弛改进的最小二乘支持向量机预测模型。通过实验仿真,结果显示了基于PCA-SOR-LS-SVM的入境游客流量预测模型具有较好的预测精度和较强的推广价值。

基于PCA改进的SOR-LS-SVM旅游流量预测模型

利用主成分分析法建立以主成分为输入变量而以入境旅游客流量为输出变量的超松弛最小二乘支持向量机预测模型。通过实例验证和比较,演示了基于主成分分析改进的超松弛最小二乘支持向量机入境旅游客流量预测模型有较好的预测效果和较高的推广价值。

应用高光谱图像检测鱼肉挥发性盐基总氮含量研究

鱼类产品的新鲜程度研究一直是重要的课题,其中挥发性盐基总氮(TVB-N)是一项重要指标,该指标已列入我国食品卫生标准,一般在低温条件下,鱼类挥发性盐基氮的量达到30 mg/100 g时,即认为是肉质变质的标志。传统的物理检测方法不能够实现定量检测,化学检测法则耗时长,且需要专业人员进行破坏式检测。为了克服传统光谱检测技术无法检测分析外部空间属性的缺点,该实验采用波长范围在900~1700 nm高光谱成像结合化学计量法实现了三文鱼的TVB-N含量检测。首先对从市场买的新鲜三文鱼按照背面和反面(腹部)进行分割处理,背面和反面(腹部)再10等分,每条三文鱼制作成20个样本,一共100个样本,其中75个样本用于校正集,25个样本用于预测集。然后用高光谱成像系统采集三文鱼鱼样本的光谱数据,再通过蒸馏法测定三文鱼TVB-N的含量,并建立其理化值样本,然后分别采用最小二乘支持向量机(LS-SVM)和偏最小二乘(PLS)模型对100个样本光谱全波长数据进行三文鱼TVB-N建模分析。LS-SVM模型和PLS模型预测决定系数(R^(2))分别为0.918和0.907,预测均方根误差(RMSEP)分别为2.312%和2.751%。为了进一步提高运算效率和优化模型,对全谱数据利用连续投影算法(SPA)提取到8个特征波长(956,1013,1152,1210,1286,1301,1397和1464 nm),基于8个特征波长分别建立SPA-LS-SVM和SPA-PLS模型,模型预测决定系数(R^(2))分别为0.903和0.901,RMSEP分别为2.761%和2.801%,SPA-LS-SVM模型的结果优于SPA-PLS。最后SPA-LS-SVM模型因其可靠性和有效性而被选择为最适合TVB-N预测模型,基于图像处理编程技术将高光谱图像中的每个像素转换成相应的TVB-N值并以不同颜色表示,实现了三文鱼肉TVB-N含量的可视化,可以很形象的表达三文鱼的TVB-N的含量分布情况。实验说明,可利用高光谱成像技术预测三文鱼的TVB-N含量预测,这为水产品的自动加工和分类奠定了基础,渔业可以从高光谱技术中获益。

基于SPA-LSSVM的混合农药残留荧光检测建模方法

为了提高多组分混合农药残留荧光检测的含量预测精度,该文提出一种基于连续投影算法(Successive projections algorithm,SPA)和最小二乘支持向量机(Least squares support vector machines,LSSVM)的建模方法。该方法首先应用连续投影算法分别优选出灭蝇胺、异丙甲草胺、克菌丹及噻虫嗪4种农药对应的特征波长,获得25个特征波长点作为预测模型的输入;然后应用最小二乘支持向量机方法对该四组分混合农药残留进行含量预测建模,发现该方法模型的预测精度高于传统偏最小二乘回归模型,验证了方法的有效性。试验结果表明,该方法可用于多组分混合农药残留的荧光检测,且检测精度良好。

基于SOR-LS-SVM的公路旅游客流量组合预测模型

基于指数平滑、多元线性回归、灰色系统等目前常见的预测方法建立超松弛改进的最小二乘支持向量机算法的公路旅游客流量组合预测模型。通过实例验证和比较,展示了基于超松弛最小二乘支持向量机算法的公路交通旅游客流量组合预测模型具有较好的预测效果和较高的应用价值。

基于机器视觉的辣椒外部品质检测

为实现正常辣椒和缺陷辣椒(黑斑、虫蚀和花皮)的快速检测,通过图像采集,利用中值滤波去噪;提取样本图像24个颜色特征值,20个纹理特征值,利用Otsu算法阈值分割,提取2个形态特征值;选用连续投影法(Successive Projections Algorithm,SPA)优选14个特征值,结合最小二乘支持向量机(Least Squares Support Vector Machine,LS-SVM)方法进行建模,SPA-LS-SVM模型检测结果为98.67%,模型最优。

转基因水稻及其亲本叶片的可见/近红外光谱分析

应用可见/近红外光谱技术实现了转基因水稻叶片的快速识别和叶绿素含量(SPAD)的快速检测。建立偏最小二乘-支持向量机(LS-SVM)鉴别模型,校正集的正确率为100%,同时应用连续投影算法(SPA)提取有效波长,建立SPA-LS-SVM鉴别模型,只用了全变量的0.3%进行建模,其预测集的正确率达到87.27%。在定量分析中,各模型的最优结果均来自经过正交信号校正(OSC)的光谱数据,经过SPA处理后的模型均优于最优的全波段PLS模型,说明SPA是一种有效的波长选择方法。最优SPAD值预测模型为SPA-LS-SVM,其相关系数(r)和预测均方根误差(RMSEP)分别为0.902 2和1.312 1,获得了满意的结果。这说明提出的SPA-LS-SVM方法能快速识别转基因水稻叶片并对SPAD值进行准确预测,为实现大田活体鉴别与连续监测提供了新方法。