卷积神经网络结合改进光谱处理方法用于马铃薯病害检测

针对马铃薯早疫病不同染病时期光谱数据受到杂散光和噪声等因素的干扰,以及波段数众多、数据量大且谱带复杂会对光谱的定量和定性分析产生不利影响,研究9种光谱预处理方法,结合实验结果,将预处理方法进行排列组合,扩展改进为16种光谱预处理方法,并与连续投影算法、竞争自适应重加权算法和遗传算法3种特征波段提取方法进行组合得到64种光谱处理方法对原始光谱数据进行优化处理。在卷积神经网络(CNN)分类模型中,大部分经过光谱处理方法优化后的光谱数据分类精度相比原始数据的总体分类精度86.67%明显提高,其中12种光谱处理方法的分类精度达到100%,实现对马铃薯早疫病不同染病时期的理想分类。为进一步对马铃薯早疫病不同染病时期进行定量分析,将经过光谱处理方法处理后的光谱数据使用构建的CNN定量估算模型进行定量分析,结果表明,光谱预处理在优化数据的同时,也会损失数据中对目标变量有用的光谱信息,从而导致经过光谱分析方法处理后的数据结果相对于原始光谱数据的R^(2)和RMSE会出现下降的结果,通过研究使用的融合光谱处理方法对原始光谱数据优化能够进一步提升模型性能,其中基于均值中心化、多元散射校正、移动平均平滑相结合的光谱处理方法的CNN定量估算模型取得了最好的结果,其R^(2)为1说明估算的马铃薯早疫病不同染病时期和实际值拟合程度达到100%拟合,其RMSE仅为0.001 1,表明马铃薯早疫病不同染病时期的估算值与真实值之间的偏差接近0,说明该模型能够对马铃薯早疫病不同染病时期进行完美预测。结果表明提出的CNN能够对马铃薯早疫病不同染病时期进行有效地分类检测和定量分析,将各类预处理和特征波段提取方法按优化目的进行有效组合能够有效提高建模效果,为农作物病害无损、精准、智能化检测提供理论和技术支持。

基于里德堡原子的无线电光学测量及其光谱处理技术(特邀)

里德堡原子是一种高激发态的原子,具有较大电偶极矩,相邻能级差可覆盖DC~THz的超宽频谱范围,因而可以实现电磁场高灵敏、超宽带的传感接收。基于里德堡原子的无线电光学测量是通过碱金属原子在探测光和控制光等两束激光的精确调控下转变为里德堡原子,并使探测光透射光谱产生电磁诱导透明效应,进而在输入的无线电信号的作用下,使其透明光谱发生Autler-Townes(AT)劈裂,完成无线电信号到光学信号的转化,从而实现无线电信号频率、幅度、相位等信息的提取,具有直接解调、无需校准、抗电磁毁伤等特点。近年来,该技术在电场计量、电磁频谱侦测、通信、雷达等电子信息技术领域引起人们的强烈关注。该技术的关键在于如何从原子系统输出光谱中快速准确地提取出无线电信号的信息。针对静态无线电信号、动态无线电信号、单频无线电信号、多频无线电信号等不同类型的无线电信号,对应的信息提取和光谱处理方式也不同。依据不同类型的无线电信号,对基于里德堡原子的无线电光学测量及其光谱处理技术进行分类,并综述其原理、技术特点及国内外研究进展,最后结合该技术特点及其应用前景,对未来发展趋势作了展望。

南方丘陵地区路域植被光谱处理与分析

以长沙—湘潭高速公路路域植被为研究对象,进行植被实地调查和野外光谱测定,分析主要植被类型光谱曲线,健康植被与非健康植被光谱差异,对植被光谱数据进行一阶微分和微分增量处理对比研究。研究表明:光谱反射率一阶微分和微分增量处理对消除土壤背景对地物光谱影响均有效,但微分增量处理更能突出植被信息。研究对遥感植被光谱分析具有一定参考价值。

正交信号校正算法及其在光谱处理中的应用

基于正交投影的正交信号校正(OSC)算法是近年来在光谱处理上很活跃的一种方法。本文介绍了OSC算法的基本原理,并对S.Wold、Fearn等人的比较成熟的5种正交信号校正算法作了比较详细的介绍。利用谷物的近红外数据,采用5种不同的OSC算法对谷物中的湿度、油含量、蛋白质和淀粉含量的预报情况进行了比较,并讨论了OSC组分数对预处理结果的影响。结果表明,各种正交信号校正算法基本上都能取得比单纯使用PLS更好的结果。

光谱处理技术对提升光丝诱导荧光光谱检测低浓度NaCl气溶胶能力的实验研究

大气污染对人类的生产生活有极大影响,气溶胶作为污染物的重要部分,不容忽视。提高对大气气溶胶浓度检测的精确性,尤其是低浓度气溶胶,具有十分重要的意义。本文基于光丝诱导荧光光谱技术,对NaCl气溶胶数据进行预处理,并结合偏最小二乘法建立预测模型,探索不同预处理方法对模型检测精度的影响。讨论如何科学合理地选择预处理方法,按照预处理方法效果分为散射校正、平滑去噪、基线校正3个方面,并提出波峰显著度算法。通过无预处理、单一预处理以及组合预处理进行最优预处理方法的选择,并分析其建模精度的影响。实验结果表明,应用多个预处理方法的组合,与无预处理相比,均方根误差降低至0.03,预测相对误差减少60%;与直接观察光谱信号选择预处理方法相比,根据光谱信噪比的提升及预测组分的建模效果可以更为准确地选择最佳预处理方法。该研究为开展低浓度大气污染物的分析研究提供了一定的参考。

变压器油中铁颗粒检测的激光诱导击穿光谱处理方法研究

为实现激光诱导击穿光谱技术对变压器油中铁颗粒含量的准确定量检测,本文提出了一套光谱处理算法。该算法基于特征峰的稀疏性建模并结合凸优化规则改进数值迭代过程,以实现低通基线估计和特征峰分离;进一步,用目标分析线对光谱进行降维,并依靠基于袋装决策树的集成分类器完成烧蚀点的二分类。滤波器截止频率、滤波阶数、不对称比例、正则化参数分别取0.15、1、6、0.8时,基线估计及Fe特征谱线强度的准确性高;袋装决策树集成分类器对降维后光谱的识别准确率高达98.33%;有效点的光谱校正强度与Fe颗粒质量比的线性相关系数为0.9983。所提方法能精确实现特征谱线的提取和有效点筛选,保证油中Fe颗粒质量比定量检测的准确性。

光谱预处理-卷积神经网络模型预测油田污水含油量研究

含油量是油田污水的重要指标之一,快速分析油田污水含油量对油田污水达标回注处理具有重要意义。测量了油田含油污水水样的紫外透射光谱,基于含油污水紫外透射光谱,采用卷积神经网络(CNN)建立模型预测油田污水含油量,并比较了4种预处理方法对CNN模型预测能力的影响。结果表明:含油污水透射光谱经Savitzky-Golay平滑法预处理后建立的CNN模型优化效果最好,其rp和RMSEP分别为0.9649和1.8470。相比于利用原始光谱建立的CNN模型,SG-CNN模型的rp增加了0.0007,RMSEP降低了3.29%。而另外3种预处理方法对CNN模型的预测能力没有起到预期效果。因此,在使用CNN对油田污水含油量进行分析时,可使用SG预处理方法进行模型优化。本研究为油田污水含油量检测提供了一种快速检测的方法。

光谱数据预处理策略选择及应用

光谱预处理是建立光谱计量学模型中的重要环节,目前,已出现诸多光谱预处理方法。根据预处理目的与效果的不同,分类综述了散射校正、尺度缩放、平滑处理、基线校正与滤噪中常用光谱预处理方法的提出、发展、原理、特点和近年来的应用实例;根据目前预处理方法使用时存在的问题,结合应用实例探讨了预处理方法集成策略的原理、发展和特点,并对其研究趋势和发展前景进行了分析,以期为光谱预处理方法策略的选择和使用提供依据和参考。

基于融合预处理的掺假咖啡太赫兹光谱识别

该研究通过太赫兹时域光谱采集70组含有西布曲明成分的咖啡在0~2.5 THz频段的光谱信息,建立随机森林、支持向量机、贝叶斯判别分析3种模式识别方法并进行比较研究。结果表明,未经过预处理的模型识别准确率较低。选择一阶导数、二阶导数、不同类型的巴特沃斯滤波器和Pearson特征选择融合光谱方法进行光谱信号处理。基于一阶导数处理的贝叶斯判别分析模型准确率为98.6%,基于高通巴特沃斯滤波器的随机森林模型分类准确率为94.2%,基于特征提取的融合光谱支持向量机(support vector machine, SVM)模型分类准确率为100%。选择最优预处理的SVM模型进一步对同一品牌不同地区的掺假咖啡进行鉴别,准确率为100%。研究实现了“品牌-产地”的二级特征识别,可为公安机关打击涉及咖啡的食品安全犯罪提供参考。

基于光谱预处理和机器学习算法的烤烟叶绿素含量预测

叶绿素是作物进行光合作用合成有机物的主要色素,实时监测烤烟叶片叶绿素含量对跟踪烟株氮素营养状况和判别烟叶成熟度具有重要的指导作用。基于对烤烟叶片光谱特征的分析,以不同供氮水平下实测的烟叶高光谱数据及叶绿素相对含量(SPAD)为数据源,采用一阶导数(1st Der)、多元散射校正(MSC)、标准正态变量(SNV)和SG平滑(SG)对原始光谱数据进行预处理,先采用连续投影法(SPA)挑选出每个预处理条件下的特征波长,后将各特征波段下的光谱反射率作为模型的输入变量,利用反向传播神经网络(BPNN)、随机森林(RF)和支持向量机(SVM)3种机器学习的方法分别构建烤烟叶片叶绿素含量估测模型。使用决定系数(R^(2))、均方根误差(RMSE)和平均绝对值误差(MAE)对每个机器学习模型的性能进行了评估和比较。结果表明:3种机器学习方法训练出的模型相比较,RF模型的预测准确率最高;烤烟叶片原始光谱经MSC和SNV预处理后的光谱信息作为输入变量,经RF算法建模具有较高的精度和良好的预测能力,模型为MSC-SPA-RF(R^(2)=0.96,RMSE=1.15,MAE=0.94)和SNV-SPA-RF(R^(2)=0.96,RMSE=1.14,MAE=0.94)。说明基于机器学习利用高光谱数据估算烤烟叶片叶绿素含量具有可行性,这为实时、精确地监控烤烟生长过程中叶片叶绿素含量变化状况以及合理科学的进行田间管理提供了一定的理论基础。

近红外光谱样本集划分以及预处理的方法研究

近红外光谱(Near Infrared Spectroscopy,NIR)是一种操作简单、效率高的绿色分析技术,现已广泛应用在各个方面。在对近红外光谱数据分析过程中数据处理的方法也变得极其重要,通过查阅国内外相关文献对现有的近红外光谱一些处理方法进行了分析和总结,综述了近几年近红外光谱中异常样本识别、样本集划分、光谱预处理在分析过程中的一些化学计量学方法,并对这些算法以及应用进行介绍,不仅为近红外光谱化学计量学的发展提供参考,还为后续对近红外光谱的广泛应用提供技术保障。

水泥生料成分的近红外光谱分析方法研究

水泥是一种重要的基础建筑材料,对社会生产有着重大的影响,实现水泥生料成分的快速检测对建筑行业的发展具有重大意义。本文基于近红外光谱分析方法研究了水泥生料中的Al_(2)O_(3)、Fe_(2)O_(3)成分的含量检测,首先通过联合X-Y距离划分法对样品集进行划分,然后对训练集采用不同光谱预处理方法进行处理,最后采用偏最小二乘回归和支持向量回归分别对近红外光谱数据建立预测模型,并对预测结果进行分析比较。研究结果表明,采用S-G平滑预处理和偏最小二乘回归建模的近红外光谱分析方法检测效果较佳,Al_(2)O_(3)检测模型的决定系数R2为0895,预测均方根误差(RMSEP)为0072;Fe_(2)O_(3)检测模型的决定系数R2为0732,RMSEP为0023。研究结果为水泥生料成分的检测提供了有效的分析方法,促进了水泥行业的进一步发展。

激光诱导击穿光谱技术在提高矿冶分析准确度的研究进展

激光诱导击穿光谱法(LIBS)是一种基于原子发射光谱的多元素分析方法,具有快速、准确、无需复杂的样品制备和远程分析的优点.然而,由于矿石、冶金样品化学成分的复杂性和多样性,干扰信号多,以及激光光谱的谱线维度较高和自吸收效应严重,LIBS技术在矿冶领域定性、定量分析的准确性受到了一定影响.本文综述了LIBS在矿冶领域3种信号增强方法,分别是双脉冲、纳米粒子增强和空间约束,以及综述了降噪、归一化和自吸收校正3种光谱预处理方法.此外,为提高定性、定量模型的泛化能力和分析的准确性,人们在模型算法和参数优化做了大量的工作.简要概述了主成分分析、偏最小二乘判别分析、支持向量机、随机森林和人工神经网络5种LIBS定性分析建模方法在矿石、冶金样品中的应用,以及概述了多元线性回归、偏最小二乘法、支持向量机、人工神经网络和自由定标法5种定量分析建模方法在矿石、冶金样品中的应用成果,并对LIBS技术未来在矿冶分析领域的发展进行了展望.

差分光学吸收光谱系统中标准吸收截面数据处理方法研究

本文介绍了差分光学吸收光谱法（DOAS）测量大气污染气体浓度的基本原理,描述了在测量光谱分析中所做的一些必要处理。介绍了卷积在DOAS方法中对污染物浓度反演的应用,通过与其它处理方法的光谱数据对比,证明了卷积处理光谱数据可以提高污染物浓度反演的精度。

遥感影像光谱信息处理的EXCEL实践教学

遥感影像数据的光谱信息分析与处理是目前遥感应用的热点之一。通过多年的遥感教学实践,依据PHI(Pushbroom Hyperspectral Imager)航空高光谱影像像元光谱维矢量数据,总结了基于EXCEL软件的高光谱影像地物光谱构建、光谱特征及其相关性分析、光谱微分计算、光谱向量相似性度量等光谱分析与信息识别的教学方法,以使学生在学习专业知识过程中增加实际工作经验与科研能力。

基于激光光谱遥感图像处理的地理信息系统研究

为进一步提高激光雷达技术的应用成效,本文提出一种基于激光光谱遥感图像处理的地理信息系统,此系统主要由数据管理模块、地理信息处理模块、场景控制模块以及数据传输模块等四大模块组成。在应用过程中,系统会将激光雷达技术所获取的光谱遥感图像快速处理为地理信息处理模块可以接收和处理的融合图像信息,进而提高系统地理信息处理和显示效率及效果,提高系统应用性能,为数字城市建设提供相应的地理信息支持。

基于DSP的多光谱数据处理系统设计与实现

为了实现对多光谱数据同时且高速的数据处理,设计了一种基于DSP的多光谱数据处理系统及其校正算法。系统由激光光源、干涉棱镜、线阵CCD、基于TMS-6415型DSP的处理电路等构成。实验对638 nm、655 nm和660 nm 3组激光进行光谱分析,首先对干涉条纹快速采集并滤波,然后通过Mertz法实现3组光谱的相位校正,从而保证3组激光光谱分析的精度。实验结果与Q8344A型光谱仪的测试数据进行对比,中心波长测试结果误差为±0.3 nm,光谱分布与标准谱基本一致且其信噪比更高。由此可见,系统可同时完成多光谱数据的快速反演,具有一定应用价值。

黑果枸杞果实中主要成分的傅里叶变换近红外光谱预测模型构建

使用傅里叶变换近红外光谱(FT-NIR)结合化学计量学方法,开发了一种黑果枸杞干果和鲜果中主要成分(总糖、还原糖、总酸、氨态氮、花青素、原花青素、总酚、黄酮和多糖)含量的预测方法。首先比较了11种原始光谱的预处理方式,筛选出每种成分的最优预处理方法。然后比较了利用偏最小二乘(PLS)、区间偏最小二乘(iPLS)和联合区间偏最小二乘(siPLS)算法建立的模型,最终确定采用siPLS建模。结果表明:总酸、氨态氮、花青素、原花青素、总酚和黄酮的交叉验证相关系数(Rc)和预测集相关系数(R_(P))均大于0.9818,相对分析误差(RPD)均大于2.5,模型效果优异,总糖、还原糖和多糖的建模效果良好,建立的定标模型均可以用于实际检测。验证集样本实测值与预测值无显著性差异,预测误差在±0.1%,模型的预测结果可信度高。本研究建立的预测模型,可以实现黑果枸杞干果和鲜果中主要成分含量的无损、快速、准确检测。

拉曼光谱结合改进稀疏编码器特征优选的成品油混合浓度预测方法

成品油混合浓度的预测对成品油顺序输送过程中的安全监控、混油段分割具有重要的意义。本研究配制92#汽油-3#航煤以及3#航煤-0#车柴两组包含不同浓度的混合样品,并对其进行拉曼光谱采集;依次采用归一化、多元散射校正、BaselineWavelet基线校正3种光谱预处理方法进行优化;之后采用改进的栈式稀疏自编码器(Stacked Sparse Autoencoder,SSAE)模型对预处理之后的拉曼光谱进行稀疏特征提取,并结合全连接层进行回归预测;最后根据均方根误差(Root Mean Square Error,RMSE)和决定系数(R^(2))两项评价指标,与偏最小二乘回归(Partial Least Square Regression,PLSR)、最小二乘支持向量回归(Least Square Support Vector Machine,LSSVR)以及SSAE 3种模型进行对比。结果表明:改进的SSAE-FC模型表现出更优的预测精度和稳定性,92#汽油-3#航煤混油测试集的R^(2)和RMSEC指标分别为0.9952和0.8932,3#航煤-0#车柴混油测试集的R^(2)和RMSEC指标分别为0.9837和1.1967,且学习得到的稀疏特征的可解释性强。

光谱预处理在农产品近红外模型优化中的应用研究

在农产品品质的近红外光谱分析中,光谱预处理方法的选择直接影响所建品质模型的稳健性和准确性。为此,使用132个小麦样品的近红外光谱集为例,分别对于原始光谱集和添加不同比例高斯白噪声的光谱集建模,比较了几种常见的光谱预处理方法(小波消噪、光程校正、导数、基于遗传算法的谱区挑选、正交信号校正)对建模的影响。从实例中得出:在光谱信号较好的前提下,谱区挑选是首选的预处理方法;矢量归一化预处理能够比较有效地去除高斯白噪声;在噪声较大的情况下,预处理方法组合明显提高了模型的质量,但是组合顺序还有待于进一步研究。