基于二维重组和动态窗格的水质检测紫外-可见光谱去噪算法

立足于成功研制的紫外-可见光谱水质检测多参数测量系统,针对紫外-可见光谱水质多参数原位实时检测在精度、灵敏度、稳定性等方面的实际需要,开展了基于二维重组和动态窗格的水质检测紫外-可见光谱去噪算法的研究,以此提高紫外-可见光谱水质检测的测量精度。光谱法水质检测系统通常使用工业级低成本光谱仪,其输出光谱包含明显的非平稳噪声。传统去噪法难以在滤除噪声的同时保留谱线细节。而且,原位实时水质检测条件下,被测水样可能快速变化,传统去噪法中常用的多次采样求均值法将产生额外的测量误差。引入的去噪算法通过对水样光谱进行等间隙连续采样,将光谱数据张成由光谱轴和时间轴构成的二维矩阵,经过二维小波变换后,设置一个可变宽度的窗格在系数矩阵中水平滑动,使用窗格内的小波系数计算得到动态去噪阈值,并随窗格滑动构建去噪阈值向量,由此进行光谱去噪。其中,窗格宽度由相邻区域的噪声方差变化率决定,变化率较高的区域缩小窗格宽度,反之则扩大宽度。实验结果表明,这种去噪算法不仅能有效去除光谱中的非平稳噪声,而且能保留光谱的细节信息,有助于提高仪器的测量精度。与此同时,由于该算法并未使用时域平均,样本的快速变化对去噪性能的影响较小,适合在线或原位水质检测的水样本环境。

夜晚天空光谱辐射测量研究及光谱去噪分析

光电成像器件在实现夜间光辐射探测时,由于其探测环境的光谱特性与标准光源完全不同,势必在成像特性分析上,由于光谱匹配带来较大误差。采用便携式CCD光纤光谱仪对晴朗月空、晴朗星空进行夜晚天光的光谱辐射特性测量,并进行光谱分析从而为正确评价光电成像器件的成像特性提供参考。

自适应的KEEMD方法及其在光谱去噪中的应用

聚合经验模态分解(ensemble empirical mode decomposition,EEMD)方法极好地抑制了EMD算法的模态混叠,但仍未很好地解决端点效应,另外由于EEMD加入白噪声的幅值系数及总体平均次数需靠经验设定,不利于信号快速、准确地分解与重构.针对上述问题,提出了自适应KEEMD(KELM-EEMD)方法.首先,基于核函数的极限学习机结合镜像法进行极值点延拓以抑制端点效应,并用于仿真信号分解及小麦反射光谱的去噪,验证了该方法抑制端点效应的有效性.其次,通过抑制端点效应后分解获得的高频分量,自适应地确定算法所需加入白噪声的幅值系数及总体平均次数,将此自适应KEEMD方法用于油菜、菠菜反射光谱的去噪.结果表明:该方法更加快速地获得了与靠经验设定参数的KEEMD方法基本一致的去噪效果.

基于EEMD的中药三维荧光光谱去噪方法研究

针对中药三维荧光光谱信号特征提取中的噪声问题,基于集合经验模态分解(EEMD)的去噪原理,对中药溶液的三维荧光光谱信号进行去噪研究。利用相关系数和箱线图筛选固有模态分量(IMF),将筛选后的IMF进行重构得到去噪后的数据。并探讨了EEMD分解时添加的高斯白噪声的幅值及设定相关系数的大小对去噪效果的影响。结果显示,当高斯白噪声的幅值为原信号标准差的0. 2倍,相关系数大于0. 5筛选IMF分量时,EEMD方法能很好地消除中药白术溶液三维荧光光谱信号中的噪声。进一步将该方法与经验模态分解(EMD)及小波去噪方法进行比较,结果表明,EEMD方法对中药溶液三维荧光光谱数据去噪效果优于EMD及小波去噪方法。

基于反向传播神经网络的拉曼光谱去噪方法

拉曼光谱技术作为一种典型的光学检测方法,因其独特的非侵入性、快速、原位和极高的特异性,在生物分析、疾病诊断及分子识别等众多领域得到广泛应用。拉曼光谱的指纹特性使其成为生物医学分析领域的重要工具,但拉曼散射信号微弱,数据处理分析大量依赖分析人员、自动化处理能力低等因素都会极大影响该技术在实际中的应用。实验设备、环境产生的噪声、待测生物样本的自发荧光等各种干扰因素使得高质量拉曼光谱数据的获得变得较为困难,各种随机噪声会干扰拉曼光谱图中指纹谱峰信息的识别,增大拉曼特征提取的难度,因此,噪声抑制在拉曼光谱预处理中显得十分重要。采用反向传播算法,从数据本身的特征出发,基于理想光谱片段和含噪光谱片段的线性差异,分别构建噪声判定神经网络和光谱去噪神经网络模型。以随机生成的一系列洛伦兹峰数学模型叠加生成拉曼光谱,对生成的拉曼光谱分别加入不同强度的噪声,以此为实验数据,对比新方法和经典滑动窗口均值法、Savitzky-Golay滤波法、傅里叶变换法、小波阈值变换方法去噪的结果。对均方根误差和信号噪声比两个指标进行分析,结果显示,在低噪声干扰下所有去噪方法都能较好地完成任务,但滑动窗口均值方法在光谱的边缘去噪效果会出现下降。随着噪声信号的增大,滑动窗口均值方法、S-G滤波方法、傅里叶变换方法去噪性能都出现明显下降。而基于反向传播神经网络的去噪方法要优于傅里叶变换法、滑动窗口均值法、S-G滤波器法,同时该方法在避免复杂参数寻优设置的同时,获得了和最优阈值小波变换方法近乎一致的去噪效果,大大简化了参数设置,更适合拉曼光谱去噪的自动化实现。

基于深度降噪自编码神经网络的近红外光谱去噪

近红外光谱仪在数据采集时,由于受到多种因素的影响,光谱数据常常被一系列噪声所污染,对光谱建模与分析产生巨大的影响。在建模前必须要对数据进行预处理,本文提出一种基于栈式降噪自编码神经网络的光谱信号去噪方法,基于降噪自编码模型重构的思想来实现特征的自动提取,使用无监督逐层贪婪预训练和有监督微调的方法对深度自编码神经网络进行训练,对光谱信号具有良好的噪声滤除效果。与目前比较流行的小波去噪等相比,栈式降噪自编码神经网络有较好去噪性能。最后,本文基于实际光谱仪采集数据进行实验,实验结果验证了该方法的有效性。

基于小波阈值组合滤波器的光谱去噪方法

在光谱数据的定量分析中,噪声的存在往往会影响分析结果的准确性,为了提高光谱数据的分析精度,需要对CCD采集的光谱数据进行去噪处理。针对光谱数据所含噪声主要为高斯白噪声和脉冲噪声的特征,对光谱数据的去噪处理提出了一种基于小波阈值组合滤波方法。介绍了由小波阈值法和中值滤波构成的组合滤波器的原理,并进行了仿真实验。结果表明:运用中值滤波再进行小波软阈值滤波的组合去噪方法,能有效地去除含噪光谱信号中的噪声,从而提高光谱信号的信噪比。

非下采样小波变换红外光谱数据去噪

为了降低噪声对实测红外光谱信号的影响,引入了一种非下采样小波变换的红外光谱数据去噪方法。采用非下采样小波变换对原始光谱信号进行多尺度分解,提取信号的多尺度细节特征;根据光谱信号和噪声在不同尺度上的差异,通过应用变分偏微分方程方法调整分解后的各子带系数;重构各子带就可以将原始光谱信号中真实信号和噪声分离,从而达到剔除噪声的目的。通过两组实验对比传统小波和该方法针对红外光谱数据的消噪效果,实验结果表明:非下采样小波变换在红外光谱数据去噪方面具有明显的优势,不仅能够有效地去除噪声,很好地保持信号的形状,并且均方误差较小;在实际的红外光谱数据处理中能够获得较好的去噪效果。

基于FFT奇异值分解的光谱信号去噪算法

微型光谱仪在采集光谱信号过程中,光谱数据经常受到来自仪器光学系统和电子电路中的干扰出现噪声和光源特征峰,严重干扰了真实光谱信号的图谱特征,因此需要使用合理的预处理方法保留光谱信号中有用信号并尽可能过滤噪声信号同时将光源特征峰滤除,从而提高光谱信息定量分析的稳健性和准确性。并且在线检测系统要求尽可能减少人为参数选择对去噪效果的影响,奇异值分解经常应用于由系统电路引起的噪声去噪,奇异值降噪阶次的选取对提高信号信噪比十分关键,但是往往参数选取主要依赖经验调试和实验验证。因此,提出了一种基于奇异值重构信号分量频率的光谱信号去噪算法。该算法首先重构原始光谱信号单个奇异值分量信号,然后对每个奇异值分量信号作快速傅里叶变换,得到每个奇异值分量信号快速傅里叶变换结果中振幅最大所对应的频率值,最后按照奇异值递减方式对相应分量信号频率值进行一阶滞后差分,得到频率差分谱,研究表明,差分谱第一个谱峰值在大于设定阈值处所对应的奇异值即为奇异值分解降噪的有效阶次。结果表明:对包含多种重金属离子的溶液在线测量的紫外可见光谱信号,添加不同强度的随机噪声,并进行去噪处理,使用信噪比和均方根误差两个性能指标进行对比。所提算法相较于SG滤波算法和小波变换去噪算法信噪比分别提高了22.05%,10.88%,均方根误差分别降低了74.28%,41.29%。所提算法完全基于数据驱动,在处理真实紫外可见光谱信号中不仅抑制了噪声影响,而且将微型光谱仪的光源特征峰有效滤除,在紫外可见光谱信号的定量分析中具有较好的应用前景。

自适应拉曼光谱成像数据去噪及其在植物细胞壁光谱分析中的应用

拉曼光谱成像数据存在基线漂移与宇宙射线干扰峰两类噪声信号,无法直接用于光谱分析研究,必须去除。现有单光谱去噪方法处理结果不稳定、可重复性差。针对这一问题,本研究提出了一种自适应拉曼光谱成像数据新型去噪法,采用优化的自适应迭代惩罚最小二乘法(Adaptive iteratively reweighted penalized least-squares,air PLS)和基于主成分分析(PCA)的干扰峰消除算法修正光谱基线漂移和宇宙射线干扰峰,具有输入参数少、光谱失真小、处理速度快、去噪结果稳定等优点。利用本方法去除了芒草(Miscanthus sinensis)细胞壁拉曼光谱成像数据(9010条光谱)中的噪声信号,并对去噪后数据进行PCA和聚类分析(CA),成功区分非植物光谱与植物光谱,分类结果优于未去噪数据。预期本方法可应用于其它光谱成像数据去噪,为光谱的解译和定量分析提供可靠的研究基础。

一种改进的奇异值降噪阶次选取方法用于紫外光谱信号去噪的研究

光谱去噪是光谱检测的重要环节。针对光谱信号易受光谱仪热噪声、现场机械振动以及随机噪声等因素影响,而在线监测系统要求减少人为参数选择对去噪效果的影响,提出利用奇异值分解（SVD）理论对光谱信号去噪。提出一种改进的降噪阶次选取方法：指定奇异值差分谱最大峰值点θ1为所选阶次下界;利用奇异值、奇异值差分谱综合信息选取阶次上界θ2;将区间θ1～θ2定义为模糊区域,通过模糊C均值聚类求取隶属度,赋予模糊区域内奇异值相应的权重系数。用所提方法对不同信噪比下SO2紫外光谱信号去噪,将信噪比、均方根误差、波形相似系数、平滑度指标用于去噪效果的评价。去噪结果表明：所提方法完全基于数据驱动,具有较好的去噪效果,能够真实的恢复原始信号。

基于RTF的高光谱图像去噪方法

高光谱数据中包含丰富的光谱和空间上下文信息。早期的高光谱图像去噪方法是单波段的、仅利用了高光谱数据的空间上下文信息。近年来提出的一些去噪方法综合利用了光谱和空间上下文信息,但是在对大尺度和全局上下文信息建模以及模型与图像内容自适应等方面存在局限,导致去噪结果出现过平滑的现象。针对上述问题,提出了一种基于回归树场的高光谱图像去噪方法：首先选择需要处理的高光谱波段;然后构建基于回归树场的高光谱去噪模型;最后利用基于特定代价函数的模型训练方法同时得到模型的结构和参数、输出去噪后的图像。实验结果表明,该方法能够充分利用高光谱数据的光谱和空间上下文信息,在有效去除噪声的同时很好地保存了图像中的重要细节,与BM3D和CRF相比,其PSNR提高了0.8-1.1 dB。

基于数学形态滤波的植被光谱去噪方法研究

光谱维噪声使地物光谱扭曲或变形,中心波长偏移,影响地物信息提取和地表参量反演的精度。对光谱维噪声进行滤波处理,有利于改善遥感数据定量应用的效果。由于数学形态滤波的原理简单且较易实现,被应用到植被光谱以及有机化合物光谱的研究中。运用数学形态滤波对地面实测小麦光谱去噪,一方面对滤波后的光谱进行噪声和波形相似度的直观分析,另一方面通过植被指数反演小麦理化参量进行定量应用评价。结果表明,与传统Savitzky-Golay滤波相比,在可见-近红外波段范围内,数学形态滤波去噪后的光谱能够保持可见—近红外波段原始光谱的固有特征,叶面积指数和叶绿素的反演精度比去噪前有小幅提升,主要原因是实测光谱在该谱段范围的噪声影响很小;在短波红外波段范围内,数学形态滤波能有效去除短波红外大尺度噪声,提高叶片含水量的反演精度。而传统Savitzky-Golay滤波只能削弱短波红外大尺度噪声。广义形态滤波去噪后植被指数和叶片含水量之间的R2最高可达0.5130(去噪前0.3753),叶片含水量的反演值与实测值之间的R2最高可达0.4221(去噪前0.3097),RMSE为0.0243(去噪前0.0318),优于传统Savitzky-Golay滤波。

近红外漫反射光谱的小波变换的去噪方法

以测定的紫丁香醛近红外漫反射光谱信号为标准,随机加入了一噪音信号,采用Daubechies小波系中的DB5小波函数,以4种阈值选取方法(最小最大准则阈值、Stein无偏似然估计阈值、混合阈值和固定阈值)和2种阈值函数(软阈值函数和硬阈值函数)组合对含噪音的光谱信号进行了小波去噪处理试验,以均差MSE评价组合各种阈值选取及阈值函数方法的去噪优劣。结果表明,对于该类型的光谱信号,采用最小最大阈值和软阈值函数组合,得到最优的去噪效果。

基于光谱加权低秩矩阵分解的高光谱影像去噪方法

高光谱遥感影像在获取和传输过程中会受到各种类型噪声的污染,不仅降低影像质量,也限制了其后续应用的精度。高光谱影像噪声类型复杂多样,且噪声在不同波段上的强度也并不相同。通过引入光谱域上的权重矩阵,文中提出了一种基于光谱加权低秩矩阵分解的高光谱遥感影像混合噪声去除方法,利用光谱权重矩阵均衡不同波段的噪声强度差异性。为进一步将噪声与纯净影像分离,利用加权核范数最小化来约束纯净高光谱影像的局部低秩结构,并利用交替方向乘子法对所提出的模型进行优化求解。通过对模拟与真实高光谱遥感数据的实验,验证了所提方法的有效性与优越性。

基于卷积神经网络的光谱预处理方法

光谱的预处理在光谱分析中占有非常重要的地位。针对现有光谱去噪算法对弱峰保存能力差、基线校正算法对光谱能量过扣除、光谱特征峰定位不准确以及各种预处理算法串行处理造成的误差累计等问题,设计了一个端到端的卷积神经网络。该网络由两个模块组成:基线校正和去噪模块和特征峰定位模块。这两个模块相互连接又独立输出。理想条件下,可以依据光谱的线型函数和特征峰的位置拟合出无噪声无基线的光谱,所以在基线校正和光谱去噪模块中连接特征峰定位模块的输出可以有效的提高去噪和基线校正的精度;而高质量的光谱有助于更加精确的估计光谱峰的位置,因此这两个模块相互连接可以有效提高重建光谱的质量。光谱基线校正和去噪模块是一个前馈网络,该模块由多个卷积层、激活函数和批归一化层构成,每一层均连接了特征峰定位模块的输出。特征峰定位模块是一个多尺度特征融合网络,该模块使用不同尺寸的卷积核将光谱分为不同的尺度,融合大小不同尺度的特征估计光谱特征峰的具体位置。在网络训练时,使用不同温度、湿度和不同预热时间的光谱仪获得光谱作为输入样本,使用中国计量院的标准仪器获得光谱数据作为输出样本。在实验中,首先对合成的光谱分别添加不同信噪比的噪声和不同峰值的高斯基线,分别评价该网络在噪声抑制、基线校正、光谱特征峰校正的能力;然后将添加噪声和基线后的玉米的近红外光谱作为样本,用最先进的算法对它们进行预处理,然后用偏最小二乘法估计玉米中的水和油的浓度。估计的浓度与用标准仪器测量的真实浓度进行比较,以证明所提出的CNN的优势。实验证明,所设计的网络在单任务和多任务处理中均能取得良好的结果。而且经过该网络处理的光谱在定量分析中可以得到更准确的结果,具有较强的实用价值。

基于无人机成像光谱技术的农田土壤养分估测及制图

成像光谱技术是精准农业中土壤理化特性快速获取和实时监测的重要技术支撑。该文以松辽平原农田土壤为研究对象,通过对比标准正态变量变换(SNV)、多元散射校正(MSC)、光谱一阶微分(FD)和二阶微分(SD)4种方法对无人机高光谱图像进行预处理,引入竞争自适应重加权采样—连续投影组合算法(CARS-SPA)进行特征波段筛选,然后利用粒子群算法(PSO)对极限学习机算法(ELM)进行改进,从而构建土壤有机质(SOM)和土壤全氮(STN)的高光谱反演模型。结果表明:4种预处理方法中MSC去噪效果最优,可有效降低散射效应噪声;CARS方法筛选出53个SOM、33个STN特征波段,进一步利用CARS-SPA筛选出24个SOM和22个STN特征波段,将SOM和STN的平均相对误差分别降低了12.3%和6.6%;利用PSO优化ELM的输入权值和阈值,有效弥补了极限学习机模型泛化性能低这一不足,将SOM和STN的平均相对误差分别降低了2.9%和3.2%,同时模型精度高于偏最小二乘回归(PLSR)和支持向量机(SVM);利用CARS-SPA筛选的特征波段建立的PSO-ELM模型效果最佳,其预测SOM的决定系数R2为0.73、相对分析误差RPD为1.91,预测STN的决定系数R2为0.63、相对分析误差RPD为1.53,将模型应用于高光谱图像,获取SOM和STN空间分布图,玉米种植区的SOM和STN均高于花生种植区。该研究可为无人机高光谱图像应用于田间尺度的土壤养分估测和数字制图提供参考。

面向高光谱影像的自监督去噪方法

针对高光谱影像各个波段包含一定噪声的问题,提出一种基于卷积神经网络的高光谱影像自监督去噪方法。该方法无需任何先验信息,仅依靠噪声影像本身进行训练即可完成去噪。首先在高光谱影像中随机选取局部影像块,并对采样的区域进行滤波处理;然后以处理后的影像为输入,将原始影像作为网络优化的目标进行自监督训练。每次训练过程中损失函数的计算将被限制在局部影像块区域内,从而防止网络输出恒等映射。在模拟噪声高光谱数据和真实高光谱数据上的大量实验表明,该方法能够获得比传统方法更好的去噪效果。

基于迁移学习的木材缺陷近红外识别方法研究

针对基于近红外光谱的硬木表面缺陷分类检测中,由于样本数量有限、数据代表性不足等原因,导致的分类器泛化能力不足、精度仍有待提高等问题,提出适应成分分析与深度迁移前馈神经网络相结合的方法,有效地迁移其他树种光谱与缺陷对应知识至目标分类器,提高分类器性能。以色木样本为源域,柞木样本为目标域,根据近红外光谱定性分析方法,在900~1 700 nm光谱波长范围内采集了色木、柞木样本表面无瑕、活节、死节等3种近红外光谱数据。经过标准正态变量变换和Savitzky-Golay平滑进行原始光谱去噪预处理后投入建立的基于适应成分分析的深度迁移学习模型。将测试样本投入完成的分类器进行测试,结果表明,当柞木训练集占总样本比例超过30%后,模型对3种类型缺陷的识别率均为100%。

面向微纳材料的激光扫描二维成像系统

在对微纳材料光学特性表征中,需要获得分辨率更高的波长和强度的荧光图像。普通的显微镜无法满足测试的要求,因此将普通的成像显微镜、光谱仪以及纳米移动台组成激光扫描显微镜成像系统,并利用LabVIEW开发了一套完整的集二维扫描采集与信号图像处理一体的系统上位机软件。扫描采集过程使用了低通滤波等数字信号处理方法消除光谱仪信号噪声的影响。利用本系统测量硒化镉纳米带、单层二硫化钼得到了荧光强度图像以及荧光峰值波长图像,能分辨出最小波长为0.03 nm的荧光。将采集长度与实际长度进行比较并分析荧光强度差异,取得了较好的效果。