基于Adaptive Elastic Net方法的近红外光谱建模技术（英文）

当近红外光谱信息远远大于样本量时,对光谱信息进行自动变量选择进而建立光谱与微量成分含量之间的稀疏线性模型重要且具有挑战性。针对聚苯醚生产过程中微量成分邻甲酚难以测量的问题,将变量选择方法 Adaptive Elastic Net用于建立近红外光谱与邻甲酚含量之间的定量校正模型,并将其模型性能与ElasticNet方法进行对比。在变量数目远远大于样本量的情形下,ElasticNet方法虽可以实现变量选择,但由于其系数估计不具备Oracle性质,使得模型的可解释性和预测精度受到影响,而Adaptive Elastic Net方法通过对L1惩罚项施加自适应权重从而很好的解决了上述问题并提高了模型性能。为了验证Adaptive Elastic Net方法的模型性能指标,用最终被选中的自变量数目来评价模型复杂度;利用复相关系数R^2来评价模型的可解释性,利用平均相对预测误差MRPE(mean relative prediction error)和预测相关系数Rp来评价模型的预测精度。Elastic Net方法建立的模型性能指标为:NSIV=529,R^2=0.96,MRPE=3.22%,Rp=0.97;Adaptive Elastic Net方法的性能指标为:NSIV=139,R^2=0.99,MRPE=2.00%,Rp=0.99。结果表明:Adaptive Elastic Net所建立模型的性能指标优于Elastic Net方法,可以得到更加简单且具有较强可解释性和较高预测精度的稀疏线性模型。

中红外光谱双重校验异常样本检测方法研究

中红外吸收光谱法目前最有前途的无创血糖检测技术之一。中红外吸收光谱的血糖浓度检测结果准确性与光谱信号的可靠性密切相关。采集中红外光谱信号的过程易受环境或人为等因素的影响而产生包含大量干扰信息的异常光谱。异常样本存在会降低预测模型的有效性和可靠性,故异常样本的检测和剔除至关重要。本研究提出双重校验异常样本检测法能够将异常样本准确筛选出来并剔除。本算法分为两个阶段,首先利用蒙特卡洛交叉验证异常样本检测,初步筛选异常样本,提高光谱样本集的稳定性;其次以马氏距离平方近似服从卡方分布为理论基础,自适应确定最优阈值,对剩余数据集进行异常样本再识别。以64份包含葡萄糖、白蛋白、尿素、乳酸、果糖、胆固醇在内的葡萄糖混合仿体溶液样本为研究对象。双重校验法首先利用预测误差平方和对异常样本敏感的特性对光谱数据集中的异常样本进行初步判定,共检测出3个异常样本,从光谱数据集中剔除检测出的异常样本后建立PLS校正模型,该模型的相关系数为0.91,RMSECV为60.17 mg·dL^(-1)。其次,双重校验法以马氏距离平方近似服从卡方分布为理论基础,实现异常样本自适应识别。共检测出了12个异常样本,剔除全部异常样本后构建的PLS模型性能得到了提升,相关系数达到0.99,RMSECV达到57.77 mg·dL^(-1)。通过与无异常样本剔除、PCA-MD法、蒙特卡洛法相比较双重校验法结果最优,证明了本算法在异常样本检测上的优越性。与未剔除异常样本时的PLS模型相比,相关系数从0.86上升到了0.99,RMSECV从67.51 mg·dL^(-1)降低至57.77 mg·dL^(-1),分别提升了15.12%、14.42%。本研究针对异常样本检测方法中易受阈值影响而出现正常样本误检或异常样本漏检的问题给出了很好的解决策略,该方法能够准确检测并剔除异常样本,进而提高预测模型的精度和预测性能。为中红外光谱数据集异常样本的准确剔除提供了一种思路。

一种自适应的三维荧光光谱去散射方法

三维荧光光谱因其数据量大、灵敏度高等优点,在食品科学、分析化学、生物化学和环境科学等领域应用广泛。然而,因为同时存在瑞利散射和拉曼散射,给三维荧光光谱的定量分析和数据显示带来了困难。因此,在数据处理前期,消除散射干扰对其具有重要意义。在已有方法中,对较低浓度溶液和散射峰与物质荧光信号重叠严重光谱的去散射算法的研究相对空白。针对现有问题,提出了一种自适应的三维荧光光谱去散射方法。首先,该方法通过减去每次实验获取的溶剂的光谱基线来校正拉曼散射和背景干扰。然后综合考虑散射峰与物质峰的荧光强度和重叠程度将光谱分为五类情况对应三个重叠等级:无重叠、微弱重叠和严重重叠,分别采用置零法、分段三次Hermite插值多项式算法和高斯拟合-分段三次Hermite插值多项式耦合算法对瑞利散射进行校正处理。此方法基于一维插值,仅对单个发射光谱进行研究,降低了算法复杂度,计算时间较短。通过对酪氨酸、黄腐酸、萘乙酸和罗丹明B四种典型有机化合物进行实验,评估了该方法扣除散射干扰的有效性。并且与现阶段研究中使用最多的Delaunay三角形内插值法进行比较,以重叠区域散射校正后的数据对四种有机化合物分别进行浓度回归,此自适应方法所得的平均决定系数为0.9962,相比于Delaunay三角形内插值法提高了5.04%。同时,通过对比天然有机化合物黄腐酸分别经此方法和Delaunay三角形内插值法进行散射校正后的三维荧光光谱,进一步证明了该方法更好地保持了物质荧光光谱区域的结构特征,有效地避免了过拟合现象的发生。最后,利用该方法对模拟突发污染水样进行监测,验证了此方法具有很好的普适性,有实际应用价值,为三维荧光光谱去散射提供了一种新的思路。

基于近红外光谱技术的空苞山核桃快速识别

空苞山核桃是指果实没有种仁或者发育受阻的山核桃,严重影响山核桃产品品质。为实现空苞山核桃的快速无损识别,利用2种近红外检测装置在200~1160 nm波长范围采集带壳山核桃样本的光谱,采用8种预处理方法进行光谱预处理,利用竞争自适应重加权采样(CARS)方法筛选空苞山核桃的特征波长变量,最后应用线性判别分析(LDA)、二次判别分析(QDA)和马氏距离判别分析(MDA)建立空苞和正常山核桃的分类模型。结果表明,使用检测装置1所建立的空苞山核桃分类模型性能优于检测装置2的分类模型,经多元散射校正(MSC)预处理后建立的分类模型的识别结果最好,LDA、QDA及MDA模型的特异性、敏感性和正确率均为1,优于其它预处理方法建立的分类模型。经CARS变量筛选后,建模所用的光谱变量数目大大减少,有效简化了分类模型,而模型性能仍与全波长模型性能持平。本文为空苞山核桃的快速、无损识别提供了一种可行的方法。

拉曼光谱结合机器学习对植物油的分类鉴别

该研究采集了六类(38个品牌)常见植物油的551份拉曼光谱,并根据光谱数据分别建立了正交偏最小二乘判别和支持向量机模型,对比了连续投影法和竞争性自适应重加权采样法对模型识别正确率的影响。基于算法改进的偏最小二乘判别模型的总体预测准确率为82.53%、83.13%,低于基于全光谱数据建立的偏最小二乘判别模型。竞争性自适应重加权采样法结合支持向量机对玉米油、橄榄油、葵花籽油和芝麻油的品牌分类测试集正确率均达到100%;椰子油和花生油的测试集正确率为22.22%、63.64%。两类特征提取算法均可以减少建立分类模型所需的变量数目和计算资源,但以提取后变量建立分类模型可能会导致识别正确率下降。在解决样本间相似度较高的多分类问题时,支持向量机模型优于正交偏最小二乘判别模型。正确率差异可能和生产商所使用的生产工艺以及植物油原料相关。面对案件侦办中品牌种类多样的油脂物证,基于拉曼光谱分析和特征提取算法的支持向量机模型可为可食用植物油的无损快速检验提供一定的参考与借鉴。

基于CARS和1D-CNN联合的XRF土壤重金属超标分析方法研究

随着社会现代化进程的迈进,愈加频繁的人类活动加剧了土壤重金属污染。当土壤中重金属元素含量超过风险筛选值时,会经过食物链摄入人体,过量的重金属累积对人体健康造成损害。筛选出具有重金属污染风险的土壤是治理土壤污染的重要环节。采用X射线荧光(XRF)光谱仪获取了59份国家标准土壤样品的光谱数据,然后对其进行小波阈值去噪和迭代离散小波变换本底扣除等预处理;运用基于竞争性自适应重加权采样(CARS)算法对土壤中的重金属元素进行谱线筛选;将筛选后的结果作为模型的输入,通过建立1D-CNN模型预测土壤样本是否具有重金属污染的风险。实验结果显示,通过CARS算法采样后的特征通道数大幅度减少,Ni、Cu、As、Pb元素从原来的2048个特征点分别减少为37、53、37、45个,为原来通道数的1.81%~2.59%。相较于不筛选和连续投影(SPA)筛选方法,结合CARS算法的1D-CNN模型在判断土壤样品是否有Ni、Cu、As、Pb元素污染风险时的准确率分别可以达到96.67%,93.22%,91.67%,88.33%。经CARS筛选,1D-CNN比偏最小二乘回归(PLSR)方法在预测准确性方面有明显优势。提出的CARS-1D-CNN算法在提高模型预测准确率的同时减少了模型的计算量,对于XRF光谱土壤重金属元素污染风险筛选具有较好的理论指导和应用价值。

鲸鱼算法改进极限学习机的葡萄酒品质评价研究

[目的]解决近红外光谱中冗余信息过多的问题,提升葡萄酒品质评价模型的准确性,并构建一种快速无损的葡萄酒品质评价方法。[方法]运用竞争性自适应重加权采样法进行特征波长筛选,提出了鲸鱼算法改进极限学习机的葡萄酒品质评价模型。通过自适应重加权采样法等多种特征波长筛选方法,确定了最适用于葡萄酒光谱特征波长筛选的方法;针对ELM的初值权值与隐含层偏置选取问题,利用鲸鱼优化方法对初值权值与隐含层偏置进行优化,从而构建了一种基于鲸鱼优化算法改进的极限学习机葡萄酒品质评价模型。[结果]与GA-ELM、PSO-ELM和传统的ELM模型相比,WOA-ELM的准确率最高,达到了0.9445,GA-ELM的准确率为0.9290,PSO-ELM的准确率为0.9061,传统的ELM方法准确率为0.8177。[结论]通过智能算法优化ELM模型的参数,可以有效提高葡萄酒品质评价的准确性。

改善的LMS自适应算法在TDLAS甲烷检测的降噪研究

为进一步有效抑制检测系统的噪声,提高检测精度,研究了改善的最小均方差自适应算法在可调谐二极管激光吸收光谱甲烷浓度检测系统的降噪方法。通过基于TDLAS技术的matlab仿真实验,搭建的甲烷检测系统,选取1 653.72 nm的甲烷吸收峰位,分析LMS自适应算法中滤波阶数、步长因子和采样周期三者对噪声的关系,改善参数的选取以最佳的滤波效果进行降噪优化处理。研究表明在高频采样时刻收敛到最佳的滤波阶数和步长因子可对系统起到最优滤波效果。研究结果显示信噪比有效提升了94%,拟合优度R~2达到0.997,证明改善的LMS自适应滤波算法可以有效抑制噪声对二次谐波信号的影响。

Adaptive cavity-enhanced dual-comb spectroscopy

Resolution and bandwidth are critical for cavity-enhanced dual-comb spectroscopy(CE-DCS). Here, we pioneer an adaptive approach in CE-DCS to improve the broadband as well as the resolution. Postcorrections to dualcomb interferograms adaptively compensate the relative phase jitters of the optical frequency combs and result in both a mode-resolved spectral resolution and a signal-to-noise ratio of 440:1 in 1 s. Meanwhile, an adaptive combcavity locking scheme exploits more than 90% of the comb modes, covering 340 cm-1(10 THz) at 6450 cm-1. For a single dual-comb interferogram, more than 40,000 comb teeth spaced by 250 MHz are measured in less than7.5 ms, contributing to a noise equivalent absorption per spectral element of 2 × 10-10 cm-1·Hz-1∕2. This adaptive cavity-enhanced dual-comb spectroscopy technique provides an attractive spectroscopic tool that may be utilized in trace-gas sensing, breath and cancer analysis, and engine combustion diagnosis.

Adaptive-sampling near-Doppler-limited terahertz dual-comb spectroscopy with a free-running single-cavity fiber laser

Dual-comb spectroscopy(DCS)is an emerging spectroscopic tool with the potential to simultaneously achieve a broad spectral coverage and ultrahigh spectral resolution with rapid data acquisition.However,the need for two independently stabilized ultrafast lasers significantly hampers the potential application of DCS.We demonstrate mode-resolved DCS in the THz region based on a free-running singlecavity dual-comb fiber laser with the adaptive sampling method.While the use of a free-running single-cavity dual-comb fiber laser eliminates the need for two mode-locked lasers and their frequency control,the adaptive sampling method strongly prevents the degradation of spectroscopic performance caused by the residual timing jitter in the free-running dual-comb laser.Doppler-limit-approaching absorption features with linewidths down to 25 MHz are investigated for low-pressure acetonitrile/air mixed gas by comb-mode-resolved THz spectroscopy.The successful demonstration clearly indicates its great potential for the realization of lowcomplexity,Doppler-limited THz spectroscopy instrumentation.

Sub-femtometer-resolution absolute spectroscopy with sweeping electro-optic combs

Optical frequency comb with evenly spaced lines over a broad bandwidth has revolutionized the fields of optical metrology and spectroscopy.Here,we propose a fast interleaved dual-comb spectroscopy with sub-femtometer-resolution and absolute frequency,in which two electro-optic frequency combs are swept.Electrically-modulated stabilized laser enables ultrahigh resolution of 0.16 fm(or 20 k Hz in optical frequency)and single-shot measurement in 90 ms.Total 20 million points are recorded spanning 3.2 nm(or 400 GHz)bandwidth,corresponding to a spectral sampling rate of 2.5×10^(8)points/s under Nyquist-limitation.Besides,considering the trade-off between the measurement time and spectral resolution,a fast single-shot measurement is also realized in 1.6 ms with 8 fm(or 1 MHz)resolution.We demonstrate the 25-averaged result with 30.6 d B spectral measurement signal-to-noise ratio(SNR)by reducing the filter bandwidth in demodulation.The results show great prospect for precise measurement with flexibly fast refresh time,high spectral resolution,and high SNR.

Unsupervised calibration for noninvasive glucose-monitoring devices using mid-infrared spectroscopy

Noninvasive,glucose-monitoring technologies using infrared spectroscopy that have been studied typically require a calibration process that involves blood collection,which renders the methods somewhat invasive.We develop a truly noninvasive,glucose-monitoring technique using midinfrared spectroscopy that does not require blood collection for calibration by applying domain adaptation(DA)using deep neural networks to train a model that associates blood glucose concentration with mid-infrared spectral data without requiring a training dataset labeled with invasive blood sample measurements.For realizing DA,the distribution of unlabeled spectral data for calibration is considered through adversarial update during training networks for regression to blood glucose concentration.This calibration improved the correlation coeffcient between the true blood glucose concentrations and predicted blood glucose concentrations from 0.38 to 0.47.The result indicates that this calibration technique improves prediction accuracy for mid-infrared glucose measurements without any invasively acquired data.

Digitally calibrated broadband dual-comb gases absorption spectral measurements

From the perspective of error compensation in the sampling process, a digital calibration algorithm was studied for the processing of spectral data in dual-comb spectroscopy. In this algorithm, dynamic adaptation to phase fluctuations maintained constant measurement results of spectral line positions and intensities. A mode-resolved broadband absorption spectrum was obtained over the full-spectral range of the comb with a Hertz linewidth of radio frequency comb mode.The measured spectrum spanned over 10 THz, which covered the multiplexed absorption regions of mixed gases, such as CO2 and N2 O. The calibrated interferograms were also capable of direct coherent averaging in the time domain. The transmittance obtained deviated from the theoretical calculation by no more than 2% in the whole spectral span.

Electron momentum spectroscopy of NF_3

The electronic structure of nitrogen trifluoride was investigated by combining the high-resolution electron momentum spectroscopy with the high-level calculations. The experimental binding energy spectra and the momentum distributions of each orbital were compared with the results of Hartree-Fock, density functional theory （DFT）, and symmetry-adapted- cluster configuration-interaction （SAC-CI） methods. SAC-CI and DFT-B3LYP with the aug-cc-pVTZ basis set can well reproduce the binding energy spectra and the observed momentum distributions of the valence orbitals except 1 a2 and 4e orbitals. It was found that the calculated momentum distributions using DFT-B3LYP are even better than those using the high-level SAC-CI method.

变量选择结合模型更新以改进苹果的糖度检测

为了获得稳健的近红外光谱模型,采用变量选择结合模型更新的方法,以240个红富士苹果为对象,取得近红外漫透射光谱和糖度数据,建立偏最小二乘回归模型,对苹果糖度含量进行预测,并采用后向区间偏最小二乘法和竞争性自适应重加权算法,对建模变量进行了选择,通过将新批次中的一些样品加入到旧批次中重新校准来实现模型更新。结果表明,变量选择可以提高模型性能,预测决定系数提高到0.7915,预测均方根误差降低到0.5810,预测偏差降至0.2627;结合模型更新策略,可以进一步降低预测均方根误差和预测偏差;仅使用20个样品进行模型更新已经明显改善了模型性能,预测决定系数提高到0.8506,预测均方根误差降到0.4358,预测偏差降到0.1045。这一结果对于多种水果建立稳健的近红外光谱模型是有帮助的。

近红外光谱结合化学计量学方法快速检测蓝莓可溶性固形物和维生素C含量

采用近红外光谱技术,对不同贮藏时间的蓝莓营养成分进行定量分析,以寻求其化学成分与近红外光谱数据的相关性,实现利用光谱技术对蓝莓营养成分的无损检测。对获取的近红外光谱数据,运用偏最小二乘回归(Partial Least Square Regression,PLSR)和支持向量回归(Support Vector Regression,SVR)两种机器学习算法预测蓝莓可溶性固形物(Soluble Solids Content,SSC)和维生素C(Vitamin C,V_(C))含量。为增加预测精度,采用一阶导数(First Derivative,1-DER)、二阶导数(Second Derivative,2-DER)、标准正态变换(Standard Normal Variate Transform,SNV)、多元散射校正(Multiplicative Scatter Correction,MSC)、Savitzky-Golay平滑(S-G)等一种或几种方法组合对光谱数据进行预处理,比较分析最佳的预处理方式;采用竞争适应性重加权采样法(Competitive Adaptive Reweighted Sampling,CARS)和随机蛙跳算法(Random Frog,RF)及两种算法组合对光谱波长进行降维处理。结果表明,降维后的SSC波长变量分别降到了全光谱变量的1.7%、4.3%和5.6%,V_(C)波长变量分别降到了全光谱变量的2.5%、2.9%、4.8%。在筛选后的光谱波长变量的基础上,采用PLSR建立蓝莓近红外光谱与SSC和V_(C)含量的预测模型。对比发现CARS结合RF算法筛选出的波长变量预测效果更好,模型校正相关系数分别为0.9001、0.8707,校正均方根误差分别为0.8234、2.9429,预测相关系数分别为0.8424、0.8350,预测均方根误差分别为0.9613、2.9482。为排除模型性能对预测结果的影响,建立SVR模型将预测结果进行对比,同样发现CARS结合RF算法的预测效果更佳,模型校正相关系数分别为0.8702、0.8503,校正均方根误差分别为0.9549、3.2431,预测相关系数分别为0.8269、0.8183,预测均方根误差分别为0.8769、2.8818。本研究为蓝莓营养品质监测提供了模型基础,且选择特征波长的方法可以为更多果蔬营养物质预测模型提供参考。

基于梯度阈值的太赫兹时域信号自适应稀疏算法

胶接结构广泛应用于航空航天等国防领域,但在工艺制作及使用过程可能会产生胶接界面脱粘缺陷和损伤,由于太赫兹无损检测技术对非金属材料良好的穿透性能,已被广泛应用于复合材料的无损检测中,太赫兹无损检测技术在多层胶接结构样件胶层内部缺陷的无损检测方面具有较大优势。利用反射式太赫兹时域光谱系统检测多层胶接结构样件,得到的具有样件内部材料信息的太赫兹时域信号,但信号中还包含了大量的冗余特征和噪声等无效信息,这些无效信息大大降低了信号处理和分析效率。针对这一问题,文中提出了基于二阶梯度法提取太赫兹时域信号有效特征,以飞行时间误差为限制条件基于信号的时域特征自适应确定阈值,稀疏太赫兹时域信号,减少信号中冗余无效信息,实现太赫兹时域信号的有效压缩。然后,通过二值化图像分割识别多高斯恢复信号和太赫兹时域光谱系统检测信号的太赫兹图像缺陷区域。最后,制备具有脱粘缺陷的多层胶接结构样件,开展太赫兹无损检测实验。结果表明:文中算法的数据压缩率达到了81%,相比传统压缩算法离散余弦变换提高了59%,相比主成分分析算法提高了75%,相比K-SVD字典学习算法提高了26%,缩短了约80%的数据计算时间,减小了约95%数据存储空间占用,且缺陷识别偏差不超过0.05。文中算法极大地提高了数据处理和分析效率,保证了缺陷识别的精度。

可见近红外光谱结合多元统计分析的面粉吸水率检测模型构建

面粉吸水率是评价面粉质量和预测面制品加工特性的重要品质性状。面粉吸水率的测定主要参照国际或国家标准利用粉质仪进行,其测定方法费时费力。基于此,提出利用可见近红外光谱分析技术结合多元统计分析进行面粉吸水率快速、无损检测。参照国标法测定150份小麦面粉样品的吸水率,面粉吸水率变幅为53.10%~74.50%。利用可见近红外分析仪采集面粉样品的光谱信息,有效光谱范围为570~1100 nm。采用偏最小二乘回归(PLSR)、主成分回归(PCR)和支持向量机回归(SVR)将光谱信息和面粉吸水率进行关联,分别建立面粉吸水率的定量分析预测模型,筛选最优的建模方法。在优选的建模方法的基础上,采用竞争性自适应重加权(CARS)、区间随机蛙跳(iRF)、迭代保留信息变量(IRIV)和连续投影(SPA)算法提取特征波长,筛选最优的特征波长提取算法。基于最优的建模方法和最优的特征波长提取算法提取的特征波长,采用标准化(NL)、一阶求导(1 st Der)、基线校正(BL)、标准正态变换(SNV)和去趋势化(DT)5种光谱预处理方法对特征波长的光谱进行预处理,筛选最优的光谱预处理方法。结果表明,采用NL光谱预处理方法对CARS算法提取的24个特征波长(仅占原始波长的2.26%)的光谱进行预处理后建立的PLSR模型性能最佳,预测集相关系数(R_(p)^(2))、预测集均方根误差(RMSEP)和预测相对分析误差(RPD)分别为0.8894、1.4585和2.6413。采用CARS算法提取的特征波长所建的模型不仅能提高模型的性能,还很大程度提高模型运算效率、降低仪器制造成本和光谱仪微型化的难度,从而为面粉吸水率可见近红外无损、快速检测研究奠定了基础。

自适应人工蜂群优化极限学习机在拉曼光谱血液定量分析中的应用

提出了一种基于自适应差分进化人工蜂群优化极限学习机预测血液各组分浓度的方法。首先应用人工蜂群算法对输入权值和隐含层阈值迭代寻优;其次结合差分进化进一步提高模型精度且避免后期易陷入局部最优等问题;由于差分进化算法交叉率和变异率存在凭经验给定的不确定性,最后引入了自适应调整的思想提出自适应差分进化人工蜂群算法优化极限学习机算法的模型,将其应用于血液成分定量分析中。实验表明,自适应差分进化人工蜂群算法优化的极限学习机模型具有较高的预测精度,模型具有较强的稳健性。

The development and application of dual-comb spectroscopy in analytical chemistry

Analytical chemistry plays an important role in the qualitive and quantitative analysis for molecules in the various circumstances,especially for the high-resolution analysis.The dual-comb spectroscopy(DCS)technology with the characteristics of high resolution,high sensitivity and instantaneous sampling exhibited a great potential in high-resolution in-situ spectral methods and has been active in the fields of spatial ranging,air composition analysis,reaction monitoring and so on.In this review,we will summarize the principle of DCS according to the different wavelength coverage and overview the applications of DCS in analytical chemistry.