基于Lasso-Huber的近红外光谱特征波长选择方法及应用

在近红外光谱(NIRS)波长筛选过程中,当变量数目远大于样本量时,特征波长的选择是一个极具挑战性的问题。Lasso与Elastic Net算法虽被用于大维小样本数据的变量选择,但二者均以最小平方误差作为损失函数的度量方法来选择特征变量。因此,当样本中含有异常点时,经两种算法建立的模型对异常点更加敏感,导致模型向异常点偏移,鲁棒性降低。针对上述问题,采用Huber函数作为损失函数,提出了Lasso-Huber法进行近红外特征波长选择,结合偏最小二乘(PLS)方法建立安胎丸质控指标成分的定量校正模型,并与全波长建模、 Lasso与Elastic-Net方法波长选择后建模的模型性能进行对比。本实验采集21批安胎丸的近红外光谱数据共116条,其中101条数据作为校正集,采用留一交叉验证法对模型进行内部验证,另外15条数据则作为验证集用于外部验证。对于校正集中的异常光谱,使用基于主成分分析(PCA)的马氏距离法(MD)进行检测。以安胎丸的质控指标成分之一阿魏酸为例,采用Lasso、 Elastic-Net和Lasso-Huber方法分别筛选了安胎丸样品无异常光谱中69、 155和87个特征波长。其中Lasso-Huber法结合PLS建立的预测模型效果最佳,外部验证的RP2和SEP分别为0.953 1和0.058 7。此外,通过对校正集中是否包含异常光谱的校正模型预测性能对比发现,Lasso-Huber法在包含异常光谱的建模中更具优势。结果显示,Lasso-Huber算法优选出最佳波长点数为88,结合PLS建立的模型性能R_(v)^(2)为0.967 3,而Lasso方法的R_(v)^(2)为0.840 5, Elastic-Net方法的R_(v)^(2)为0.834 7,全波长建模的R_(v)^(2)为0.852 0。可见,在含有异常光谱的样本中,Lasso-Huber法不仅减少了特征波段的数量,同时降低了算法对异常光谱的敏感性,提高了模型的准确度和鲁棒性。从简化模型的角度上比较,Lasso法和Elastic-Net法的建模时间分别为61.826 0和79.959 9 s,而Lasso-Huber建模时间仅为1.360 8 s,因此,该算法更有望未来集成于实际生产应用的近红外光谱建模软件中。

基于激光诱导击穿光谱对钛元素自吸收效应的分析

为了减小谱线自吸收效应对样品物质中元素定量分析带来的干扰,提高激光诱导击穿光谱技术(LIBS)对钢铁中微量元素的检测准确度和精度,以攀钢生铁标准样品作为研究对象,选取Fe(Ⅰ)438.4 nm、Fe(Ⅰ)347.6 nm作为内标线,以原子线Ti(Ⅰ)506.5 nm、离子线Ti(Ⅱ)334.9 nm作为分析线,对Ti元素谱线的自吸收效应进行校正,分别建立内定标曲线,并建立了相应的量化模型。先通过指数函数拟合定标曲线来表征自吸收效应,然后对自吸收效应进行校正。自吸收校正后,Ti两组定标曲线的决定系数R 2分别从0.882增加到0.994、0.881增加到0.917,分别提高了12.7%和4.0%。定量分析时,2#和5#样品用于验证,结果显示两验证样品中Ti预测浓度的相对误差都降低到了10%以内,预测浓度的相对误差分别减少了72.01%、97.10%,测量精度得到明显提高,并且自吸收校正后的预测浓度近似于等于标准浓度。实验表明,通过指数函数拟合定标曲线的方式来量化自吸收效应,并对其进行校正的方法可以提升对Ti的分析精度,方法为通过探索改善自吸收效应来提高LIBS技术的定量分析性能提供了参考依据。

面向碳减排的城市交通微观仿真模型优化研究

为评估交通管控策略的环境效益,提出有效融合微观交通仿真模型和微观车辆排放模型的方法。利用VISSIM平台构建案例微观交通仿真模型,提出基于轨迹数据的不同速度区间的加减速特征,应用K-means聚类方法划分4种驾驶行为,通过驾驶特性标定仿真模型全局参数,描述了参数总敏感度以及参数之间相互作用的敏感度。利用DBSCAN(density-based spatial clustering of applications with noise)聚类分析并标定局部参数值,优化了参数标定流程。计算仿真轨迹工况,本地化MOVES(motor vehicle emission simulator)微观排放模型,得到交叉口不同流向和不同驾驶行为下的HC、CO、NO_(x)、CO_(2)排放。研究表明:仿真模型优化效果显著,所提方法可精确识别高排放的空间位置,解析排放与驾驶行为之间的联系。应用DBSCAN聚类分析参数寻优值有助于实现自动化标定流程,全局参数标定将速度分布χ^(2)误差由0.6327降至0.1306,加速度分布χ^(2)误差由0.1441降至0.0528,对于环境视角下仿真模型构建至关重要。

基于夜光数据的大气遥感研究进展

随着美国国防气象卫星(DMSP)、苏奥米国家极地轨道伙伴卫星(Suomi NPP)等一系列夜间微光遥感卫星的发射,夜间微光遥感得到越来越多的学者关注。国内外学者不断探索微光数据在定量遥感中的应用,但基于夜光数据的大气遥感研究成果的系统性整理和总结的研究却相对较少。基于此,对过去20年基于夜间微光数据在大气遥感中的研究进行了全面的综述。从微光成像仪辐射定标、微光辐射传输模型以及基于微光数据的大气参数研究三个方面总结归纳了夜间微光卫星遥感定量化研究的进展,梳理了微光数据在大气遥感研究中的应用现状与特点,以期为夜间微光数据在大气遥感的深入研究中提供有价值的参考。

化橘红中柚皮苷含量近红外定量模型的建立

目的：建立化橘红中柚皮苷近红外定量模型。方法：收集不同产地不同批号化橘红样品的近红外光谱图,运用TQ Analyst 8.0软件,经一阶导数和Norris平滑预处理,在10 000-4 000 cm^-1范围内,选择9个主因子数,采用偏最小二乘法（PLS）建立化橘红中柚皮苷含量近红外光定量模型。结果：所建模型预测集相关系数r=0.9927;校正集均方根偏差（RMSEC）=0.0746;预测集均方根偏差（RMSEP）=0.282;验证集预测平均回收率为101.65%（n=9）。结论：本研究所建立的模型性能较好,对化橘红中柚皮苷含量的预测准确。近红外光谱法具有快速、简便、准确、无损的优点,可以应用于化橘红药材的质量控制及其后续产品的开发。

基于SVM的混合气体红外光谱分析关键技术研究

为了解决海量混合气体光谱数据样本无法获取、混合气体组分气体特征吸收谱线重叠、混合气体组分浓度分布的随意性等问题,将支持向量机用于混合气体红外光谱分析中.提出了光谱数据样本特征选择、数据预处理、SVM校正模型参量优化及层次式混合气体光谱分析结构等关键技术.实验分析了上述4项关键技术对分析结果的影响.实验结果显示,采用关键技术的混合气体组分浓度分析的最大绝对误差为2.93%,最大平均绝对误差为0.73%.

基于核主成分分析和支持向量回归机的红外光谱多组分混合气体定量分析

提出了一种核主成分分析(KPCA)特征提取结合支持向量回归机(SVR)的红外光谱混合气体组分定量分析新方法。首先将特征吸收谱线严重重叠的混合气体光谱通过非线性变换映射到高维特征空间,然后在特征空间中再利用主成分分析法提取主成分,提取出的主成分作为SVR的输入建立校正模型,实现了甲烷、乙烷、丙烷、异丁烷、正丁烷、异戊烷以及正戊烷七种组组分特征吸收光谱严重重叠的混合气体的定量分析。用KPCA-SVR所建模型对未知浓度混合气体的七种组分预测的RMSE(φ×10-6)较仅用SVR模型预测的RMSE(φ×10-6)降低了一个数量级。结果表明,核主成分分析法具有很强的非线性特征提取能力,可以充分利用全光谱数据并有效地消除光谱数据噪声,降低数据维数,与支持向量回归机结合可以提高红外光谱分析的精度,缩短模型计算时间,是一种有效的红外光谱分析新方法。

混合气体红外光谱支持向量机分析的新方法

介绍了一种基于支持向量机的混合气体红外光谱组分浓度和种类分析的新方法。利用核函数将组分气体特征吸收谱线重叠严重的混合气体光谱在高维空间变换后,建立SVM回归校正模型,进行混合气体浓度分析。在利用支持向量机回归校正模型进行混合气体组分浓度分析的同时,证明支持向量机回归校正模型也可用于混合气体组分种类分析。对不同组分和不同组分浓度的混合气体红外光谱数据进行了实验,研究了谱仪扫描间隔、分析特征波长范围、核函数和惩罚因子等因素对分析结果的影响。混合气体组分浓度实验结果的最大平均绝对误差Mean AE为0.132%;混合气体组分种类识别的准确率大于94%。解决了传统的光谱分析方法中光谱特征谱线重叠、光谱数据的维数大、定性和定量分析无法使用同一方法等问题,可用于其他混合气体的红外光谱分析,具有实际应用价值。

二组分食用调和油组成的近红外光谱检测定量分析

分别取花生油、大豆油、玉米油和葵花籽油调和成不同比例的二组分食用调和油样品，采集样品在4000cm^-1～10000cm^-1范围内的近红外漫反射光谱，光谱经一阶导数等预处理后，采用偏最小二乘法建立二纽份调和油中各纽分含量的定标模型，并用Leave—one—out内部交叉验证法对模型进行验证。四种食用油定标模型的相关系数R分别为0．9996，0．9931，0．9985和0．9988，校正均方根RMSEC分别为0．83％，3．81％，1．76％和1．57％。采用不同品牌的玉米油和大豆油配制成二组分调和油样品，建立的PLS定标模型其R和RMSEC分别为0．9985和1．42％。研究结果表明，采用近红外光谱法可以实现二组分调和食用油中不同成分含量的准确定量检测，检测结果不受食用油生产厂家的影响。

近红外光谱技术在快速测定连翘提取物中连翘苷含量的应用

本文主要对近红外光谱技术在快速测定连翘提取物中连翘苷含量的应用进行了研究。利用近红外漫反射光谱法采集样品的近红外光谱,以HPLC分析值作为参考值,采用偏最小二乘法(PLS)建立连翘苷含量的定量校正模型,并用未知样品对该模型进行验证。所建模型的相关系数(R2)、校正均方差(RM-SEC)和内部交叉验证均方差(RMSECV)分别为0.9745、0.117和0.2392;经外部验证,预测相关系数(r2)和预测均方差(RMSEP)分别为0.9788和0.0776。结果表明该方法操作简便,无污染,结果准确可靠,可用于连翘提取物中连翘苷含量的快速测定。

漫反射近红外光谱法同时测定液体咖啡中的速溶咖啡、植脂末、糖含量

采用傅里叶变换近红外光谱仪结合积分球附件对20个液体咖啡样品以漫反射方式采集近红外光谱,分别针对速溶咖啡、植脂末、糖建立定量校正模型。结果表明,速溶咖啡、植脂末、糖的模型因子数分别为4,5和4;测定系数(R2)分别为98.97%,99.94%和99.18%;校正均方根误差(root mean square error ofcalibration,RMSEC)分别为1.62,0.42和1.58;交互验证均方根误差(root mean square error of cross vali-dation,RMSECV)分别为2.12,0.72和2.01;F检验结果表明,三个模型的预测值-化学值之间存在极显著的相关关系。研究表明,近红外光谱法可以快速、准确地对液体咖啡中的三种主要成分同时进行定量测定,可为液体咖啡质量控制以及液体配方食品中具有一定组成的混合物的定量测定提供一定的参考。

层次式SVM子集含烃类混合气体光谱分析方法

含烃类混合气体具有组分多、组分浓度范围大的特点。为了解决海量混合气体光谱数据样本实际上是无法实现的难题,在大量调查的基础上,研究探索了实际工程中可能出现的混合气体分布模式,最后确定为15种混合气体分布子模式,共计5500个光谱数据样本用于训练与检验。在此基础上,按照混合气体分布子模式识别→混合气体分析→结果输出的思路,提出了2层15子集的含烃类混合气体分析方法。多层次多子集软件集成框架以15种混合气体分布子模式为基本框架,由于应用了基于样本关联规则及混合气体分布模式中心集的SVM快速在线分类方法,可向原基本框架在线实时的加入新的混合气体分布子模式。实验结果显示,混合气体组分浓度分析的最大绝对误差为0.41%,最大平均绝对误差为0.04%。可用于其他混合气体的红外光谱分析,具有实际应用价值。

应用红外光谱定量分析模型测定进口血竭中血竭素的含量

目的:利用红外光谱定量分析模型快速测定进口血竭中血竭素的含量。方法:根据进口血竭在1 135.87~1 025.94/cm、779.10~719.32/cm、715.46~649.89/cm的中红外吸收光谱以及4 485.61~4 420.05/cm的近红外吸收光谱,采用偏最小二乘法(PLS)建立了校正模型。采用二阶导数预处理方法时能最有效的提取光谱的信息。结果:中红外定量校正模型中血竭素的校正集标准偏差(RMSEC)为0.034,校正集相关系数为0.999 5,预测集标准偏差(RMSEP)为0.536,预测集相关系数为0.906 1;近红外定量校正模型中血竭素的校正集标准偏差为0.169,校正集相关系数为0.993 9,预测集标准偏差为0.351,预测集相关系数为0.984 3。结论:红外光谱技术快速简便,适合中药指标成分的快速分析。

基于交互式自模型混合物分析的近红外光谱波长变量优选方法

为了提高近红外光谱定量分析的预测精度和建模效率,提出了一种基于交互式自模型的混合物分析的波长优选方法,根据光谱各波长变量的纯度值和标准差值,选择含有用信息的波长变量,并引入相关权函数解决变量间共线性问题。通过依次迭代选择的变量建立定量校正模型,由交互验证均方根预测误差(RM-SECV)确定最佳波长变量个数。应用该波长变量优选方法对具有不同葡萄糖含量的两组(四成分葡萄糖水溶液实验和人体血浆实验)近红外光谱数据进行分析,两组数据中分别只选择了全部变量的0.3%建立定量校正模型,其验证集葡萄糖浓度的均方根预测误差(RMSEP)分别减少为669和15 mg/L。与全谱范围及优选波段建立的定量校正模型比较,本方法能够通过波长变量优选最小化冗余信息、提高预测精度及建模效率。

黄芩配方颗粒黄芩苷含量近红外光谱测定方法

目的采用近红外光谱测定方法(NIRS)快速测定黄芩配方颗粒中的黄芩苷。方法运用NIRS与偏最小二乘法相结合,通过优化不同的预处理方法、不同的谱区范围,建立了测定黄芩颗粒剂中指标性成分黄芩苷的定量校正模型。结果建立了黄芩配方颗粒中黄芩苷的近红外模型,定量校正模型的相关系数R^2为0.9702,校正集均方根误差RMSEC为0.555,预测集均方根误差RMSEP为1.05。结论本实验研究了基于NIRS的不同厂家黄芩配方颗粒剂快速质量分析方法,所建模型可无损、快速地预测黄芩苷含量,为黄芩配方颗粒的质量控制提供一定的参考。

体系结构模拟器在处理器设计过程中的作用

随着摩尔定律趋于终结,处理器性能的提升越来越依赖于处理器微体系结构的优化改良,而处理器微体系结构的优化改良离不开体系结构模拟器的辅助,因此体系结构模拟器在现代和未来的高性能处理器设计中的作用越来越重要.具体地,体系结构模拟器可以辅助进行处理器微结构探索、芯片逻辑验证、硅后验证环境搭建、系统软件开发等工作.首先,介绍了开源模拟器与处理器设计的关系,并指出开源模拟器在辅助进行处理器设计方面的不足,同时对处理器厂商使用模拟器辅助进行处理器设计的方法和经验进行了分析总结.其次,对用于处理器微结构优化和改进的性能模拟器的校准方法进行了总结,然后对模拟器的纵向和横向优化方法进行了总结.最后,对新型异构模拟器进行了总结,并对未来模拟器的发展和基于模拟器进行处理器设计的方法进行了总结和展望.

PLS方法辅助TLC/FID技术测定石油沥青的族组成

测定了不同来源的渣油、不同改性工艺沥青的薄层色谱图,提取了谱图特征变量,以偏最小二乘方法为数学工具,通过经典柱色谱法取得基础数据,建立渣油沥青的薄层色谱(TLC) 族组成模型。采用该模型预测待测样品的族组成,并与经典柱色谱法的测定结果相比,饱和烃质量分数、芳烃质量分数和胶质质量分数的相关系数分别为0.9765,0.9901和0.9937。测定结果与经典柱色谱法的测定结果相一致。

基于支持张量机的多维光谱定量分析方法

现代光谱仪器强大的多维光谱数据产生能力使得多维光谱数据定量分析方法成为迫切需要研究的课题。针对多维光谱定量分析中的多维光谱数据以张量模式表达的特点,研究了基于支持张量机的多维光谱定量分析方法。该方法保留了多维光谱数据所固有的结构信息及数据的内在相关性,减少了模型中的待定模型参数,也克服了平行因子法、多维偏最小二乘等方法中需要预估组分数的缺点。对水体中化学耗氧量和总有机碳的检测进行了实验检验。实验结果表明:与现有的多维光谱定量分析方法比较,本方法提高了校正模型性能,并且模型对需预先确定的参数C和ε的变化不敏感。

近红外光谱法快速检测毛/涤混纺面料中的毛含量

为提高纺织面料成分的检测速度和分析精度,文章以80个纯羊毛、80个纯涤纶、150个毛/涤混纺样品为研究对象,建立近红外光谱图库,选用均值中心化、Savitzky-Golay导数、Savitzky-Golay平滑、多元散射校正光谱预处理方法,然后结合偏最小二乘法建立PLS定量校正模型。为验证模型的实用性,对50个毛/涤样品进行了预测。检测结果显示:毛含量的预测平均绝对误差(MAE)为1.036 4%,预测标准差(RMSE/SEP)为0.695 4%,该研究为近红外光谱分析快速检测混纺织物纤维含量及纺织应用领域提供了重要依据。

多组分烷烃混合气体FTIR光谱定量分析新方法

提出一种核偏最小二乘(KPLS)特征提取耦合支持向量回归机(SVR)的新方法,用于实现气测录井中傅立叶变换红外(FTIR)光谱法对甲烷、乙烷、丙烷、异丁烷、正丁烷、异戊烷以及正戊烷7种组分混合气体的定量分析。采用KPLS方法对光谱数据进行特征提取,将得到的特征组分作为SVR的输入建立7组分气体的定量分析模型。对相同混合气体进行定量分析,结果显示,采用KPLS特征提取后,SVR模型对7种组分气体的预测均方根误差(RMSEP)分别为0.116、0.079、0.104、0.092、0.108、0.029和0.016,均小于线性偏最小二乘法(LPLS)、LPLS-SVR、KPLSR以及SVR模型的RMSEP。结果表明,KPLS-SVR法可以更好地提取隐含在混合气体FTIR光谱数据与其组分浓度之间的非线性特征,并有效地消除光谱数据噪声,大幅度降低数据维数,是一种有效的气测录井烷烃混合气体定量分析方法。