光谱技术结合水分校正与样本增广的棉田土壤盐分精准反演

棉田土壤盐分的精准反演对于棉花的种植管理具有重要意义。水分和盐分作为主要环境因素,共同影响棉田土壤的波谱特征,两者之间的耦合关系直接影响土壤盐分的检测分析。为了提高基于光谱技术构建的模型对棉田土壤盐分信息解析的准确性与可靠性,该研究联用可见/短波近红外(400~1 000 nm)和长波近红外(960~1 693 nm)技术,采集不同含水率与含盐量的新疆地区土壤样本的光谱;结合外部参数正交法(external parameter orthogonalization,EPO),校正不同标样集与不同波段光谱中的土壤含水率干扰信息;引入基于不同卷积步幅的深度卷积对抗网络(deep convolutional generative adversarial networks,DCGAN),进行样本增广与质量评估;参考三层残差神经网络设计一维卷积神经网络RNet,最终构建基于EPO-DCGAN-RNet的优化模型,用于棉田土壤盐分的反演。结果表明,与传统机器学习方法和基于VGG或EfficientNet结构一维卷积神经网络相比,该研究提出的EPO-DCGAN-RNet方法能够有效地滤除水分对盐分反演的影响、提高模型对特征波段的挖掘能力、降低深度学习算法对样本量的依赖性,并能得到更优的模型预测性能。EPO-DCGAN-RNet的建模集R^(2)和均方根误差分别为0.942、115.420μS/cm,验证集R^(2)和均方根误差分别为0.910和136.472μS/cm。研究结果可为新疆棉田土壤盐分快速精准检测提供理论指导和技术支持,有助于促进盐碱地区棉花种植的水肥科学管理。

基于EPO-PLS回归模型的盐渍化土壤含水率高光谱反演

表层土壤含水率对于指导农业灌溉有重要的作用。研究表明,土壤光谱受到土壤水分和盐分的共同影响,但对于盐渍化地区的土壤含水率高光谱反演却很少涉及。该文通过对11组不同含盐量土壤室内蒸发过程连续监测,获取相关反射率光谱和水分、盐分的变化数据,利用外部参数正交化方法（external parameter orthogonalisation,EPO）预处理土壤光谱,滤除盐分（质量比0.1%~5.0%）的影响,建立经过EPO预处理后的偏最小二乘（partial least squares regression after EPO pre-processing,EPO-PLS）土壤水分预测模型。与偏最小二乘（partial least square model,PLS）模型相比,验证样本的决定系数R2和对分析误差RPD（residual predictive deviation）分别从0.722、1.976上升到0.898、3.145;均方根误差RMSE从5.087 g/（100 g）减少到3.237 g/（100 g）。通过EPO算法预处理后的模型性能提升显著,利用该方法能够有效的消除土壤盐分的影响,很好地实现盐渍化地区的水分含量估测。

基于EPO算法去除水分影响的土壤有机质高光谱估算

野外进行土壤有机质的光谱快速预测时需考虑土壤含水量的影响。在室内设计人工加湿实验分别获取9个土壤含水量梯度(0~32%,间隔4%)的土壤光谱数据,分析土壤含水量变化对光谱的影响,再利用外部参数正交化法(external parameter orthogonalization,EPO)进行湿土光谱校正,并结合偏最小二乘回归和支持向量机回归分别建立土壤有机质预测模型。结果表明,土壤光谱反射率随着土壤含水量的增加呈非线性降低趋势,偏最小二乘回归模型的预测偏差比为1.16,模型不可用;经EPO算法校正后,各土壤含水量梯度之间的光谱差异性降低,能实现土壤有机质在不同土壤含水量梯度的有效估算,偏最小二乘回归和支持向量机回归模型的预测偏差比分别提高至1.76和2.15。研究结果可为田间快速预测土壤有机质提供必要参考。

基于近红外光谱和水分校正算法的造纸木片基本密度预测

基本密度是评估木材制浆造纸性能的重要指标。采用近红外光谱技术检测造纸木片基本密度,实时掌握原料材性变化,能够为制定和优化制浆生产工艺提供基础理论数据。但在实际生产中,原料来源的复杂性造成木片水分含量波动较大,光谱中的水分干扰信息严重影响模型预测效果,成为制约近红外技术实际应用的主要因素。以杨木片为研究对象,通过对木片失水过程的近红外光谱动态监测,结合主成分分析明确光谱中水分吸收信息的特征响应,揭示了木片水分中结合水和自由水的变化规律。分别采用不同水分条件下的木片光谱建立偏最小二乘回归(PLS)模型预测木片基本密度,通过对比分析模型预测性能,探究木片水分变化对近红外预测木片密度的影响,并采用外部参数正交化算法(EPO)消除光谱中水分的干扰,提高模型对水分变化的抗干扰能力。研究结果表明,基于饱水木片光谱的模型具有最好的预测精度,模型的建立主要依靠近红外光谱对木片纤维结构特征信息的获取。而光谱中大量的水分吸收信息对建模是冗余无用的,并且会导致模型对样品水分高度敏感,当测试集水分含量变化时,模型预测出现严重偏差。通过EPO算法对木片失水过程动态光谱的解析,提取水分校正因子,能够有效消除水分变化引起的光谱差异。基于水分校正的基本密度预测模型对不同水分条件下的测试集均表现出稳定的预测性能,均方根误差、决定系数和预测相对标准偏差分别为12.23 kg·m^(-3)、0.8834和2.93。该研究将EPO算法引入对木材材性的近红外光谱分析,构建了抗水分干扰的稳健型基本密度预测模型,较好地解决了水分含量波动对原料材性快速检测的影响,为近红外光谱技术在制浆造纸领域的推广应用提供了依据。

去除土壤水分对高光谱估算土壤有机质含量的影响

土壤高光谱技术具有方便快捷、无破坏、成本低等优点,已被广泛应用于估算土壤有机质含量(SOMC)。然而,野外测量的土壤高光谱数据因受外部环境因素(土壤湿度、温度、表面粗糙度等)干扰,导致SOMC估算模型适用性有待提升。土壤含水率(SMC)是影响野外测量高光谱的最主要的障碍因素之一,它的变化严重影响可见-近红外(Vis-NIR)光谱反射率的观测结果。因此,消除SMC对高光谱数据的干扰是提高土壤高光谱估算SOMC模型预测精度的关键环节。以江汉平原潜江市潮土样本为研究对象,在室内人工加湿土样,分别获取6个SMC水平的土壤高光谱数据,采用标准正态变换(SNV)对光谱数据进行预处理,基于外部参数正交化法(EPO)去除土壤水分对高光谱的影响,利用偏最小二乘方法(PLSR)建立并对比EPO处理前、后不同SMC水平SOMC反演模型。结果表明,土壤水分对Vis-NIR光谱反射率有显著的影响,掩盖了SOMC的光谱吸收特征;EPO处理前不同SMC水平的光谱曲线之间的差异较为明显,而EPO处理后的各SMC水平的光谱曲线形态基本相似;采用EPO处理后的土壤高光谱数据建立SOMC估算模型,预测集的R2p,RPD分别为0.84和2.50,其精度与EPO处理前所建模型相比有较大提升,表明EPO算法可以有效去除土壤水分的影响,从而提升SOMC的估算精度。对定向去除外部环境参数对土壤高光谱影响进行了实证,为完善野外原位获取SOMC信息技术提供理论基础。

消除水分因素影响的野外原状土壤盐分高光谱建模估测

土壤水分被确定为土壤属性(有机碳、盐分等)光谱预测准确性下降的一个主要原因,该文通过两种方法的对比旨在探索去除土壤水分影响、提高盐分高光谱定量估测精度的方法和技术路线。首先以山东省东营市垦利区为研究区,采用地物光谱仪测定了96个样本的野外原状土和室内风干土光谱,并进行一阶导数变换;接着,对比分析盐分光谱特征及水分的影响;然后分别采用外部参数正交化(external parameter orthogonalization,EPO)和非负矩阵分解(non-negative matrix factorizing,NMF)方法校正和融合野外原状土光谱,去除土壤水分因素的影响,形成野外原状土光谱的校正和融合光谱;最后基于野外原状土光谱、校正和融合光谱,分别采用多元逐步线性回归(multiple step linear regression,MSLR)和偏最小二乘回归(partial least squares regression,PLSR)构建土壤盐分含量的估测模型,并进行验证和比较,分析预测精度变化。结果显示:土壤水分对野外原状土光谱及盐分光谱特征影响较大,需要研究去除;EPO和NMF均可提高土壤盐分野外原位光谱估测精度,比较而言,NMF效果更为显著;EPO结合PLSR或NMF结合MSLR可作为去除水分影响的土壤盐分校准模型的技术路线。

基于野外可见近红外光谱和水分影响校正算法的土壤剖面有机碳预测

土壤是陆地碳循环的中枢,充分发挥土壤固碳潜力有助于减缓全球气候变化。土壤有机碳(SOC)的高度分异性同时体现在空间和垂直分布上,但是许多前期研究往往只考虑了空间分异,而忽略了垂直分异。尤其在青藏高原这种高寒山区,土壤样品采集难度较大且费用昂贵。可见近红外(Vis-NIR)光谱作为传统土壤实验室化学分析的辅助手段,能够较为快速和精准地估测SOC含量。但是土壤水分等环境因素会掩盖或改变SOC的Vis-NIR光谱吸收特征进而削弱模型预测精度。外部参数正交化(EPO)和分段直接标准化(PDS)算法可以有效校正水分对光谱的影响,但其在野外新鲜土柱上的表现还不得而知。本研究旨在探索不同水分影响校正算法对野外剖面土壤光谱的校正能力,对采自中国青藏高原海拔2900~4500 m色季拉山的共26个1 m深土柱。沿深度以5 cm×5 cm为测量单元,从各单元中心采集共计386个野外原状湿样Vis-NIR光谱,并在实验室内测得相应386个研磨干样的Vis-NIR光谱以及SOC含量。经EPO和PDS算法校正土壤水分对光谱的影响后,通过随机森林建立土壤光谱和SOC含量的定量预测模型,并使用靴襻法评估不同校正处理下预测模型的不确定。土柱整体及垂直分布的精度结果表明,经PDS法转换的农田和草地土柱湿样光谱均表现出良好的水分校正效果,而EPO法仅对农田土柱有效。水分影响校正算法在不同土壤深度上也存在显著差异,EPO和PDS对农田和草地表层样本的水分校正均效果明显。两种校正方法的效果显示出地类和土层深度的依赖性。本研究为利用Vis-NIR光谱技术在高寒山区野外快速准确估算土壤碳含量的垂直分异提供了必要参考。

基于外部参数正交的无创血糖测量温度校正

近红外人体血糖浓度无创检测所面临的主要问题之一是人体温度变化干扰测量光谱。为此,提出使用基于外部参数正交化(EPO)的光谱预处理方法,对测量部位体温改变时的光谱进行温度校正。该方法仅需预先采集人体体温变化时的漫射光谱,即可获得消除温度干扰的滤波矩阵,利用该矩阵可以将不同体温下的光谱校正至基准温度水平。预先对外部干扰变量单独建立模型,与血糖浓度预测模型的建立分离。EPO原理提出组成光谱空间的干扰信号空间与有用信号空间正交,即温度光谱响应与葡萄糖浓度光谱响应之间彼此正交,而在实际测量中,仪器系统漂移,人体出汗等共模干扰常导致有用信号和干扰信号存在偶然相关,影响了消除温度干扰的效果。因此在进行温度校正之前,首先对原始光谱进行位置差分处理,经验证位置差分方法能够消除仪器系统漂移带来的共模干扰,获得的吸光度光谱中温度响应部分和浓度响应部分彼此正交。使用蒙特卡洛模拟人体三层皮肤模型获得血糖光谱数据,模拟样品参数均根据实际人体实验中的参数水平设置。对受温度干扰的光谱进行位置差分处理后使用EPO进行温度校正,然后利用校正后的光谱数据建立偏最小二乘回归(PLSR)模型。与校正前光谱建模结果比较,校正后的模型均方根误差(RMSEC和RMSECV)明显降低,相关系数得到一定的提高,同时主成分数减少,验证了该温度校正方法的有效性。

温度干扰下的葡萄糖水溶液近红外光谱修正方法与比较

水的近红外吸收光谱受温度影响较大,采用近红外光谱法对水溶液样本进行成分测量时,温度的影响不能忽视。特别对于葡萄糖这种弱吸收成分,温度的微小变化会对其测量精度造成较大影响。实验发现葡萄糖水溶液在30℃附近时,温度每变化1摄氏度,在1 160nm处溶液的吸光度变异系数约0.344 7%,这个变化约相当于500~600mg·dL^(-1)葡萄糖浓度引起的溶液吸光度变化量。将近年来发展的几种化学计量学方法用于温度扰动下葡萄糖水溶液的光谱修正,以提高葡萄糖测量精度,具体包括广义最小二乘加权法(GLSW)和外部参数正交化方法(EPO)。对不同温度的葡萄糖水溶液样品在900~1 350nm的光谱进行采集,测试了两种方法对温度变化后光谱的修正效果,考察了修正后光谱的葡萄糖预测误差,并与传统的考虑温度变量的多变量回归方法—偏最小二乘(PLS)回归法进行了比较。结果表明,GLSW和EPO方法对不同温度下的溶液光谱有好的校正效果,不同温度下溶液光谱的变异系数得到显著改善,同时两种方法在模型复杂性、温度修正效果等方面都优于传统方法。研究可推广到其他水份含量较大的样品测试场合,也对人体组织中的葡萄糖测量有借鉴价值。

土壤水分去除算法的田间原位光谱反演棉田有机质

田间原位可见-近红外光谱(VIS-NIR)能够有效的提高土壤属性的检测效率,但由于原位土壤中水分因素的影响,土壤属性的预测精度很难达到预期。如何有效去除土壤中的水分对土壤其他属性光谱预测的影响,是利用田间原位光谱高精度预测土壤属性所面临的难题,也是土壤光谱技术由室内转向田间的突破口。该问题的有效解决,可减除土壤样品的采集与室内预处理等过程,实现土壤属性的田间原位光谱测定。以新疆南部地区阿拉尔垦区十二团棉田为研究区,采用网格采样法共采集了116个0~20 cm深度的表层土壤样品,剔除1个异常值样品,得到115个有用样品,利用SR-3500型便携式地物光谱仪采集了231个样点的田间原位光谱数据,土样经风干、研磨和过筛等处理后测定其室内光谱和有机质含量。利用Kennard-Stone算法将115个土样分为69个转换子集及46个预测集,采用外部参数正交化法(EPO)、光谱直接转换法(DS)及光谱间接转换法(PDS)三种去除水分算法结合原位光谱反射率(R)、反射率一阶微分(R′)、反射率对数(LOG(R))以及反射率倒数(1/R)四种数学变换方式,运用随机森林(RF)模型进行不同组合模型的构建及精度评价。结果表明:(1)土壤有机质含量越高,土壤光谱反射率越低。土壤田间原位光谱反射率低于土壤室内光谱反射率;(2)室内光谱反射率与土壤有机质含量之间的相关性大于田间原位光谱,室内光谱经一阶微分变换后与土壤有机质含量之间的相关性显著提升。(3)土壤室内光谱反射率模型预测精度(R^(2)=0.86,RPD=2.08,RMSE=1.55 g·kg^(-1),MAPE=0.14)高于田间原位光谱反射率模型(R^(2)=0.71,RPD=1.49,RMSE=2.17 g·kg^(-1),MAPE=0.20)。在去除水分算法模型中,以EPO一阶微分模型去除水分效果最好,决定系数R^(2)由0.71提高到0.83,RPD由1.49提高到2.04,RMSE由2.17 g·kg^(-1)降低至1.58 g·kg^(-1),MAPE由0.20降低至0.14。本研究实现了去除土壤水分因素的影响,提高了田间原位光谱预测土壤有机质的精度,为南疆棉田大尺度土壤有机质的预测及土壤肥力的评价提供了重要的参考。