基于K-means聚类改进的光谱降维方法

光谱降维是解决光谱数据高冗余度问题的重要方式,针对光谱降维中常用的主成分分析法(PCA)在主成分个数较少时重构数据与原始数据误差较大的缺点,本研究提出了一种基于预先聚类减少光谱数据降维压缩后信息损失的方法。首先用K-means算法分别在光谱空间和颜色空间将光谱数据聚类,然后对每子类利用PCA法进行降维并重构。结果表明,相比于非聚类的整体降维,本研究改进方法的重构数据在光谱精度和色度精度方面均提升明显,在仅3个主成分的前提下即可获得较高的重构精度,并且光谱空间中的聚类结果优于颜色空间聚类。实验证明,对光谱数据的预先聚类处理对光谱数据的高保真降维压缩具有重要作用。

基于光谱色差权重函数的多光谱降维方法研究

光谱反射率维度高,与光照和观察条件无关,能够真实、客观地描述物体的颜色信息,由物体本身特性决定,因此被称为物体的“指纹”。但是,光谱反射率数据量超过传统三色系统十倍以上,这些巨大的光谱数据在存储、数据处理及传递等方面造成巨大的负担,花费太多的计算时间。如果高维光谱可以通过数学变换方法映射到低维空间,并确保低维空间能够更好地表示原始光谱所覆盖的信息,可以有效地压缩多光谱数据,提高基于光谱的颜色复制的处理效率。针对主成分分析法平等地对待可见光范围的所有波长,重建光谱仅仅是对原始光谱的数学逼近,由于波长对颜色的重要性不同,经常会导致光谱重建误差较小而色度误差较大的问题,提出了一种基于光谱色差权重函数的多光谱降维算法。使用主成分分析法将孟塞尔颜色系统Munsell维度降低到1维,再恢复重建到31维,Munsell的原始光谱和重建光谱的平均光谱色差作为权重函数。以NCS为训练样本,分别以NCS、Munsell和3张多光谱图像为测试样本,分析和比较本文推荐的权重主成分分析法与主成分分析法以及另外4种权重主成分的性能。以D65/2°和A/2°照明观察条件下的CIELAB色差和均方根误差(RMSE)分别评价测试样本的原始光谱和重建光谱之间的色度重建精度和光谱重建精度。实验统计结果表明:相对于主成分分析法,无论测试样本是多光谱数据还是多光谱图像,推荐的方法在牺牲一定光谱重建精度的情况下,在D65/2°和在A/2°两种照明观察条件下的色度重建精度得到显著的提高,而色度重建精度提高对于目前广受关注的基于光谱的颜色复制研究具有非常重要意义。实验统计结果也表明本文推荐的方法的色度重建精度优于目前已经存在的另外4种权重主成分分析法。

基于人眼视觉特性的光谱降维模型研究

针对传统光谱降维方法其降维重构后的光谱数据仅是对原始光谱的数学逼近,会出现光谱误差较小但颜色色差较大的缺点,创新性的提出三种将人眼视觉特性与光谱降维相结合的方法。其中,VPCA法直接将光谱光视效率函数加权到原始光谱上再进行降维,LMSPCA方法用LMS视稚响应构建加权矩阵对原始光谱加权后再进行降维,在LMSPCA法中加权矩阵的构建有两种方式,其主要区别在于视稚响应偏差的求取方式不同。方式一中,L,M,S视稚响应偏差是各对应波长上的偏差取绝对值,而方式二中,其偏差是各对应波长上的偏差平方。LMSPCAs法在LMSPCA法基础上再采用PCA(主成分分析)方法对损失的光谱进行降维。实验结果表明VPCA法降维效果较差,LMSPCA法的两种加权矩阵降维效果接近,皆可显著提高降维模型的色度精度,但会降低模型的光谱精度,LMSPCAs法由于针对LMSPCA法因光谱加权引起的光谱损失再进行光谱补偿,其在光谱精度、色度精度以及变光照条件下的色差稳定性这三个方面都能较好地表征原始高维光谱反射率,满足光谱颜色复制的要求。

面向颜色再现的光谱降维方法研究

目的为了解决颜色信息光谱反射率的高维数给颜色再现过程带来的诸多问题。方法利用主流的光谱降维方法(主成分分析,Lab PQR,WSPCA,WSPCAplus),实现利于颜色再现的光谱信息筛选,从光谱精度、色度精度及变光源色差稳定性等3个方面评价这些降维方法。结果实验证明,主成分分析(PCA)法的光谱精度最高,光谱误差只有0.0076,但是在色度精度及变光源色差稳定性方面表现不好;Lab PQR法在光谱精度和色度精度间达到了很好的平衡,但是当变换光源时,其色差稳定性较差;WSPCA法去除了光源的影响,其变光源后色差变化不大,并且同时兼顾了色度精度,但以牺牲光谱精度为代价,WSPCAplus在其基础上将光谱精度提高为0.0081。结论研究结果对颜色再现过程中降维方法的选择具有一定的指导作用。

空间数据压缩的高光谱降维技术比较

针对从波段数目较多的海量高光谱遥感影像数据中高效地检索出所需信息这一迫切需要解决的问题,将空间数据压缩算法引入到光谱数据降维中,以规则树分组和曲线数据综合技术为基础,设计了十六叉树状变换、垂距光谱检索、偏角光谱检索、道格拉斯-普克光谱检索算子。采用相对光谱识别概率、相对光谱识别熵、相对光谱识别力3种统计学方法,从不同角度通过与常规的光谱角度制图和光谱信息熵进行比较分析发现:利用新的检索算子提取光谱曲线特征向量,进行相似性测度,降低了光谱检索的时间频率。在保证相近识别能力的条件下,能够大大提供高程序的检索效率,是几种快速有效的高光谱特征匹配和检索算子。

基于人眼视觉和残差补偿的光谱降维模型的研究（英文）

传统主成分(PCA)光谱降维方法利用数学的方法,保证降维后的重构光谱与原光谱在形状上尽可能相似,但是传统PCA降维过程中无差别的对待每一个波段的光谱数据,而人眼视觉对不同波段的光谱敏感程度不同,会造成有时候虽然光谱误差较小,但是人眼看上去色差较大的情况。在保证光谱误差的同时,为了能够有效的减少源光谱与重构光谱的色度误差,提出了两种基于人眼视觉的加权函数对传统PCA降维方法进行优化,并利用残差光谱对模型进行补偿。实验过程以Munsell色卡作为训练样本,Munsell色卡和多光谱图像"young girl"作为测试样本,然后利用本文提出的加权函数进行PCA降维并重构,并与相关文献提出的方法进行了对比。实验结果表明,提出的两种加权算法,与其他算法相比,无论是色度精度还是在变光源的稳定性方面,都有显著地提高。

一种基于LMS加权的残差补偿光谱降维模型研究

目的在PCA算法的基础上提出一种基于LMS锥响应加权的残差补偿光谱降维模型。方法介绍以LMS为加权函数对源光谱加权以及用残差光谱对模型补偿的基本框架。以Munsell色卡作为训练样本,以多光谱图像和SG色卡为检测样本,用文中算法与主成分分析算法分别对其进行降维、重构。结果在不同维数下,采用文中算法重构都具有较高的色度精度,该算法有效提高了主成分分析算法的色度精度,且在变光源情况下仍具有较高的色度稳定性。结论该降维算法采用LMS加权并对残差光谱补偿是一种精度较高的光谱降维模型。

同色异谱黑在光谱降维中的应用研究

目的研究同色异谱黑在光谱降维中的应用。方法基于同色异谱黑光谱特性提出MBPCA光谱降维法。该方法将颜色光谱分解为基本光谱和同色异谱黑光谱,基本光谱的基向量由原始光谱通过PCA法得到的前3个基向量构成,原始光谱与基本光谱之间的残余光谱作为同色异谱黑光谱,其基向量由残余光谱通过PCA法推导。结果当降维光源与实际光照光源一致时,只要基向量数目超过3个,其低维模型的色度精度皆为0,当用6个基向量重构光谱时,在4种标准光源下的平均色差接近于1。结论 MBPCA法与PCA法相比,其光谱重构精度与PCA法接近,色度精度比PCA法有明显提高,其六维模型能有效满足光谱颜色复制的需要。

结合纯像元提取和ICA的高光谱降维方法

为了实现高光谱降维并保留重要的光谱特征,通过独立分量分析(independent component analysis,ICA)混合模型和高光谱线性模型的对比分析,提出了结合纯像元提取和ICA的高光谱数据降维方法。该方法通过估计虚拟维数(virtual dimensionality,VD)确定特征个数,采用自动目标生成过程(automatic targetgeneration process,ATGP)从原始数据中提取纯像元向量,作为ICA算法的初始化向量,以负熵为目标函数产生独立分量,并通过高阶统计量筛选实现高光谱数据的降维。分类实验结果表明,该方法不仅解决了传统ICA的随机排序问题,而且与经典降维算法主分量分析(principal components analysis,PCA)相比,分类精度提高了6.83%,在大大降低高光谱数据量的情况下很好地保留了高光谱数据的特征,有利于数据的后续分析和应用。

基于修改的LMS曲线加权残差补偿光谱降维法

目的为了同时实现较高的光谱精度和色度精度,提出一种基于修改的LMS曲线加权残差补偿光谱降维法。方法利用Matlab软件自制由7986个色块组成的色靶,将前5986个色块作为训练样本,后2000个色块以及Munsell色卡作为测试样本。采集色靶的光谱数据后,对高维光谱数据采用基于修改的LMS曲线加权残差补偿光谱降维法进行降维,并与主成分分析法、Lab PQR非线性降维法、WSPCAplus非线性降维法、修改矩阵R降维法等方法的效果进行对比分析。结果实验结果表明,提出的基于修改的LMS曲线加权残差补偿光谱降维法重构得到的光谱数据具有较高的光谱精度,同时在色度精度上也有了明显的提高,且在观察视角变化的情况下仍具有稳定的色差精度。结论基于修改的LMS曲线加权残差补偿光谱降维法能够在保证较好光谱精度的同时具有较高的色差精度,且在不同视角下色差精度的稳定性较好,适合多种颜色样本,具有良好的实用性。

基于分窗Gram-Schmidt高光谱降维的水稻纹枯病检测

纹枯病是水稻生产中三大病害之一,其早期检测对病害的及时防控、保证粮食安全具有重要意义。高光谱技术为水稻病虫害高通量、实时监测提供了有效的技术手段。基于高光谱病害检测中高光谱的降维,或检测特征的提取至关重要,利用2017和2018两年水稻盆栽纹枯病接种试验与大田纹枯病调查试验样本高光谱数据,探讨了分窗Gram-Schmidt变换的高光谱数据降维与特征波段提取,构建纹枯病检测模型,对比分析了本研究方法与主成分分析、连续投影法高光谱降维效果与病害检测精度。结果表明:基于分窗GramSchmidt变换可有效实现高光谱数据的降维,盆栽样本高光谱降到4维,纹枯病检测模型决定系数R2为0.8373,均方误差MSE为0.0406;大田样本高光谱降到4维,纹枯病检测模型决定系数R2为0.9701,均方误差MSE为0.0065。主成分分析法降维,盆栽样本高光谱降到6维,纹枯病检测模型决定系数R2为0.7931,均方误差MSE为0.049,大田样本高光谱降到6维,纹枯病检测模型决定系数R2为0.9658,均方误差MSE为0.0078;连续投影法降维,盆栽样本高光谱降到8维,纹枯病检测模型决定系数R2为0.8132,均方误差MSE为0.0466,大田样本高光谱降到4维,纹枯病检测模型决定系数R2为0.9685,均方误差MSE为0.0072。对比主成分分析法和连续投影法,基于分窗Gram-Schmidt变换的高光谱降维效果与纹枯病检测精度均效果较好,可为高光谱降维与水稻纹枯病防治提供一定的理论基础和技术支撑。

基于主成分分析法和二阶多项式回归的多光谱降维算法研究

针对主成分多光谱降维算法得到的低维空间没有色度意义、不能很好地与目前主流的色彩管理系统兼容的问题,本研究提出根据色度学公式将高维光谱降维到三维XYZ空间,利用二阶多项式回归结合主成分分析法(PR-PCA)实现三维XYZ空间到高维光谱的转换。并以自然颜色系统(NCS)、孟塞尔颜色系统(Munsell)和2张多光谱图像作为测试样本比较PR-PCA和经典PCA的性能。实验结果表明,相对于经典PCA,基于PR-PCA的多光谱降维方法在牺牲少量光谱重建精度的条件下,色度重建精度得到很大提高,这对光谱颜色复制非常重要,同时该方法得到的低维空间是色度空间,具有色度意义。

基于二阶多项式回归和权重主成分分析法的多光谱降维算法研究

基于主成分或者权重主成分的多光谱降维方法实现高维多光谱数据和低维空间数据之间相互转换,但低维空间数据含有大量负值,不能和色度空间如CIELAB等连接起来,给光谱颜色复制的后续研究带来困扰;建立XYZ三刺激到多光谱数据的转换,在多光谱数据降维到XYZ三刺激值过程中保留更多的颜色信息;通过二阶多项式回归建立XYZ三刺激值与多光谱通过权重主成分降维的得到的三维空间数据对应关系,实现XYZ三刺激值到多光谱数据转换;在不同的训练样本,不同的测试样本时,相对于主成分和权重主成分,推荐的方法在多种照明条件下色度重建精度得到提高,可以较好地应用到多光谱图像的高保真降维和压缩。

高光谱图像降维的判别流形学习方法

本文提出了一种高光谱图像降维的判别流形学习方法.针对获取的大量遥感对地观测数据存在大量冗余信息的特点,引入改进的流形学习方法对高光谱遥感数据进行降维处理,以提高遥感图像自动分类的总体准确度.该方法充分利用遥感图像自动分类中训练样本的判别信息,将输入样本的类别信息加入到常规流形学习方法的框架中,从本质上提高输出的特征在低维空间中的判别力.同时,引入线性化模型以解决流形学习方法中常见的小样本问题.对高光谱遥感图像自动分类的实验表明,基于判别流形学习的高光谱遥感图像自动分类方法能够显著地提高图像分类准确度.

光谱信息降维及判别模型建立用于识别湿地植物物种

研究分析了北京地区常见湿地植物的高光谱数据特征。主要采用马氏距离法和主成分分析法对光谱进行降维,并对光谱特征进行分析和提取;利用提取的光谱信息构建判别模型对湿地植物进行判别,并对模型精度进行比较评价,最后获得最佳判别模型。研究结果显示:(1)马氏距离法和主成分分析法都能对光谱进行有效降维,(2)利用从光谱中提取的特征参数建立的判别模型,得到物种识别的精度都高于90%。可见,湿地植物高光谱数据信息的变换和利用能促进对湿地植物光谱特征的认识和提取,而建立模型进行植物判别可以指导未来遥感领域的湿地制图和监测。

水稻叶片高光谱数据降维与叶绿素含量反演方法研究

高光谱遥感技术为水稻叶片叶绿素含量的高通量、无损、准确监测提供了有效途径,然而高光谱数据的降维或特征光谱参数的选择是叶绿素含量有效反演的关键环节。利用2017年辽宁省盘锦市大洼水稻氮高效品种筛选试验基地的水稻叶片叶绿素含量与叶片高光谱数据,探讨了高光谱数据的降维方法与叶绿素含量的反演建模。首先应用最优子集选择算法(best subset selection)对工程常用的水稻叶绿素反演特征光谱指数进行优选,筛选出最优组合,作为叶绿素多元回归模型的输入特征;同时应用没有在光谱领域得到有效应用的基函数展开算法,利用Gram-Schmidt正交变换寻找叶片高光谱数据的基函数空间,再将高光谱数据投影到基函数空间从而实现降维,最后利用降维后的数据进行多元回归建模,反演叶绿素。结果表明:最优子集选择算法优选出的mNDVI(445,705,750)、NDVI(705,750)、PSRI(500,680,750)、RD(505,705)、RI1dB(720,735)、MCARI(550,670,700)、PPR(450,550)共7个特征指数组合,回归模型反演精度最高,决定性系数R2为0.844,均方根误差RMSE为0.926;基于基函数展开算法对400～1000nm波段范围601维高光谱数据降至13维,叶绿素反演回归模型的决定性系数R2达到0.861,均方根误差RMSE为0.906。说明基于基函数展开的高光谱降维与叶绿素含量估测方法效果较好,可为水稻叶绿素含量估测与长势诊断提供技术支持。

基于矩阵R理论的光谱降维方法研究

针对传统光谱降维方法的缺点,提出一种基于矩阵珟R理论的线性光谱降维方法。该方法在Cohen定义的矩阵R理论基础上提出修正矩阵珟R,可将物体光谱反射率分解为基本光谱和同色异谱黑光谱,再分别对两者进行线性降维。基本光谱的三个基向量由颜色匹配函数与光源的乘积再进行正交化得到,其三个基向量的累积贡献率可达100%。同色异谱黑光谱的基向量由主成分分析推导,取前三个特征向量作为同色异谱黑光谱的基向量。实验结果表明,使用该方法构建的六维线性模型能在光谱和色度两个方面较好地表征原始高维光谱反射率,满足光谱颜色复制的要求。

基于三维荧光谱降维处理的矿物油识别研究

以汽油、煤油和柴油为研究对象,并将其作为整体研究,不考虑其中具体组分,利用荧光光谱分析技术,提出一种通过将光谱数据矩阵首尾相连,求取其包络线,利用其表观统计量(选用标准偏差、峰度系数和偏度系数)将三维光谱降为二维光谱的方法,该方法对于光谱有一定程度重叠但光谱形状相似性较低的体系有较好的适用性。结合聚类方法,对油种进行识别,识别率达98%,依据朗伯比尔定律,测定三种油类的荧光强度与浓度的拟合曲线,并对其进行定量分析,加标回收率可达95%以上。并与目前常用的平行因子法进行分辨效率的比较,在计算时间上提高了43%。

基于视感知特征的多光谱高保真降维方法研究

为解决多光谱数据在降维压缩过程中的颜色精度保持问题,提出一种基于人眼视觉感知特征的多光谱数据高保真降维压缩方法(VPCM)。研究首先依据人眼视觉响应的非线性解析特征,成功构建了同时综合人眼光谱特征与色度特征的变换函数,并通过进一步构造的优化函数对其进行修正,以针对不同的样本集找到最佳变换方向,而后利用修正后的视觉特征变换函数对光谱样本集进行空间变换(Γ(S)=C),然后利用主成分分析方法对经视觉特征函数变换后样本集光谱数据进行降维压缩处理,并通过逆变换重构出样本集光谱数据(Γ-1(C)=^S),进行降维评价。实验选取四类具有典型代表性的数据集作为测试样本,分别以D50/2°条件下的CIELab色差和75组典型照明光源(钨丝灯、荧光灯和LED灯)下的平均同色异谱指数(MMI)作为色度主要评价指标,同时对比了Lab-PQR和2-XYZ两种较为先进的光谱降维算法。实验结果为VPCM方法的MMI值最小,其次是LabPQR,而2-XYZ的表现较差;VPCM方法在75组光源下对四组样本集的平均重构色差ΔEab也为最小,且最大样本平均色差及方差均要小于其他两种方法;VPCM方法的重构光谱精度介于Lab-PQR和2-XYZ之间,Lab-PQR的重构光谱精度最高。实验结果显示新方法色度压缩精度整体优于对比的两种方法,在变换参考条件下具有良好的色差稳定性,能够较好的应用于多光谱数据色度高保真压缩。

高光谱数据降维与水稻氮素含量解析方法

水稻营养监测、病虫害诊断中高光谱技术提供了有效、便捷的技术手段,高光谱数据的降维和特征提取至关重要。为了探索有效的高光谱降维方法,利用2019年沈阳市沈北试验基地水稻分蘖期、拔节期和抽穗期的叶片光谱数据及实测的氮素含量数据,首先分窗口对原始高光谱进行Gram-Schmidt变换找到投影空间并映射出主基底,保留具有显著性概率的主基底,其极大极小值为特征波段,实现高光谱数据降维与特征波段提取;其次利用降维后构建特征建立水稻叶片氮素含量估测模型;最后对比分析本研究方法与主成分分析、植被指数及特征参数等降维方法。结果表明:基于分窗Gram-Schmidt变换可有效实现高光谱数据的降维,高光谱降到4维,水稻叶片氮素含量估测模型5折交叉验证决定系数CV_R2为0.787,均方误差CV_MSE为0.051;基于主成分分析法降维,高光谱降到5维,CV_R2为0.743,CV_MSE为0.056;单个植被指数,效果最好的是GNDI(911,487),CV_R2为0.667,CV_MSE为0.076;多个特征光谱指数最优化选择7个特征,分别为SI(487),RI(601,487),DI(911,487),DDI(990,685,487),NDI(990,685),NDI(990,601)和GNDI(911,487),CV_R2为0.731,CV_MSE为0.072。说明采用全波段降维的方法优于植被指数及特征降维,并且本研究提出的分窗Gram-Schmidt变换在降维的同时也能获取包含主要信息的波段,优于主成分分析法。综上所述,基于分窗Gram-Schmidt变换的高光谱可为高光谱降维与水稻叶片氮素含量估测提供一定的理论基础和技术支撑。