研究光谱数据挖掘中的特征提取方法

特征提取是光谱数据挖掘中非常关键的一部分,它可以有效的将光谱测量数据中的成分进行一系列的操作,并把有效数据提取出来。特征提取的方法有关光谱数据后续处理的质量和稳定程度,是一项非常复杂的方法。光谱数据挖掘中的特征提取方法主要有三种,主成分分析提取方法、最小噪声分离变换提取方法、独立成分分析提取方法。本文对这些特征提取方法的原理和优缺点进行了分析,从不同的角度讨论的每个方法的特点,希望可以能够使高光谱数据处理能够更加适应各种高度混合的数据。

光谱流量标准化的高效计算

流量标准化是光谱数据挖掘中的一个基本环节,他对挖掘结果的精度和系统的效率均有重要影响,常用方法存在效率较低的问题,为此研究了光谱数据挖掘中流量标准化的算法设计和效率比较问题。首先,探讨了光谱流量标准化技术不同实现方案的渐进效率,给出了实现高效计算的算法,并分析了它们的时间复杂度和空间复杂度。然后,通过SDSS(sloan digital sky survey)的实测光谱数据,横向比较了不同流量标准化算法的效率差异。在光谱流量标准化算法的纵向理论研究中,主要考虑的是计算效率随数据规模增长的变化规律,是在极限意义下进行探讨。在横向实验比较中,考虑重点是不同算法中基本操作时间复杂度的差异及其对算法效率的影响。理论研究和实验结果表明,虽然四种标准化方法Smax,Smedian,Smean和Sunit的渐进效率的类型相同,但对常见的观测规模光谱数据来说,Smax和Smean的效率远远高于Sunit和Smedian,且常用的Sunit标准化方法效率最低。该研究对于在光谱数据挖掘和开发中,如何根据数据的规模,具体需求,从整体上考虑精度和效率的折衷,以确定合适的流量标准化方法有重要的参考价值。

序贯散列近邻法及其在光谱识别中的应用

基于近邻的方法是海量光谱数据获取、自动处理和挖掘中的一类重要方法,在应用中它们的主要问题是效率较低,为此文中提出了基于序贯计算的散列近邻法(SHNN)。在SHNN中,首先使用PCA方法对光谱数据进行正交变换,使数据按照各成分的散列能力进行组织;然后在PCA空间中快速查找待识别光谱的近邻数据,在此过程中通过散列思想快速约减搜索空间,并用序贯计算法高效地排除非近邻光谱数据,提高计算效率。文中主要贡献是,提出了SHNN算法,并研究了该算法在恒星光谱、正常星系光谱和类星体光谱识别中的应用。SDSS光谱实验研究表明,SHNN效率提高约96%以上,速度提高26.45倍以上。由于近邻法的广泛适用性,文中研究结果不仅对恒星光谱、正常星系光谱和类星体光谱的识别研究有重要的参考意义和一定的实用价值,亦对恒星大气参量的估计和基于光谱的红移测量有一定的参考意义。