基于Fisher判别的半监督天体光谱数据特征降维

降维是天体光谱数据预处理常用的手段之一,如何利用标号天体光谱数据,克服降维过程中的过分拟合,是提高降维效果的有效途径之一。采用半监督学习,给出了一种天体光谱数据特征降维方法。该方法首先针对具有标号天体光谱数据,建立Fisher判别分析和PCA可变动选择的不确定关系;其次构建其半监督降维的全局最优化形式,通过特征值分解计算降维结果,从而有效地克服了天体光谱降维过程中的过分拟合问题;最后采用高红移类星体和晚型星SDSS天体光谱特征线数据集,实验验证了该方法的有效性。

面向LAMOST的天体光谱离群数据挖掘系统研究

在宇宙中寻求未知天体是人类探索宇宙奥妙所追求的目标之一,离群数据挖掘是发现未知天体光谱数据的一种有效途径。文章首先以VC++和Oracle9i为开发工具,设计与实现了面向LAMOST的恒星光谱离群数据挖掘系统,并给出了其软件体系结构和模块功能。其次,对基于中值滤波器的恒星光谱数据预处理、基于距离的恒星光谱数据聚类、基于距离支持度的恒星光谱数据离群数据挖掘、基于主分量分析法PCA的恒星光谱数据离群数据的三维可视化等主要关键技术进行了详细描述。最后,基于SDSS恒星光谱数据的运行结果表明,利用该系统寻找天体光谱离群数据是可行的,从而为寻找未知的、特殊的天体光谱数据提供了一种新途径。

一种基于约束FP树的天体光谱数据相关性分析方法

寻找未知的天文规律是人类探索宇宙奥妙所追求目标之一.利用关联规则来描述天体光谱数据特征与其物理化学性质之间存在的、未知的相关性,是实现该目标的一种有效手段.以国家重大科学工程LAMOST项目为背景,利用一阶谓词逻辑作为天体光谱知识表示技术,提出一种约束FP树及其构造算法,从而有效提高天体光谱数据相关性分析的针对性和效率.并在此基础上,提出一种基于约束FP树的天体光谱数据相关性分析方法.实验结果分析表明,利用该相关性分析方法挖掘天体光谱数据特征和物理化学性质之间存在的相关性,是可行的和有价值的.

利用子空间划分的局部离群数据挖掘算法

目前大多数局部离群数据挖掘算法需人为事先设置参数或阈值,且难以应用到高维数据集.给出一种新的局部离群数据挖掘算法PSO-SPLOF,该算法首先将数据集划分为互不相交的子空间,利用偏斜度判断子空间划分的优劣,并采用微粒群算法搜索最优划分子空间集;其次针对每个最优划分子空间,计算其数据对象的局部离群因子SPLOF值,并用SPLOF值来度量数据对象的局部偏离程度.最后采用离散化的天体光谱数据作为数据集,实验验证了PSO-SPLOF算法具有受人为因素影响小、伸缩性强和运算效率高等优点.

一种恒星光谱分类规则后处理方法

随着LAMOST巡天的逐步实施,天体光谱数据量极大,对观测数据进行自动分类及分析具有重要的意义。采用常规方法获取的分类规则集中,往往存在大量冗余规则,影响了分类效率和质量。本文给出了一种基于谓词逻辑的分类规则后处理方法,通过利用谓词描述光谱分类规则,并对分类规则集进行谓词演算,消除冗余规则。最后,采用LAMOST观测的恒星光谱数据,实验验证该方法在保证分类准确率不降低的前提下,可大幅提高自动分类效率。

基于微粒群和子空间的离群数据挖掘算法研究

传统的离群数据挖掘方法大多数是利用全局的观点看待离群数据,很难发现低维子空间中的偏移数据。利用微粒群算法(PSO)具有简单、容易实现并且没有许多参数需要调整等优势,提出了一种基于PSO和子空间的离群数据挖掘算法(OM-PSO)。该算法首先将子空间看作微粒,根据偏离数据所在子空间的稀疏系数,采用带有变异算子的PSO算法来搜索子空间,并将子空间中的数据看作为局部偏离数据,即离群数据;最后采用离散化的天体光谱数据作为数据集,实验结果验证了该算法的有效性。

一种基于剪枝的横向分块概念格构造算法

概念格是形式概念分析中的核心数据结构,随着数据量的日益剧增,概念格的构造效率始终是关键.本文首先引入横向分块概念格,给出其若干结论;针对横向分块概念格构造过程中存在冗余信息,提出一种基于剪枝的横向分块概念格渐进式构造算法PHCL,从而进一步提高了概念格的构造效率;最后采用恒星天体光谱数据作为形式背景,实验验证了算法PHCL的正确性和有效性.

基于剪枝的概念格渐进式构造

概念格是形式概念分析中的核心数据结构。然而,随着需要分析处理的数据量日益剧增,概念格的构造效率成为一个关键问题。采用剪枝方法,消除了概念格构造过程中产生的冗余信息,提出了一种基于剪枝的概念格渐进式构造算法(Pruning based Concept Lattice,PCL),从而减少了概念格内涵的比较次数,提高了概念格的构造效率。采用恒星天体光谱数据作为形式背景,实验验证了算法PCL的正确性和有效性。