基于MapReduce的大规模数据集流形学习降维研究

信息技术的快速发展导致了数据规模的爆炸式增长,传统的机器学习、数据挖掘算法面临新的挑战.流形学习克服了传统线性降维算法的不足,成为十年来降维研究的热点领域.然而流形学习算法复杂度高,对于大规模的数据集并不适用.针对大规模数据集下的流形学习降维问题,提出了基于MapReduce的分布式流形学习算法.该算法采用局部敏感哈希函数将相似点映射到同一个桶中,利用流形具有局部欧氏同胚的性质,在每个桶内采用欧氏距离度量点之间的测地距离,桶之间采用中心点及边缘点来计算修正的测地距离.在大规模的人工合成数据集和真实数据集上的实验表明,该算法能有效地估计数据点间的测地距离,适用于处理大规模数据集的降维问题.