基于自然最近邻的离群检测方法研究

在实际应用中,近邻技术具有简单、快速、高效的特点,受到研究人员的青睐.近来自然最近邻被提出并应用到离群检测和聚类中,鉴于自然最近邻消除了参数k设置的特点,本文将自然最近邻的概念应用到逆k最近邻、互k最近邻、共享k最近邻中,提出了自然逆最近邻、自然互最近邻和自然共享最近邻.并将提出的3种算法在离群点检测中进行了实验对比分析.实验结果表明自然逆最近邻和自然互最近邻能够有效发现局部和全局离群点.

Hadoop 3.0大数据平台性能

针对发布的Hadoop3.0,本文研究了Hadoop3.0大数据平台性能。首先,采用华为云服务器搭建大数据平台;其次,利用Hadoop框架提供的基准性能测试程序进行性能验证,测试指标包括TestDFSIO、MRBench和TeraSort。最后,对比分析不同负载、不同数据量对平台性能的影响。实验结果表明,Hadoop3.0在HDFS读写能力、MapReduce计算能力上均表现出较优的性能。