基于MapReduce的人工蜂群算法在大数据中的应用

随着信息技术的不断进步,数据规模不断增大。聚类是一种典型的数据分析方法,尤其是对大规模数据进行聚类分析近年来备受关注。针对现有序列聚类算法在对大规模数据进行聚类时,在内存空间和计算时间方面开销较大的问题,提出了基于MapReduce的人工蜂群聚类算法,通过引入MapReduce并行编程范式,快速计算聚类中心适应度,可实现对大规模数据的高效聚类。基于仿真和真实的磁盘驱动器制造两类数据,对算法的聚类效果、可扩展性和聚类效率进行了验证。实验结果表明,与现有PK-Means算法和并行K-PSO算法相比,论文算法具有更好的聚类效果、更强的扩展性和更高的聚类效率。

一种基于MapReduce的改进人工蜂群算法

针对现有序列聚类算法在对大规模数据进行聚类时,内存空间和计算时间开销较大的问题,提出了基于MapReduce的人工蜂群聚类算法。该算法通过引入MapReduce并行编程范式,快速计算聚类中心适应度,可实现对大规模数据的高效聚类。基于仿真数据对算法的聚类效果和聚类效率进行了验证。实验结果表明,与现有PK-Means算法和并行K-PSO算法相比,该算法具有更好的聚类效果和更高的聚类效率。

基于大数据处理的MapReduce实时优化研究

随着大数据时代的到来,关于大规模数据的处理技术研究也是源源不断。因此大数据的处理也面对着众多难题,伴随着Map Reduce计算框架的出现也暂时缓解了这一难题。众所周知,大规模数据(我们这里通常为PB级甚至EB级)是能够通过Map Reduce进行高效并行处理的,但是在实际的企业运用环境过程中,随着企业对数据处理要求越来越多,而传统的数据仓库在企业实行战略性决策中明显出现时间的实时性不能满足其需求,相应的Map Reduce底层架构和处理模式上的缺陷逐渐显现出来,给企业造成了处理效率、实时更新、执行性能上等方面的一些问题。面对这些问题并且结合企业实际运行需求,本文章主要针对Map Reduce的实时优化研究。该文文中首先对Map Reduce的编程模型和实现机制进行了阐述,其次着重对Map Reduce实时处理优化进行研究,最后对Map Reduce各种优化技术进行了总结和展望。