分布式并行数据挖掘系统的研究与实现

分布式多层体系结构,一方面可以适用于分布式应用的需要,另一方面可以减少系统的升级、维护费用,提高系统的鲁棒性。并行计算可以提高系统的执行效率。因此,研究分布式数据挖掘和并行数据挖掘问题很有必要性。文章研究了基于多线程的并行数据挖掘,和基于VisiBroker的分布式数据挖掘的实现原理,以及运行实例。

基于云计算的大数据挖掘平台

开发了一个基于云计算的并行分布式大数据挖掘平台——PDMiner。PDMiner实现了各种并行数据挖掘算法,如数据预处理、关联规则分析以及分类、聚类等算法。实验结果表明,并行分布式数据挖掘平台PDMiner中实现的并行算法,能够处理大规模数据集,达到太字节级;具有很好的加速比性能;实现的并行算法可以在商用机器构建的并行平台上稳定运行,整合了已有的计算资源,提高了计算资源的利用效率;可以有效地应用到实际海量数据挖掘中。在PDMiner中还开发了工作流子系统,提供友好统一的接口界面方便用户定义数据挖掘任务。

基于云计算的数据处理及数据挖掘方法

介绍云计算的概念及应用,探讨传统数据挖掘方法——分类和聚集方法的基本原理、特点、优缺点及应用范围。根据云计算的并行分布式计算特点,提出与之适应的数据处理方法。借助Google云计算中的分布式数据处理平台,评价云计算下复杂数据形式的数据挖掘方法。