MRClose:一种基于MapReduce的并行闭频繁项集挖掘算法

频繁项集挖掘是最重要的数据挖掘任务之一,闭频繁模式项集是频繁项集的一种无损压缩形式,具有挖掘效率高、无冗余信息等优点。在大数据时代,基于单机的闭频繁项集挖掘算法不能适应海量数据的挖掘需求,需要并行的算法来解决。本文分析了并行闭频繁项集挖掘中搜索空间划分、剪枝策略的策略选择,设计了一种并行的全局闭项集筛选方法,提出一种基于Map Reduce计算模型的并行闭频繁项集挖掘算法MRClose。实验表明提出的算法实现了较好的均衡负载和低I/O量,在执行效率和结果压缩两方面较并行频繁项集挖掘算法具有更好的效果。