基于Spark的FP_Growth算法的并行与优化

PFP_Growth算法是FP_Growth算法在Hadoop平台上基于MapReduce的并行化,该算法在分组过程中没有考虑负载均衡问题,导致各个节点完成任务时间不一致,甚至相差很大,从而降低了算法的执行效率。为了提高算法的执行效率,提出了一种基于Spark的RPFP算法,该算法对PFP_Growth算法在均衡分组和降低时间复杂度两方面进行优化,通过把负载大的项放在负载总和最小的组里面实现均衡分组,通过在链头表结构中加入一张哈希表达到快速访问元素地址的目的,从而降低时间复杂度。实验结果表明,RPFP通过优化PFP算法,有效提高了频繁项集的挖掘效率。

基于负载均衡的并行FP-Growth算法

针对FP-Growth算法查找操作时间复杂度较高的问题,提出一种新的算法LBPFP。在PFP算法基础上,将哈希表加入链头表以实现项地址的快速访问,并设计基于前缀长度的计算量模型,优化并行流程,提升算法的执行效率。在webdocs.dat数据库上进行对比实验,结果表明,LBPFP算法比PFP、HPFP、DPFP算法具有更高的频繁项集挖掘效率。