一种改进的关联规则增量式更新算法

针对增量式更新关联规则算法FUP会产生大量候选项集和多次扫描数据库的问题,提出改进算法PFUP。该算法借鉴强频繁项集概念,利用强频繁项集连接生成小数量的候选项集,采用预剪枝策略减少对数据库的扫描次数。仿真实验表明,在数据库和支持度相同的情况下,PFUP算法的执行时间比FUP算法减少了50%左右。

并行的关联规则增量式更新优化算法研究

针对关联规则快速更新算法(PFUP)会带来单处理机运行负荷过重、降低执行效率的问题,提出基于并行计算快速更新算法(PPFUP)。在无共享的工作站上,通过划分局部频繁项集并分配到结点,采用并行思想处理原数据库和新增数据库的计算任务,降低单处理机内存压力。实验证明了该算法的有效性。

基于矩阵的关联规则增量更新及其改进算法

为了解决大数据环境下如何高效地挖掘关联规则并进行增量更新,在原有的fast updating pruning(FUP)算法基础上,首先提出一种基于矩阵的关联规则增量更新方法(MFUP),该方法将数据集转化成布尔矩阵,减少对数据集的扫描次数以及数据集的存储量;然后将MFUP与Hadoop分布式计算框架结合,提出一种分布式环境下的新算法Cloud MFUP(CMFUP);最后通过设计实验进行对比分析。结果表明,在挖掘相同数据量的关联规则并进行增量更新时,MFUP算法相比FUP算法执行时间更少,且随着数据集的增加,其增速更慢;对比CMFUP与MRFUP算法表明,随着分布式环境下数据集的增加,前者较后者执行时间更短增速更慢。