高效的关联规则快速更新算法

挖掘关联规则的两大经典算法Apriori和FP-tree算法都是以批处理方式处理所有事务。但在实际应用中,新事务频繁地出现,这就需要不断更新关联规则。为了提高更新效率,有效减少扫描原数据库的次数,基于次频繁项的概念,在快速更新频繁模式树(FUFP-tree)算法的基础上,提出了一种改进的算法。实验结果表明新算法具有良好的性能。

基于MapReduce的关联规则并行增量更新算法

针对在关联规则的实际挖掘中,由数据快速增加所造成的大数据问题和增量更新问题。在快速更新频繁模式树算法(fast updated frequent pattern tree,FUFP-tree)的基础上,引入MapReduce并行编程模型,提出了一个面向大数据的并行的关联规则增量更新算法(parallel fast updated frequent pattern tree,PFUFP-tree)。该算法通过构建原始事务数据的分块索引,从而使得在每次增量更新时,能够最小化地扫描原始事务数据库,提高了挖掘效率;同时采用动态负载均衡的项目分组策略来优化并行计算过程中的项集分组问题,从而保证分布式集群中节点之间的负载均衡;实验结果证明,提出的算法是有效的和高效的,适用于动态增长的大数据环境。