快速挖掘全局频繁项目集

分布式环境中 ,全局频繁项目集的挖掘是数据挖掘中最重要的研究课题之一 传统的全局频繁项目集挖掘算法采用Apriori算法框架 ,须多遍扫描数据库并产生大量的候选项目集 ,且通过传送局部频繁项目集求全局频繁项目集的网络通信代价高 为此 ,提出了一种分布数据库的全局频繁项目集快速挖掘算法———FMAGF FMAGF算法采用传送条件频繁模式树或条件模式基来挖掘全局频繁项目集 ,可有效地减小网络通信量 ,提高全局频繁项目集挖掘效率

一种分布式全局频繁闭项目集快速挖掘更新算法

在数据挖掘研究中,频繁闭项目集挖掘成为重要的研究方向.目前已有的频繁闭项目集挖掘算法主要针对单机环境,有关分布式环境下的全局频繁闭项目集挖掘算法的研究尚不多见.针对无共享体系结构数据水平分布的情况,提出了一种分布式快速挖掘全局频繁闭项目集增量式更新算法,算法通过对各节点候选频繁项目集进行预处理,有效地降低网络通信量,提高全局频繁闭项目集挖掘算法的效率,该算法充分利用前次挖掘结果来发现新的全局频繁闭项目集,具有较高的效率.理论分析和实验结果表明算法是有效的.

分布式全局频繁项目集的快速挖掘方法

针对传统的分布式全局频繁项目集挖掘算法存在大量的候选项目集,且求全局频繁项目集的网络通信代价过高等问题,提出了一种分布式数据库的全局频繁项目集快速挖掘算法(FDMA).该算法改进了频繁模式树(FP-树)的结构,将双向FP-树改为单向,每个节点只保留指向父结点的指针,减少了指针数,由此可节省1/3的树空间;同时通过传送用3个很小的数组表示的被约束子树,在此挖掘全局频繁项目集的过程中不再生成大量候选项目集或条件FP-树,从而减小了网络通信量,提高了挖掘效率.实验表明,所提算法的挖掘速度比传统的分布式数据库数据挖掘算法至少提高了1倍之多,随着数据库规模的增大,它的扩展性将更好.

分布式数据库全局最大频繁项集增量更新算法

随着分布式数据库记录的不断增加,需要对已挖掘出的全局最大频繁项集进行增量更新。在已经提出的快速挖掘全局最大频繁项集算法(FMMFI)的基础上,提出了分布式数据库全局最大频繁项集增量更新算法(IUGMFI)。IUGMFI算法利用了FMMFI算法已经挖掘出的分布式数据库全局频繁项目和全局最大频繁项集。挖掘增量数据库的全局频繁项目,构建增量数据库的FP-tree,挖掘出增量数据库的全局最大频繁项集,采用自上而下的剪枝策略更新全局最大频繁项集。理论分析和实验结果表明,IUGMFI算法是快速而有效的。

传感器网络分布式数据流的频繁项集挖掘算法

研究无线传感器网络中数据流频繁项集挖掘问题。针对集中式的静态数据流频繁项集挖掘方法不能在传感器网络中直接使用这一特点,提出基于传感器网络的分布式数据流的频繁项集挖掘算法FIMDS。该算法基于FP-tree快速挖掘出传感器节点上单一数据流的局部频繁项集,然后通过路由将其在无线传感器网络里逐层上传合并,在Sink节点上汇聚后,采用自顶向下的高效剪枝策略挖掘出全局频繁项集。实验结果表明,该算法能有效地大幅度减少候选项集,降低无线传感器网络中的通信量,并有较高的时间和空间效率。

分布式数据库的全局频繁项目集高效更新算法

提出了快速更新全局频繁项目集的算法IUAGFI(IncrementalUpdatingAlgorithmforGlobalFrequentItemsets)。该算法主要考虑数据库记录发生变化时全局频繁项目集的更新情况,在最坏的情况下仅需扫描各局部数据库一遍,并利用已建立的各局部改进的频繁模式树和已挖掘的结果,可避免传送某些原全局频繁项目对应的被约束子树,从而降低网络通讯代价。实验结果表明,该算法是有效可行的。

分布式数据库的精简频繁模式集及其挖掘算法

对分布式数据库关联规则的挖掘与精简表示进行了研究,把频繁闭项集和最大频繁项集的概念推广到分布式数据库中,提出了在分布式环境下的频繁模式集的精简表示方法,以及一种基于各站点的全局大项目集的全局频繁闭项集和全局最大频繁项集的挖掘算法.该算法具有占用空间少、通信量小等特点.最后用实例进行了证明.

一种无候选集产生的并行关联规则挖掘算法

FPT(模式增长树)算法是一种不产生候选项集的串行关联规则挖掘算法,在效率上都优于基于Apriori的系列算法,因此该文利用FPT算法思想提出一种无候选集生成的并行关联规则算法PFPT,并与CD算法进行比较,结果表明该算法效率较CD算法优。

基于FP-tree的快速挖掘全局最大频繁项集算法

挖掘最大频繁项集的算法多基于局部数据库,为此提出了一种基于频繁模式树的快速挖掘全局最大频繁项集算法。该算法首先挖掘出所有全局频繁项目组成集合,然后各个节点根据该集合构建局部频繁模式树,最后将该集合作为全局最大频繁候选项集,采用自顶向下策略挖掘出所有的全局最大频繁项集。与类Apriori算法相比,该算法采用的频繁模式树结构能大幅度降低数据库扫描次数和运行时间;自顶向下的策略能大幅度减少候选项集数和通信量。实验结果表明,该算法是快速和高效的。

基于FP-tree的快速数据挖掘算法

针对挖掘全局频繁项集的算法大多采用的类Apriori算法存在通信量大、同步次数和数据库扫描次数较多等问题,提出了一种基于频繁模式树的快速挖掘全局频繁项集算法(FAMGFI).该算法让各计算机结点采用FP-growth算法独立地计算局部频繁项集,然后与中心结点交互实现数据汇总,最终获得全局频繁项集.FAMGFI算法采用自顶向下和自底向上策略,能大大降低通信量.理论分析和实验结果表明FAMGFI算法是快速而有效的.

全局频繁闭项目集挖掘算法研究

频繁闭项目集挖掘是数据挖掘研究中的一个重要研究课题。目前已有的频繁闭项目集挖掘算法主要针对单机环境,有关分布式环境下的全局频繁闭项目集挖掘算法的研究尚不多见。为此,本文提出了一种快速挖掘全局频繁闭项目集算法,并对其更新问题进行了研究;提出了一种相应的频繁闭项目集增量式更新算法,该算法将充分利用先前的挖掘结果来节省发现新的全局频繁闭项目集的时间开销。实验结果表明算法是有效的。

分布式数据库关联规则更新算法

提出了一种分布式关联规则增量更新算法(IUAAR),它可对数据库发生变化的情况进行归类.该算法主要采用改进了的FP树结构,通过传送被约束子树来挖掘全局频繁项目集,并充分利用快速分布式挖掘算法建立的各局部FP树,只对新增加了的全局频繁项目修改相应的改进FP树,挖掘其对应的被约束子树,同时利用已挖掘的全局频繁项目集对原全局频繁项目对应的被约束子树进行有效修剪.实验结果表明,该算法的运算速度比快速分布式挖掘算法提高了1倍,在最坏的情况下,对各局部数据库也仅需要扫描一遍,从而可提高数据库的维护效率.

基于频繁模式树的分布式关联规则挖掘算法

提出一种基于频繁模式树的分布式关联规则挖掘算法(DMARF).DMARF算法设置了中心结点,利用局部频繁模式树让各计算机结点快速获取局部频繁项集,然后与中心结点交互实现数据汇总,最终获得全局频繁项集.DMARF算法采用顶部和底部策略,能大幅减少候选项集,降低通信量.理论分析和实验结果均表明了DMARF算法是快速而有效的.

快速挖掘分布式数据库全局最大频繁项集

提出一种快速挖掘分布式数据库全局最大频繁项集算法(FMMFI).FMMFI算法首先设置了中心节点,并以各个节点构建局部FP-tree,采用挖掘最大频繁项目集算法(DMFIA)快速挖掘局部最大频繁项集;然后与中心节点交互以实现数据汇总;最终获得全局最大频繁项集.FMMFI算法采用自上而下的剪枝策略,能大幅减少候选项集,降低通信量.理论分析和实验结果表明,FMMFI算法是有效的.