快速挖掘全局频繁项目集

分布式环境中 ,全局频繁项目集的挖掘是数据挖掘中最重要的研究课题之一 传统的全局频繁项目集挖掘算法采用Apriori算法框架 ,须多遍扫描数据库并产生大量的候选项目集 ,且通过传送局部频繁项目集求全局频繁项目集的网络通信代价高 为此 ,提出了一种分布数据库的全局频繁项目集快速挖掘算法———FMAGF FMAGF算法采用传送条件频繁模式树或条件模式基来挖掘全局频繁项目集 ,可有效地减小网络通信量 ,提高全局频繁项目集挖掘效率

一种分布式全局频繁闭项目集快速挖掘更新算法

在数据挖掘研究中,频繁闭项目集挖掘成为重要的研究方向.目前已有的频繁闭项目集挖掘算法主要针对单机环境,有关分布式环境下的全局频繁闭项目集挖掘算法的研究尚不多见.针对无共享体系结构数据水平分布的情况,提出了一种分布式快速挖掘全局频繁闭项目集增量式更新算法,算法通过对各节点候选频繁项目集进行预处理,有效地降低网络通信量,提高全局频繁闭项目集挖掘算法的效率,该算法充分利用前次挖掘结果来发现新的全局频繁闭项目集,具有较高的效率.理论分析和实验结果表明算法是有效的.

分布环境中的并行频繁模式挖掘算法

频繁模式的并行挖掘算法是数据挖掘中重要的研究课题。目前已经提出的并行算法大多是基于Apriori或基于FP-tree。由于两者的固有局限性,而且在计算过程中需要多次同步,因而具有较低的性能。文章提出了一种基于分布数据库的并行挖掘算法。该算法尽可能地让每个处理器独立地挖掘,每个处理器基于前缀树采用深度优先搜索的策略挖掘局部频繁模式集,并通过相关性质尽量减少候选全局频繁模式的规模,减少网络的通信量和同步次数以提高挖掘效率。

分布式全局频繁项目集的快速挖掘方法

针对传统的分布式全局频繁项目集挖掘算法存在大量的候选项目集,且求全局频繁项目集的网络通信代价过高等问题,提出了一种分布式数据库的全局频繁项目集快速挖掘算法(FDMA).该算法改进了频繁模式树(FP-树)的结构,将双向FP-树改为单向,每个节点只保留指向父结点的指针,减少了指针数,由此可节省1/3的树空间;同时通过传送用3个很小的数组表示的被约束子树,在此挖掘全局频繁项目集的过程中不再生成大量候选项目集或条件FP-树,从而减小了网络通信量,提高了挖掘效率.实验表明,所提算法的挖掘速度比传统的分布式数据库数据挖掘算法至少提高了1倍之多,随着数据库规模的增大,它的扩展性将更好.

一种无候选集产生的并行关联规则挖掘算法

FPT(模式增长树)算法是一种不产生候选项集的串行关联规则挖掘算法,在效率上都优于基于Apriori的系列算法,因此该文利用FPT算法思想提出一种无候选集生成的并行关联规则算法PFPT,并与CD算法进行比较,结果表明该算法效率较CD算法优。

分布式数据库全局最大频繁项集增量更新算法

随着分布式数据库记录的不断增加,需要对已挖掘出的全局最大频繁项集进行增量更新。在已经提出的快速挖掘全局最大频繁项集算法(FMMFI)的基础上,提出了分布式数据库全局最大频繁项集增量更新算法(IUGMFI)。IUGMFI算法利用了FMMFI算法已经挖掘出的分布式数据库全局频繁项目和全局最大频繁项集。挖掘增量数据库的全局频繁项目,构建增量数据库的FP-tree,挖掘出增量数据库的全局最大频繁项集,采用自上而下的剪枝策略更新全局最大频繁项集。理论分析和实验结果表明,IUGMFI算法是快速而有效的。

分布式数据库的精简频繁模式集及其挖掘算法

对分布式数据库关联规则的挖掘与精简表示进行了研究,把频繁闭项集和最大频繁项集的概念推广到分布式数据库中,提出了在分布式环境下的频繁模式集的精简表示方法,以及一种基于各站点的全局大项目集的全局频繁闭项集和全局最大频繁项集的挖掘算法.该算法具有占用空间少、通信量小等特点.最后用实例进行了证明.

一种新的频繁子树挖掘算法研究与实现

为提高频繁子树挖掘算法效率,结合原有频繁子树挖掘算法FSubtreeM的相关技术提出了新的全局树引导结构及其相关引理,并证明了其正确性。最后提出了新的频繁子树挖掘算法FSM_CGTG,并通过实验证明了该算法在现实数据集上的有效性且比现有频繁子树挖掘算法FSubtreeM性能优越。

传感器网络分布式数据流的频繁项集挖掘算法

研究无线传感器网络中数据流频繁项集挖掘问题。针对集中式的静态数据流频繁项集挖掘方法不能在传感器网络中直接使用这一特点,提出基于传感器网络的分布式数据流的频繁项集挖掘算法FIMDS。该算法基于FP-tree快速挖掘出传感器节点上单一数据流的局部频繁项集,然后通过路由将其在无线传感器网络里逐层上传合并,在Sink节点上汇聚后,采用自顶向下的高效剪枝策略挖掘出全局频繁项集。实验结果表明,该算法能有效地大幅度减少候选项集,降低无线传感器网络中的通信量,并有较高的时间和空间效率。

基于FP-tree的快速挖掘全局最大频繁项集算法

挖掘最大频繁项集的算法多基于局部数据库,为此提出了一种基于频繁模式树的快速挖掘全局最大频繁项集算法。该算法首先挖掘出所有全局频繁项目组成集合,然后各个节点根据该集合构建局部频繁模式树,最后将该集合作为全局最大频繁候选项集,采用自顶向下策略挖掘出所有的全局最大频繁项集。与类Apriori算法相比,该算法采用的频繁模式树结构能大幅度降低数据库扫描次数和运行时间;自顶向下的策略能大幅度减少候选项集数和通信量。实验结果表明,该算法是快速和高效的。

分布式数据库的全局频繁项目集高效更新算法

提出了快速更新全局频繁项目集的算法IUAGFI(IncrementalUpdatingAlgorithmforGlobalFrequentItemsets)。该算法主要考虑数据库记录发生变化时全局频繁项目集的更新情况,在最坏的情况下仅需扫描各局部数据库一遍,并利用已建立的各局部改进的频繁模式树和已挖掘的结果,可避免传送某些原全局频繁项目对应的被约束子树,从而降低网络通讯代价。实验结果表明,该算法是有效可行的。

基于FP-tree的快速数据挖掘算法

针对挖掘全局频繁项集的算法大多采用的类Apriori算法存在通信量大、同步次数和数据库扫描次数较多等问题,提出了一种基于频繁模式树的快速挖掘全局频繁项集算法(FAMGFI).该算法让各计算机结点采用FP-growth算法独立地计算局部频繁项集,然后与中心结点交互实现数据汇总,最终获得全局频繁项集.FAMGFI算法采用自顶向下和自底向上策略,能大大降低通信量.理论分析和实验结果表明FAMGFI算法是快速而有效的.

全局频繁闭项目集挖掘算法研究

频繁闭项目集挖掘是数据挖掘研究中的一个重要研究课题。目前已有的频繁闭项目集挖掘算法主要针对单机环境,有关分布式环境下的全局频繁闭项目集挖掘算法的研究尚不多见。为此,本文提出了一种快速挖掘全局频繁闭项目集算法,并对其更新问题进行了研究;提出了一种相应的频繁闭项目集增量式更新算法,该算法将充分利用先前的挖掘结果来节省发现新的全局频繁闭项目集的时间开销。实验结果表明算法是有效的。

基于灰色预测模型的全球气候变化趋势预测

考虑地球吸热、散热和海洋表面温度等因素对气候的影响,建立多变量灰色预测模型,预测未来气候变化趋势.考虑全球与局地之间是整体与部分的关系,建立基于多变量灰色预测的线性回归模型,判断全球气候变化与局地“极寒现象”之间是否存在关联性.

一种基于多关联规则的全局快速分类算法

提出了一种分布多库环境下的全局库分类规则发现算法——FGCMAR。FGCMAR在各个站点采用CMAR算法分别生成频繁模式树,并在各个站点间传送条件模式基来形成全局条件频繁模式树,最终通过挖掘条件频繁模式树来得到全局分类规则。该算法能够有效的减小网络通信量,提高挖掘效率。理论分析和实验结果表明该算法是有效可行的。

分布式数据库关联规则更新算法

提出了一种分布式关联规则增量更新算法(IUAAR),它可对数据库发生变化的情况进行归类.该算法主要采用改进了的FP树结构,通过传送被约束子树来挖掘全局频繁项目集,并充分利用快速分布式挖掘算法建立的各局部FP树,只对新增加了的全局频繁项目修改相应的改进FP树,挖掘其对应的被约束子树,同时利用已挖掘的全局频繁项目集对原全局频繁项目对应的被约束子树进行有效修剪.实验结果表明,该算法的运算速度比快速分布式挖掘算法提高了1倍,在最坏的情况下,对各局部数据库也仅需要扫描一遍,从而可提高数据库的维护效率.

一种数据流中的频繁模式挖掘算法

时序数据流的无限性、流动性和不规则性使得传统的频繁模式挖掘算法难以适用。针对时序数据流的特点,提出了一类特殊非规则数据流频繁模式挖掘的新算法。新算法采用时序数据分段的思想,逐段挖掘局部频繁模式,然后依据局部频繁模式有效地挖掘出所有的全局频繁模式。将新算法应用于电信领域的收入保障项目之中,结果表明,新算法具有良好的性能,能有效发现挖掘时序数据流中的频繁模式。

一种分布式全局频繁项集挖掘方法

提出一种基于频繁模式树与最大频繁项集的分布式全局频繁项集挖掘算法BFM-MGFIS,该算法引入子集枚举树以实现有序挖掘与全局剪枝策略,有效地减小了候选数据集且提高了并行性,实验表明本文提出的算法是有效可行的。

频繁模式集挖掘算法TFPDM的研究

受经典的Apriori算法思想和FP-Growth算法思想的启发,在结合两者优点的基础上提出了一种新的算法思想,它是对传统的FP-Growth算法的变形。该算法只需对数据库扫描一次,可以同时对全局和局部频繁模式集进行挖掘,减少了对发生增益数据库挖掘的费用。理论分析表明算法是有效的、可行的。

一种基于分布式数据库的全局频繁项挖掘算法

针对FDM(Fast Distributed Association Rules Mining)可能会出现全局频繁项集丢失的问题,引入双射空间的思想和标识位,提出一种DS-CFDM(Double space-Fast Distributed association rules Mining based on Center)算法,算法实现通过一中心站点来协调信息的传输以此来减少网络通信的负担。