基于FP-tree的最大频繁项集挖掘算法

现有的最大频繁项集挖掘算法在支持度阈值较大情况下已达到较高性能,但在支持度阈值较小时,由于候选项集的快速增长,其性能往往不理想。文章提出了一种基于频繁模式树(FP-tree)存储结构的最大频繁项集挖掘算法——DMFIF算法,将FP-tree各分枝作为初始候选项集,并按维数和支持度递减排序,结合子集剪枝策略,自顶向下搜索挖掘最大频繁项集。实验结果表明,该算法在低支持度阈值下稠密数据集中挖掘长模式具有较好性能。

改进的基于频繁模式树的最大频繁项集挖掘算法——FP-MFIA

针对最大频繁项目集挖掘算法(DMFIA)当候选项目集维数高而最大频繁项目集维数较低的情况下要产生大量的候选项目集的缺点,提出了一种改进的基于频繁模式树(FP-tree)结构的最大频繁项目集挖掘算法——FPMFIA。该算法根据FP-tree的项目头表,采用自底向上的搜索策略逐层挖掘最大频繁项目集,从而加速每次对候选集计数的操作。在挖掘时根据每层的条件模式基产生维数较低的非频繁项目集,尽早对候选项目集进行剪枝和降维,可大量减少候选项目集的数量。同时在挖掘时充分利用最大频繁项集的性质,减少搜索空间。通过算法在不同支持度下挖掘时间的对比可知,算法FP-MFIA在最小支持度较低的情况下时间效率是DMFIA以及基于降维的最大频繁模式挖掘算法(BDRFI)的2倍以上,说明FP-MFIA在候选集维数较高的时候优势明显。

基于频繁模式树的约束最大频繁项集挖掘算法

多数最大频繁项集挖掘算法产生候选项目集的代价很高,而实际应用中用户只关心部分关联规则。针对该问题,提出一种基于频繁模式树的约束最大频繁项集快速挖掘算法。该算法能随时删除不满足约束条件的项集,无需生成候选项目集,由此提高挖掘效率。实验结果证明,该算法的效率优于同类算法。

一种基于邻接表的最大频繁项集挖掘算法

针对Apriori算法与FP-Growth算法在最大频繁项集挖掘过程中存在的运行低效、内存消耗大、难以适应稠密数据集的处理、影响大数据价值挖掘时效等问题,该文提出一种基于邻接表的最大频繁项集挖掘算法。该算法只需遍历数据库一次,同时用哈希表对邻接表进行辅助存储,减小了遍历的空间规模。理论分析与实验结果表明,该算法时间与空间复杂度较低,提高了最大频繁项集挖掘速率,尤其在处理稠密数据集时具有较好的优越性。

数据流中基于滑动窗口的最大频繁项集挖掘算法

挖掘数据流中最大频繁项集是从数据流中获得信息的一种有效手段,是数据流挖掘研究的热点之一。结合数据流的特点,提出了一种新的基于滑动窗口的最大频繁项集挖掘算法。该算法用位图来存储数据流中流动的数据;采用直接覆盖的方法存储和更新数据流上的数据;在深度优先搜索挖掘最大频繁项集时,除采用经典的剪枝策略外,还提出了与父等价原理相对应的子等价剪枝策略;最后将挖掘结果存储在索引链表中以提高超集检测效率,进一步减少挖掘最大频繁项集的时间。理论分析和实验结果证实了该算法在时间和空间上的有效性。

基于FP树的全局最大频繁项集挖掘算法

挖掘最大频繁项集是多种数据挖掘应用中的关键问题.在以往的最大频繁项集挖掘算法中,为了更新最大频繁候选项集集合,需要反复地扫描整个数据库,而且大部分算法是单机算法,全局最大频繁项集挖掘算法并不多见.为此提出MGMF算法,该算法利用FP-树结构,类似FP-树挖掘方法,一遍就可以挖掘出所有的最大频繁项集,并且超集检测非常简单、快捷.另外MGMF算法采用了分布式PDDM算法播报消息的思想,具有很好的拓展性和并行性.实验证明MGMF算法是有效可行的.

基于有序FP-tree的最大频繁项集挖掘算法

通过分析有序FP-tree与MFI之间的关联关系,提出一种高效的MFI挖掘算法(MMFI),使其在挖掘过程中不但避免了条件频繁模式树的构建,也省略了超集检测的过程.提出了两种预剪枝策略,该策略能够有效地缩短算法执行的时间复杂度.结合理论分析和实验数据发现MMFI算法比传统算法快速、合理.

基于改进FP-tree的最大频繁项集挖掘算法

现有的最大频繁项集挖掘算法在挖掘过程中需要进行超集检测,基于FP-tree的算法需要递归的建立条件频繁模式树,挖掘效率不高。提出了一种基于改进FP-tree高效挖掘最大频繁项集的算法(MMFI)。该算法修改了FP-tree结构并采用NBN策略,在挖掘过程中既不需要进行超集检测也不需要递归的建立条件频繁模式树。算法分析和实验结果表明,该算法是一种有效、快速的算法。

基于索引数组与集合枚举树的最大频繁项集挖掘算法

由于其内在的计算复杂性,挖掘密集型数据集的全部频繁项集非常困难,解决方案之一是挖掘最大频繁项集。集合枚举树是最大频繁项集挖掘算法中常用的数据结构,最大频繁项集的挖掘过程也可以看作是集合枚举树的搜索过程。为缩小集合枚举树的搜索空间,采用宽度优先和深度优先相结合的混合搜索策略,提出了一种新的最大频繁项集的挖掘算法Index-MaxMiner。该算法首先设计了索引数组这种新的数据结构,并给出了一个基于二进制位图技术的索引数组的计算方法。通过为每个频繁项增加包含索引,Index-MaxMiner利用一次宽度优先搜索得到了候选最大频繁项集,使集合枚举树的第一层结点个数大幅度减少。然后在候选最大频繁项集中通过深度优先搜索,得到全部最大频繁项集,从而实现了集合枚举树的跳跃式搜索,大大缩小了搜索空间。实验结果表明,该算法可有效提高最大频繁项集的挖掘效率。

基于链表数组的最大频繁项集挖掘算法

挖掘密集型数据集的全部频繁项集代价高昂,针对该问题,提出一种数据结构链表数组和基于链表数组的最大频繁项集快速生成算法。该方法使用链表数组为每个项目建立事务链表,并且链表的创建过程只需扫描数据库1次。使用深度优先搜索得到所有候选最大频繁项集,利用约束条件缩小搜索空间。使用标准数据集进行验证测试并与其他算法进行比较,实验结果表明,该算法具有较快的挖掘速度。

一种面向中医药领域的二维最大频繁项集挖掘算法

在中医药领域挖掘药组频繁项集时发现,尽管有些项集的支持度比人们需要的频繁项集的支持度高很多,但这些项集并不是人们感兴趣的,即过分频繁反而变得平凡.本文引入支持度区间的概念,提出了适合中药数据挖掘的二维TCM-FP森林结构及其建树算法.在针对疾病症状的中药药组挖掘过程中,采用优化的搜索策略开发了基于支持度区间的TCMA维间最大频繁项集挖掘算法.这种算法既缩小了挖掘的范围又提高了规则的意义,并且具有较高的执行效率.

基于事务树的最大频繁项集挖掘算法

针对Apriori算法在寻找频繁项集的过程中需多次扫描数据库、侯选项集过多、支持度计算过于复杂等问题,提出TT-Apriori算法。该算法将事务数据库转化成事务树,通过遍历事务树能直接快速地找到最大频繁项目集。简化支持度的计算,避免对整个数据库的扫描和大量的连接步骤,从而提高挖掘效率。

基于FP-tree和支持度数组的最大频繁项集挖掘算法

提出了一个基于频繁模式树即FP-tree和支持度数组相结合的最大频繁项集挖掘算法,首先建立FP-tree,同时建立支持度数组,然后在此基础上建立最大频繁项集树MAXFP-tree,MAXFP-tree中包含了所有最大频繁项集,缩小了搜索空间,提高了算法的效率。算法分析和实验表明,该算法对稠密型数据集和稀疏型数据集均适用,并且特别适于挖掘具有长频繁项集的数据集。

基于迭代事务集与交集剪枝的最大频繁项集挖掘算法

挖掘最大频繁项目集是多种数据挖掘应用中的关键问题,如果采用Apriori类的候选项目集生成-检验方法,则候选项目集生成的代价通常很高。为寻求避免生成大量候选项集或生成频繁模式树的挖掘算法,提出一种从事务项集交集求最大频繁项集的迭代算法DIIP(Datasets Iteration and Intersection Pruning Algorithm),通过不断缩减事务集数据量和尽可能早地对项目集进行修剪实现最大频繁项集的挖掘,该算法有别于已有的最大频繁项集经典算法,实验表明该算法有效可行。

网格下最大频繁项集挖掘算法的实现

随着网格和数据挖掘技术的发展,提出了网格平台下最大频繁项集数据挖掘算法,采用数据库的垂直表示和基于前缀关系的等价划分,以等价类长度的指数函数作为等价类的权值,减少剪枝对负载的影响,合理划分等价类,在动态负载平衡情况下使处理机异步计算,大大提高算法的执行效率。实验证明设计的算法有较好的可扩展性,其性能明显优于其他相关算法。

基于云计算的最大频繁项集挖掘算法

针对目前海量数据挖掘过程中存在着频繁项集挖掘效率低、冗余项集繁多的问题,提出了改进的频繁模式树和遗传算法(FPGA),该算法鉴于异构数据的差异性特征,采用改进的频繁模式树和基于MapReduce的并行遗传算法搜索最大频繁项集,缩小了搜索范围,提高了挖掘效率.实验结果表明:该算法在时间复杂度方面有了很大提高,与传统的FP_Growth算法相比,具有更好的加速比以及更高的执行效率.

分布式全局最大频繁项集挖掘算法

提出一种分布式全局最大频繁项集挖掘算法(DMFI),该算法含局部挖掘与全局挖掘2个阶段。提出一个基于FP-tree的改进频繁模式树(IFP-tree)来存储数据信息。在局部挖掘阶段,先在各站点上分别建立该模式树,并使用有序方式存储频繁项目,然后,通过对各局部数据库的扫描,挖掘出局部最大频繁项集。在全局挖掘阶段,利用各局部数据库生成的最大频繁项集以及利用组通信播报消息的方式,从而挖掘出全局最大频繁项集的集合。对算法的实现以及在多种情况下进行测试。研究结果表明:DMFI算法具有较好的性能。

最大频繁项集挖掘算法的分析研究

本文介绍了频繁项集挖掘的基本情况,用比较的方法通过示例分析、研究了两种最大频繁项集挖掘算法,并指出了最大频繁项集挖掘算法的局限性。进而阐述了最大频繁项集挖掘算法的特点及优化算法的途径。

改进的最大频繁项集挖掘算法

为了提高挖掘关联规则的效率,提出基于改进FP-Tree结构的最大频繁项集挖掘算法。介绍并分析了挖掘最大频繁项集的过程和现有算法,指出现有算法中耗时的关键步骤。克服了MMFI算法中需要反复从头表出发沿相同项目结点链搜索右侧结点的缺点,提出一种改进的最大频繁项集挖掘算法IMMFI。通过在有序FP-Tree中引入叶子链,用沿叶子链搜索取代沿同层结点链搜索,有效地减少了搜索的次数,提高了算法的效率。实验结果表明了该算法的性能良好。

P2P网络中最大频繁项集挖掘算法研究

为解决P2P网络频繁项集挖掘中存在的全体频繁项集数量过多和网络通信开销较大这两个问题,提出了一种在P2P网络中挖掘最大频繁项集的算法P2PMaxSet。首先,该算法只挖掘最大频繁项集,减少了结果的数量;其次,每个节点只需与邻居节点进行结果交互,节省了大量的通信开销;最后,讨论了网络动态变化时算法的调整策略。实验结果表明,算法P2PMaxSet具有较高的准确率和较少的通信开销。