基于FP-Tree的最大频繁项目集挖掘及更新算法

挖掘最大频繁项目集是多种数据挖掘应用中的关键问题,之前的很多研究都是采用Apriori类的候选项目集生成-检验方法.然而,候选项目集产生的代价是很高的,尤其是在存在大量强模式和/或长模式的时候.提出了一种快速的基于频繁模式树(FP-tree)的最大频繁项目集挖掘DMFIA(discover maximum frequent itemsets algorithm)及其更新算法UMFIA(update maximum frequent itemsets algorithm).算法UMFIA将充分利用以前的挖掘结果来减少在更新的数据库中发现新的最大频繁项目集的费用.

一种基于前缀广义表的关联规则增量式更新算法

关联规则挖掘是数据挖掘研究的一个重要方面 ,关联规则的高效维护算法研究是当前研究的热点 .传统更新算法与Apriori算法框架一致 ,要多遍扫描数据库并产生大量的候选项目集 .为此 ,该文对FP tree进行了改进 ,引入了前缀广义表———PG List,并提出了基于PG List的关联规则挖掘 (MARBPGL)与增量式更新算法(IUABPGL) .算法MARBPGL仅须扫描数据库两遍 ,算法IUABPGL在最坏的情况下仅须扫描原数据库一遍 ,扫描新增数据库两遍 ,且两个算法均无须生成候选项目集 ,避免了产生“知识的组合爆炸” ,提高了挖掘和维护的效率 .理论分析和实验结果表明该文提出的算法是有效可行的 .

基于频繁模式树的约束最大频繁项目集挖掘算法研究

目前绝大多数频繁项目集(或最大频繁项目集)挖掘算法并没有考虑相关领域知识,其结果会产生许多无关的模式.因此,发现约束频繁(或约束最大频繁)项目集是多种数据挖掘应用中的关键问题,然而,这方面的研究工作却很少.为此该文提出了一种快速的基于频繁模式树(FP-tree:一种扩展前缀树结构)的约束最大频繁项目集挖掘及其更新算法.实验结果表明该算法是快速有效的.

频繁序列模式更新算法

在分析了频繁序列模式更新算法关键技术的基础上,提出了一种快速的增量式更新频繁序列模式挖掘算法FUFSPA,该算法将充分利用先前挖掘过程中所产生的信息来减少本次挖掘过程中的时间开销.另外,针对频繁序列模式挖掘中支持数计算的复杂性,提出了一种基于二进制形式的支持数计算方法,该方法只需进行一些“或”逻辑运算操作,将该方法用于序列模式挖掘中支持度(数)的计算,可以进一步提高算法的执行效率.实验结果表明算法FUFSPA是可行和有效的.

基于FP_Growth算法的关联规则挖掘研究及应用

关联规则的发现对于挖掘数据中的隐含信息非常重要,针对关联规则挖掘算法进行研究,分析了利用FP_Growth算法构建FP-tree和递归挖掘频繁项集的过程,并应用该算法对大学生兴趣爱好问卷调查结果进行分析,通过找出强关联规则,准确了解学生的共同爱好,有助于更好地开展校园文化活动.

基于频繁模式挖掘知识库的增量式更新算法的研究

利用FP-tree算法产生的知识库,对关联规则的增量式更新问题提出了IUA_FPKB新算法。该算法可以有效地利用知识数据库中保留的频繁模式树,减少了对原挖掘数据库和更新后的数据库的扫描次数,提高了算法的运行效率。

基于FP-growth的关联规则增量更新算法

针对最小支持度不变,事务数据库内容不断增加的关联规则更新问题,提出了一种简单高效的增量关联规则更新算法FPUA。

基于双向十字链表的频繁项集挖掘

有效地进行频繁项挖掘一直以来都是数据挖掘任务中最为重要的组成部分。已有的大部分频繁项挖掘算法在数据项多及支持度低的情况下,算法的效率急剧下降。为了有效地解决此类问题,提出了一种采用双向十字链表结构的频繁项挖掘算法(two-way crossed list for frequent itemsets mining,TCLFI)。极大地降低了搜索空间,加快了频繁项的筛选过程,减少了所需保存的数据项个数,从而降低了时间复杂度,提高了频繁项的挖掘效率。实验通过真实数据集和合成数据集验证了算法的有效性和扩展性。

基于FP-参考树/表的频繁模式挖掘算法

通分析FP-growth算法中包含的冗余操作,引入数据结构FP参考树/表,改变FP-growth算法中条件模式基的存储和生成方式,提出了新的FPRSG算法,高效地解决了频繁模式挖掘问题。理论分析与实验结果表明,FPRSG算法优于FP-growth算法。

一个不需要候选集的挖掘关联规则算法的研究

挖掘关联规则是数据挖掘中的一个重要课题 .针对挖掘关联规则典型算法中的某种不足 ,介绍了一个不需要产生候选集的挖掘关联规则的算法FP tree .经过深入研究 ,对它进行了分析和评价 .

基于MapReduce的关联规则并行增量更新算法

针对在关联规则的实际挖掘中,由数据快速增加所造成的大数据问题和增量更新问题。在快速更新频繁模式树算法(fast updated frequent pattern tree,FUFP-tree)的基础上,引入MapReduce并行编程模型,提出了一个面向大数据的并行的关联规则增量更新算法(parallel fast updated frequent pattern tree,PFUFP-tree)。该算法通过构建原始事务数据的分块索引,从而使得在每次增量更新时,能够最小化地扫描原始事务数据库,提高了挖掘效率;同时采用动态负载均衡的项目分组策略来优化并行计算过程中的项集分组问题,从而保证分布式集群中节点之间的负载均衡;实验结果证明,提出的算法是有效的和高效的,适用于动态增长的大数据环境。