期刊文献+
共找到78篇文章
< 1 2 4 >
每页显示 20 50 100
负载均衡的FP-growth并行算法研究 被引量:10
1
作者 曾志勇 杨呈智 陶冶 《计算机工程与应用》 CSCD 北大核心 2010年第4期125-126,229,共3页
针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证... 针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证明,该算法可以完整高效地挖掘频繁模式,并且实现均衡负载。 展开更多
关键词 数据挖掘 并行算法 FP—growth 频繁模式
下载PDF
基于Spark的并行FP-Growth算法优化与实现 被引量:8
2
作者 陆可 桂伟 +1 位作者 江雨燕 杜萍萍 《计算机应用与软件》 2017年第9期273-278,共6页
频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集... 频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集下频繁模式挖掘展开研究,基于Spark框架,通过对支持度计数和分组过程的优化改进了FP-Growth算法,并实现了算法的分布式计算和计算资源的动态分配。运算过程中产生的中间结果均保存在内存中,因此有效减少数据的I/O消耗,提高算法的运行效率。实验结果表明,经优化后的算法在面向大规模数据时要优于传统的FP-Growth算法。 展开更多
关键词 频繁模式挖掘 fp-growth算法 分布式计算 Spark框架
下载PDF
基于FP-Growth算法及补偿性入侵证据的攻击意图识别 被引量:1
3
作者 白昊 王崑声 +2 位作者 胡昌振 张刚 经小川 《北京理工大学学报》 EI CAS CSCD 北大核心 2010年第8期930-934,共5页
针对现有方法的入侵证据单一,系统资源消耗大及最终结果不准确等问题,提出了一种新的攻击意图识别方法.将IDS的告警事件与其他安全工具如扫描器等的数据相融合,构成补偿性入侵证据,并在此基础上使用贝叶斯网络构建攻击场景;使用FP-Growt... 针对现有方法的入侵证据单一,系统资源消耗大及最终结果不准确等问题,提出了一种新的攻击意图识别方法.将IDS的告警事件与其他安全工具如扫描器等的数据相融合,构成补偿性入侵证据,并在此基础上使用贝叶斯网络构建攻击场景;使用FP-Growth算法从攻击场景中挖掘出频繁攻击模式;最终将产生的频繁攻击模式关联以重构攻击路径,从而推断最可能的攻击意图.实验结果表明,该方法可准确识别攻击意图并有效节省系统资源. 展开更多
关键词 攻击路径 攻击意图 补偿性入侵证据 频繁攻击模式 fp-growth算法
下载PDF
基于FP-Growth算法构造批量增量的FP-tree 被引量:3
4
作者 韩天鹏 王峰 王浩 《嘉应学院学报》 2017年第8期21-25,共5页
提出了一种利用FP树表示增量数据库,然后进行增量挖掘的方法,即IA_FP-Growth算法.算法重构和合并两个小的时间上连续的FP树,以获得由FP-Growth算法生成的FP树.与其他从数据库读取事务的顺序增量算法不同,IA_FP-Growth算法使用原FP-tree... 提出了一种利用FP树表示增量数据库,然后进行增量挖掘的方法,即IA_FP-Growth算法.算法重构和合并两个小的时间上连续的FP树,以获得由FP-Growth算法生成的FP树.与其他从数据库读取事务的顺序增量算法不同,IA_FP-Growth算法使用原FP-tree作为预处理数据库来获取项目集,因此其花费较少的时间来构建新的增量FP-tree项目.实验结果表明,随着数据库大小的增加,IA_FP-Growth的运行时间的增加要少得多,而且与其他算法比较也是最少的. 展开更多
关键词 数据挖掘 增量挖掘 频繁模式 FP-TREE fp-growth
下载PDF
FP-growth频繁集挖掘算法的分析与实现 被引量:2
5
作者 孙自广 《广西工学院学报》 CAS 2005年第3期64-67,共4页
FP-growth算法是不产生候选集的频集挖掘算法,对其分析和实现有重要意义。通过描述和分析FP-growth算法,利用C++STL对其进行了实现,最后在若干数据集上与Apriori算法进行了性能比较,获得了较Apriori算法更好的运算结果。
关键词 fp-growth算法 关联规则 频繁模式 STL
下载PDF
基于Spark的并行FP-Growth算法优化及实现 被引量:9
6
作者 顾军华 武君艳 +2 位作者 许馨匀 谢志坚 张素琪 《计算机应用》 CSCD 北大核心 2018年第11期3069-3074,共6页
为了进一步提高在Spark平台上的频繁模式增长(FP-Growth)算法执行效率,提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先,从频繁模式树(FP-Tree)规模大小和分区计算量对F-List分组策略进行改进,保证每个分区负载总和近似相等;然... 为了进一步提高在Spark平台上的频繁模式增长(FP-Growth)算法执行效率,提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先,从频繁模式树(FP-Tree)规模大小和分区计算量对F-List分组策略进行改进,保证每个分区负载总和近似相等;然后,通过创建列表P-List对数据集划分策略进行优化,减少遍历次数,降低时间复杂度。实验结果表明,BFPG算法提高了并行FP-Growth算法挖掘效率,且算法具有良好的扩展性。 展开更多
关键词 大数据平台 关联规则 频繁项集 频繁模式增长算法 SPARK
下载PDF
面向计算机集群系统的FP-Growth算法的并行计算 被引量:1
7
作者 陈敏 《中国管理信息化》 2009年第15期36-38,共3页
FP-Growth是频繁模式挖掘的经典算法,能够在不产生候选集的情况下生成所有的频繁模式,效率与Apri-ori算法相比有巨大提高,然而FP-Growth算法在挖掘频繁模式过程中需要递归构建大量的条件FP-tree,并分别针对这些条件FP-tree进行挖掘,时... FP-Growth是频繁模式挖掘的经典算法,能够在不产生候选集的情况下生成所有的频繁模式,效率与Apri-ori算法相比有巨大提高,然而FP-Growth算法在挖掘频繁模式过程中需要递归构建大量的条件FP-tree,并分别针对这些条件FP-tree进行挖掘,时间及空间效率不高,在实际应用中存在很大局限性。计算机集群是由多台普通计算机设备通过特定方式结合在一起构成的并行处理系统,属于分布式计算环境,具有计算能力强大、性价比高、灵活等优势。本文提出一种面向计算机集群的并行挖掘算法Gridify FP-Growth,该算法以FP-Growth为基础,通过任务划分的形式,将计算任务分配到计算机集群中各个计算节点上执行,充分利用各个节点的计算资源,最后汇总各节点的计算结果。实验证明Gridify FP-Growth算法不会牺牲计算的准确性,并可以大幅度缩短计算时间,有效缓解计算大规模数据库时的内存压力。 展开更多
关键词 频繁模式 FP—growth 并行计算 计算机集群
下载PDF
基于FP-growth的关联规则增量更新算法 被引量:5
8
作者 钟勇发 吕红兵 《计算机工程与应用》 CSCD 北大核心 2004年第26期174-175,共2页
针对最小支持度不变,事务数据库内容不断增加的关联规则更新问题,提出了一种简单高效的增量关联规则更新算法FPUA。
关键词 关联规则 增量更新 频繁项目集 频繁模式增长
下载PDF
基于哈希和合并技术的FP-Growth新算法 被引量:4
9
作者 何晴 陆黎明 《上海师范大学学报(自然科学版)》 2018年第4期469-473,共5页
对频繁模式增长(FP-Growth)算法进行了改进,用哈希头表代替头表.通过合并频繁模式树(FP-Tree)中支持数相同的结点,压缩了树的规模,有效地节省了空间.实验结果表明,改进后的算法在查找效率上有了大幅度的提高,可以更好地适用于大规模数... 对频繁模式增长(FP-Growth)算法进行了改进,用哈希头表代替头表.通过合并频繁模式树(FP-Tree)中支持数相同的结点,压缩了树的规模,有效地节省了空间.实验结果表明,改进后的算法在查找效率上有了大幅度的提高,可以更好地适用于大规模数据集的关联规则挖掘. 展开更多
关键词 频繁模式增长(fp-growth) 关联规则 频繁项集 哈希头表 合并结点
下载PDF
一种改进的FP-Growth关联规则挖掘算法 被引量:2
10
作者 尤磊 辛大欣 石云平 《国外电子测量技术》 2007年第5期22-25,共4页
挖掘频繁项目集是关联规则挖掘中的重点之一。Jiawei Han等人提出了FP-Growth算法,该算法不产生候选项目集。但当数据库较大时,生成PT-Tree需遍历的树的节点数目很多。本文通过对FP-Growth算法分析,提出的改进算法能有效地减少需遍历的... 挖掘频繁项目集是关联规则挖掘中的重点之一。Jiawei Han等人提出了FP-Growth算法,该算法不产生候选项目集。但当数据库较大时,生成PT-Tree需遍历的树的节点数目很多。本文通过对FP-Growth算法分析,提出的改进算法能有效地减少需遍历的树的节点数,从而降低了时间开销。实验结果表明,改进算法能够比较明显地提高挖掘效率。 展开更多
关键词 数据挖掘 关联规则 频繁项集 fp-growth算法 FP-TREE
下载PDF
基于快速模式增长的FP-growth改进算法 被引量:1
11
作者 党敏侠 孟德鑫 《指挥信息系统与技术》 2012年第4期73-76,共4页
FP-growth算法是当前一种高效的频繁模式挖掘算法,分析了FP-growth算法的性能消耗,引入了条件频度基的数据结构用于存储构建条件FP-tree的所有频度信息,提出了自顶向下与自底向上结合的模式增长方法,该方法避免了原算法在遍历FP-tree时... FP-growth算法是当前一种高效的频繁模式挖掘算法,分析了FP-growth算法的性能消耗,引入了条件频度基的数据结构用于存储构建条件FP-tree的所有频度信息,提出了自顶向下与自底向上结合的模式增长方法,该方法避免了原算法在遍历FP-tree时的性能浪费。试验表明,运用了快速模式增长的改进算法的效率比原算法显著提高。 展开更多
关键词 频繁模式挖掘 fp-growth算法 条件频度基 模式增长
下载PDF
Research and Application on Web Information Retrieval Based on Improved FP-Growth Algorithm 被引量:2
12
作者 JIAO Minghai YAN Ping JIANG Huiyan 《Wuhan University Journal of Natural Sciences》 CAS 2006年第5期1065-1068,共4页
A kind of single linked lists named aggregative chain is introduced to the algorithm, thus improving the architecture of FP tree. The new FP tree is a one-way tree and only the pointers that point its parent at each n... A kind of single linked lists named aggregative chain is introduced to the algorithm, thus improving the architecture of FP tree. The new FP tree is a one-way tree and only the pointers that point its parent at each node are kept. Route information of different nodes in a same item are compressed into aggregative chains so that the frequent patterns will be produced in aggregative chains without generating node links and conditional pattern bases. An example of Web key words retrieval is given to analyze and verify the frequent pattern algorithm in this paper. 展开更多
关键词 data mining CHAINS fp-growth algorithm frequent pattern aggregative information retrieval
下载PDF
FP-Growth关联规则挖掘的改进算法 被引量:2
13
作者 张星 李蓓 《平顶山工学院学报》 2008年第1期21-24,共4页
文章通过对FP-Growth算法分析,提出的改进算法能有效地减少需遍历的树的节点数,从而降低了时间开销。实验表明:改进算法能明显地提高挖掘效率。
关键词 关联规则 FP—growth算法 FP—Tree 数据挖掘
下载PDF
A New Algorithm for Mining Frequent Pattern 被引量:2
14
作者 李力 靳蕃 《Journal of Southwest Jiaotong University(English Edition)》 2002年第1期10-20,共11页
Mining frequent pattern in transaction database, time series databases, and many other kinds of databases have been studied popularly in data mining research. Most of the previous studies adopt Apriori like candidat... Mining frequent pattern in transaction database, time series databases, and many other kinds of databases have been studied popularly in data mining research. Most of the previous studies adopt Apriori like candidate set generation and test approach. However, candidate set generation is very costly. Han J. proposed a novel algorithm FP growth that could generate frequent pattern without candidate set. Based on the analysis of the algorithm FP growth, this paper proposes a concept of equivalent FP tree and proposes an improved algorithm, denoted as FP growth * , which is much faster in speed, and easy to realize. FP growth * adopts a modified structure of FP tree and header table, and only generates a header table in each recursive operation and projects the tree to the original FP tree. The two algorithms get the same frequent pattern set in the same transaction database, but the performance study on computer shows that the speed of the improved algorithm, FP growth * , is at least two times as fast as that of FP growth. 展开更多
关键词 data mining algorithm frequent pattern set FP growth
下载PDF
关联规则算法FP-growth的研究与分析 被引量:4
15
作者 侯长满 余彪 《计算机与网络》 2016年第24期58-61,共4页
FP-growth算法是关联规则挖掘中应用最为广泛的挖掘算法,与经典算法Apriori算法最大的区别是不需要挖掘候选集,所以在挖掘效率上有了很大的提升,但是在构建模式树FP-tree时是基于整个事务数据库的,当遇到大型数据库或挖掘约束条件严格时... FP-growth算法是关联规则挖掘中应用最为广泛的挖掘算法,与经典算法Apriori算法最大的区别是不需要挖掘候选集,所以在挖掘效率上有了很大的提升,但是在构建模式树FP-tree时是基于整个事务数据库的,当遇到大型数据库或挖掘约束条件严格时,算法执行过程中占用内存较大,对空间要求较高,且是递归调用,执行效率不高。在对FP-growth算法研究的基础上提出了一种改进算法,该算法改变FP-tree结构,将一棵FP-tree分为多条子树进行频繁模式的挖掘,减少了内存的占用,提高了算法的执行效率。 展开更多
关键词 数据挖掘 关联规则 频繁模式 FP—growth算法
下载PDF
基于FP-GROWTH算法的关联规则挖掘算法研究 被引量:2
16
作者 陈寅 《无线互联科技》 2017年第19期118-121,124,共5页
互联网世界的数据每年都在成倍增长,但是对用户有用的信息却好像在减少,用户淹没在数据的海洋中,虽然类似于Google这样的搜索引擎可以帮用户找到需要的信息,但是正确率和查全率都不尽如人意。数据挖掘是兴起于20世纪90年代的一项用于决... 互联网世界的数据每年都在成倍增长,但是对用户有用的信息却好像在减少,用户淹没在数据的海洋中,虽然类似于Google这样的搜索引擎可以帮用户找到需要的信息,但是正确率和查全率都不尽如人意。数据挖掘是兴起于20世纪90年代的一项用于决策支持的新技术。FP-GROWTH算法只进行2次数据库扫描。它不使用侯选集,直接压缩数据库成一个频繁模式树,最后通过这棵树生成关联规则。文章研究FP-GROWTH算法理论的同时实现了一个简单算法演示的系统。系统包括算法的执行,对数据库的修改、查询、删除的操作。最后,对FP-GROWTH算法和Apriori算法进行了比较。 展开更多
关键词 数据挖掘 关联规则 fp-growth算法 候选集 频繁模式树
下载PDF
基于FP-growth算法监控设备故障诊断技术研究 被引量:1
17
作者 王炜俊 《电子测试》 2020年第22期54-55,共2页
早期故障诊断算法都是Apriori算法,即首先产生候选集,然后在候选集的基础上找出频繁模式,然而,Apriori及其类似算法仍然产生大量候选项集,并需要反复扫描数据库。这严重影响了算法的效率。Jiawei Han,Jian Pei和Yiwen Yin提出的FP-growt... 早期故障诊断算法都是Apriori算法,即首先产生候选集,然后在候选集的基础上找出频繁模式,然而,Apriori及其类似算法仍然产生大量候选项集,并需要反复扫描数据库。这严重影响了算法的效率。Jiawei Han,Jian Pei和Yiwen Yin提出的FP-growth算法是一种本质上不同于Apriori算法的挖掘频繁模式的有效方法,只需要扫描两次数据库。实验分析表明,FP-growth比Apriori快出一个数量级。因此采用FP-growth算法来诊断故障。 展开更多
关键词 频繁模式 关联规则 数据挖掘 fp-growth LSTM
下载PDF
频繁项集挖掘研究前沿及展望
18
作者 张晴 谭旭 吕欣 《深圳信息职业技术学院学报》 2024年第1期1-14,共14页
频繁项集挖掘是数据挖掘领域的核心任务之一,其目标是发现在数据库中频繁出现的模式。这些模式对于关联规则、分类、异常检测等多个数据挖掘任务都具有重要作用。由于随着项集大小的增加,项集的组合数量呈指数级增长,导致计算复杂性急... 频繁项集挖掘是数据挖掘领域的核心任务之一,其目标是发现在数据库中频繁出现的模式。这些模式对于关联规则、分类、异常检测等多个数据挖掘任务都具有重要作用。由于随着项集大小的增加,项集的组合数量呈指数级增长,导致计算复杂性急剧上升,研究人员一直在努力开发高效的算法来解决这一问题。面向频繁项集挖掘的算法、紧凑表示和前沿应用,深入探讨不同技术的的工作原理、优势和局限性,从而对这一领域的研究现状进行全面总结。最后,进一步探讨了该领域的前沿发展趋势,指出计算效率、基于约束的频繁项集挖掘、模式的可解释性以及算法在不同领域的创新应用等未来潜在研究方向。 展开更多
关键词 频繁项集 数据挖掘 模式增长 关联规则
下载PDF
基于FP__Growth算法的路段拥堵分析
19
作者 刘良旭 蔡曜镫 王杰 《宁波工程学院学报》 2016年第3期6-11,共6页
笔者从城市交通的历史拥堵数据出发,从时间和空间两个角度去寻找城市内道路的拥堵模式,最终得到城市存在的带时间因子的路段拥堵模式。为了提高算法效率,本文参考频繁模式算法FP-Growth的思想,构建一个三维的FPTree来提高算法效率。最... 笔者从城市交通的历史拥堵数据出发,从时间和空间两个角度去寻找城市内道路的拥堵模式,最终得到城市存在的带时间因子的路段拥堵模式。为了提高算法效率,本文参考频繁模式算法FP-Growth的思想,构建一个三维的FPTree来提高算法效率。最后使用从百度地图获得的上海城市拥堵实时数据作为实验数据,对算法进行了验证,实验证明,该算法可以获得更加实际有效的城市拥堵模式集合。 展开更多
关键词 FP_growth 实时拥堵 交通流量 时间维度 频繁模式
下载PDF
基于Spark的并行频繁项集挖掘算法 被引量:2
20
作者 毛伊敏 吴斌 +1 位作者 许春冬 张茂省 《计算机集成制造系统》 EI CSCD 北大核心 2023年第4期1267-1283,共17页
针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(... 针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(SNMF),通过提供支持度计数查询和分解储存支持度计数的矩阵,解决了创建条件FP-tree的时空效率低的问题;其次,提出基于遗传算法的分组策略(GS-GA),均衡分配频繁1项集至各节点,解决了节点间的通信开销大的问题;最后,提出高效缩减树结构策略(ERTSS),缩减FP-tree树结构,解决了冗余搜索的问题。实验结果验证了PAFMFI-Spark算法的可行性以及相较于其他挖掘算法的性能优势,所提算法能有效适应各种数据的频繁项集挖掘。 展开更多
关键词 大数据 Spark框架 并行频繁项集挖掘 频繁模式增长算法 非负矩阵分解
下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部