期刊文献+
共找到34篇文章
< 1 2 >
每页显示 20 50 100
A New Algorithm for Mining Frequent Pattern 被引量:2
1
作者 李力 靳蕃 《Journal of Southwest Jiaotong University(English Edition)》 2002年第1期10-20,共11页
Mining frequent pattern in transaction database, time series databases, and many other kinds of databases have been studied popularly in data mining research. Most of the previous studies adopt Apriori like candidat... Mining frequent pattern in transaction database, time series databases, and many other kinds of databases have been studied popularly in data mining research. Most of the previous studies adopt Apriori like candidate set generation and test approach. However, candidate set generation is very costly. Han J. proposed a novel algorithm FP growth that could generate frequent pattern without candidate set. Based on the analysis of the algorithm FP growth, this paper proposes a concept of equivalent FP tree and proposes an improved algorithm, denoted as FP growth * , which is much faster in speed, and easy to realize. FP growth * adopts a modified structure of FP tree and header table, and only generates a header table in each recursive operation and projects the tree to the original FP tree. The two algorithms get the same frequent pattern set in the same transaction database, but the performance study on computer shows that the speed of the improved algorithm, FP growth * , is at least two times as fast as that of FP growth. 展开更多
关键词 data mining algorithm frequent pattern set FP growth
下载PDF
Research and Application on Web Information Retrieval Based on Improved FP-Growth Algorithm 被引量:2
2
作者 JIAO Minghai YAN Ping JIANG Huiyan 《Wuhan University Journal of Natural Sciences》 CAS 2006年第5期1065-1068,共4页
A kind of single linked lists named aggregative chain is introduced to the algorithm, thus improving the architecture of FP tree. The new FP tree is a one-way tree and only the pointers that point its parent at each n... A kind of single linked lists named aggregative chain is introduced to the algorithm, thus improving the architecture of FP tree. The new FP tree is a one-way tree and only the pointers that point its parent at each node are kept. Route information of different nodes in a same item are compressed into aggregative chains so that the frequent patterns will be produced in aggregative chains without generating node links and conditional pattern bases. An example of Web key words retrieval is given to analyze and verify the frequent pattern algorithm in this paper. 展开更多
关键词 data mining CHAINS FP-growth algorithm frequent pattern aggregative information retrieval
下载PDF
基于Spark的并行FP-Growth算法优化与实现 被引量:8
3
作者 陆可 桂伟 +1 位作者 江雨燕 杜萍萍 《计算机应用与软件》 2017年第9期273-278,共6页
频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集... 频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集下频繁模式挖掘展开研究,基于Spark框架,通过对支持度计数和分组过程的优化改进了FP-Growth算法,并实现了算法的分布式计算和计算资源的动态分配。运算过程中产生的中间结果均保存在内存中,因此有效减少数据的I/O消耗,提高算法的运行效率。实验结果表明,经优化后的算法在面向大规模数据时要优于传统的FP-Growth算法。 展开更多
关键词 频繁模式挖掘 FP-growth算法 分布式计算 Spark框架
下载PDF
负载均衡的FP-growth并行算法研究 被引量:10
4
作者 曾志勇 杨呈智 陶冶 《计算机工程与应用》 CSCD 北大核心 2010年第4期125-126,229,共3页
针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证... 针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证明,该算法可以完整高效地挖掘频繁模式,并且实现均衡负载。 展开更多
关键词 数据挖掘 并行算法 FP—growth 频繁模式
下载PDF
基于Spark的并行FP-Growth算法优化及实现 被引量:9
5
作者 顾军华 武君艳 +2 位作者 许馨匀 谢志坚 张素琪 《计算机应用》 CSCD 北大核心 2018年第11期3069-3074,共6页
为了进一步提高在Spark平台上的频繁模式增长(FP-Growth)算法执行效率,提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先,从频繁模式树(FP-Tree)规模大小和分区计算量对F-List分组策略进行改进,保证每个分区负载总和近似相等;然... 为了进一步提高在Spark平台上的频繁模式增长(FP-Growth)算法执行效率,提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先,从频繁模式树(FP-Tree)规模大小和分区计算量对F-List分组策略进行改进,保证每个分区负载总和近似相等;然后,通过创建列表P-List对数据集划分策略进行优化,减少遍历次数,降低时间复杂度。实验结果表明,BFPG算法提高了并行FP-Growth算法挖掘效率,且算法具有良好的扩展性。 展开更多
关键词 大数据平台 关联规则 频繁项集 频繁模式增长算法 SPARK
下载PDF
一种改进的FP-Growth关联规则挖掘算法 被引量:2
6
作者 尤磊 辛大欣 石云平 《国外电子测量技术》 2007年第5期22-25,共4页
挖掘频繁项目集是关联规则挖掘中的重点之一。Jiawei Han等人提出了FP-Growth算法,该算法不产生候选项目集。但当数据库较大时,生成PT-Tree需遍历的树的节点数目很多。本文通过对FP-Growth算法分析,提出的改进算法能有效地减少需遍历的... 挖掘频繁项目集是关联规则挖掘中的重点之一。Jiawei Han等人提出了FP-Growth算法,该算法不产生候选项目集。但当数据库较大时,生成PT-Tree需遍历的树的节点数目很多。本文通过对FP-Growth算法分析,提出的改进算法能有效地减少需遍历的树的节点数,从而降低了时间开销。实验结果表明,改进算法能够比较明显地提高挖掘效率。 展开更多
关键词 数据挖掘 关联规则 频繁项集 FP-growth算法 FP-TREE
下载PDF
FP-Growth关联规则挖掘的改进算法 被引量:2
7
作者 张星 李蓓 《平顶山工学院学报》 2008年第1期21-24,共4页
文章通过对FP-Growth算法分析,提出的改进算法能有效地减少需遍历的树的节点数,从而降低了时间开销。实验表明:改进算法能明显地提高挖掘效率。
关键词 关联规则 FP—growth算法 FP—Tree 数据挖掘
下载PDF
基于快速模式增长的FP-growth改进算法 被引量:1
8
作者 党敏侠 孟德鑫 《指挥信息系统与技术》 2012年第4期73-76,共4页
FP-growth算法是当前一种高效的频繁模式挖掘算法,分析了FP-growth算法的性能消耗,引入了条件频度基的数据结构用于存储构建条件FP-tree的所有频度信息,提出了自顶向下与自底向上结合的模式增长方法,该方法避免了原算法在遍历FP-tree时... FP-growth算法是当前一种高效的频繁模式挖掘算法,分析了FP-growth算法的性能消耗,引入了条件频度基的数据结构用于存储构建条件FP-tree的所有频度信息,提出了自顶向下与自底向上结合的模式增长方法,该方法避免了原算法在遍历FP-tree时的性能浪费。试验表明,运用了快速模式增长的改进算法的效率比原算法显著提高。 展开更多
关键词 频繁模式挖掘 FP-growth算法 条件频度基 模式增长
下载PDF
关联规则算法FP-growth的研究与分析 被引量:4
9
作者 侯长满 余彪 《计算机与网络》 2016年第24期58-61,共4页
FP-growth算法是关联规则挖掘中应用最为广泛的挖掘算法,与经典算法Apriori算法最大的区别是不需要挖掘候选集,所以在挖掘效率上有了很大的提升,但是在构建模式树FP-tree时是基于整个事务数据库的,当遇到大型数据库或挖掘约束条件严格时... FP-growth算法是关联规则挖掘中应用最为广泛的挖掘算法,与经典算法Apriori算法最大的区别是不需要挖掘候选集,所以在挖掘效率上有了很大的提升,但是在构建模式树FP-tree时是基于整个事务数据库的,当遇到大型数据库或挖掘约束条件严格时,算法执行过程中占用内存较大,对空间要求较高,且是递归调用,执行效率不高。在对FP-growth算法研究的基础上提出了一种改进算法,该算法改变FP-tree结构,将一棵FP-tree分为多条子树进行频繁模式的挖掘,减少了内存的占用,提高了算法的执行效率。 展开更多
关键词 数据挖掘 关联规则 频繁模式 FP—growth算法
下载PDF
基于Spark的并行频繁项集挖掘算法 被引量:2
10
作者 毛伊敏 吴斌 +1 位作者 许春冬 张茂省 《计算机集成制造系统》 EI CSCD 北大核心 2023年第4期1267-1283,共17页
针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(... 针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(SNMF),通过提供支持度计数查询和分解储存支持度计数的矩阵,解决了创建条件FP-tree的时空效率低的问题;其次,提出基于遗传算法的分组策略(GS-GA),均衡分配频繁1项集至各节点,解决了节点间的通信开销大的问题;最后,提出高效缩减树结构策略(ERTSS),缩减FP-tree树结构,解决了冗余搜索的问题。实验结果验证了PAFMFI-Spark算法的可行性以及相较于其他挖掘算法的性能优势,所提算法能有效适应各种数据的频繁项集挖掘。 展开更多
关键词 大数据 Spark框架 并行频繁项集挖掘 频繁模式增长算法 非负矩阵分解
下载PDF
基于FP-GROWTH算法的关联规则挖掘算法研究 被引量:2
11
作者 陈寅 《无线互联科技》 2017年第19期118-121,124,共5页
互联网世界的数据每年都在成倍增长,但是对用户有用的信息却好像在减少,用户淹没在数据的海洋中,虽然类似于Google这样的搜索引擎可以帮用户找到需要的信息,但是正确率和查全率都不尽如人意。数据挖掘是兴起于20世纪90年代的一项用于决... 互联网世界的数据每年都在成倍增长,但是对用户有用的信息却好像在减少,用户淹没在数据的海洋中,虽然类似于Google这样的搜索引擎可以帮用户找到需要的信息,但是正确率和查全率都不尽如人意。数据挖掘是兴起于20世纪90年代的一项用于决策支持的新技术。FP-GROWTH算法只进行2次数据库扫描。它不使用侯选集,直接压缩数据库成一个频繁模式树,最后通过这棵树生成关联规则。文章研究FP-GROWTH算法理论的同时实现了一个简单算法演示的系统。系统包括算法的执行,对数据库的修改、查询、删除的操作。最后,对FP-GROWTH算法和Apriori算法进行了比较。 展开更多
关键词 数据挖掘 关联规则 FP-growth算法 候选集 频繁模式树
下载PDF
改进加权方法的告警关联分析算法 被引量:1
12
作者 朱圳 张引发 +1 位作者 刘立芳 齐小刚 《吉林大学学报(信息科学版)》 CAS 2023年第1期57-66,共10页
以往告警关联分析算法中将告警重要性视为相同,为区分不同告警的重要性差异,以及告警中包含信息量的差异性,提出一种改进加权方法的告警关联分析算法。首先将告警信息中有关告警重要性的属性量化,并使用极端梯度提升(XGBoost:eXtreme Gr... 以往告警关联分析算法中将告警重要性视为相同,为区分不同告警的重要性差异,以及告警中包含信息量的差异性,提出一种改进加权方法的告警关联分析算法。首先将告警信息中有关告警重要性的属性量化,并使用极端梯度提升(XGBoost:eXtreme Gradient Boosting)集成学习模型训练,得到告警属性的权重值,并对告警数据赋予权重;然后,将网络拓扑数据加入滑动窗口中,改进传统滑动窗口划分事务存在的问题,改进后的滑动窗口划分的事务集更加真实可靠;最终将加权后的告警事务集使用加权FP-Growth(Frequent Pattern Growth)算法挖掘频繁告警和关联规则。通过实验验证了该改进加权方法的告警关联分析算法在挖掘频繁告警、重要关联规则和时间上都有很好的性能。 展开更多
关键词 告警相关性分析 通信网络 XGBoost算法 加权告警分析 FP-growth算法
下载PDF
一种面向高校学生体测数据的模式挖掘方法 被引量:1
13
作者 林志杰 彭珍连 +1 位作者 曹步清 陈铁平 《信息与电脑》 2023年第4期184-189,共6页
目前,每年测试高校大学生的体质健康,会产生大量的数据,为了提高关联规则对体测数据的挖掘效率,提出了一种面向高校学生体质测试数据的模式挖掘方法。利用经典的关联规则挖掘方法如Apriori算法和频繁模式树(Frequent Pattern Tree,FP-Gr... 目前,每年测试高校大学生的体质健康,会产生大量的数据,为了提高关联规则对体测数据的挖掘效率,提出了一种面向高校学生体质测试数据的模式挖掘方法。利用经典的关联规则挖掘方法如Apriori算法和频繁模式树(Frequent Pattern Tree,FP-Growth)算法,对体测数据进行关联规则挖掘。实验结果表明,该模式挖掘的最小数据集能有效提高关联规则算法对体测数据的模式挖掘效率。 展开更多
关键词 模式挖掘 关联规则 APRIORI算法 频繁模式树(FP-growth)算法 学生体质健康测试
下载PDF
基于改进的FP-tree的频繁模式挖掘算法 被引量:21
14
作者 李也白 唐辉 +1 位作者 张淳 贺玉明 《计算机应用》 CSCD 北大核心 2011年第1期101-103,共3页
FP-growth算法是一种基于FP-tree数据结构的高效的频繁模式挖掘算法,它不产生候选集。构造频繁模式树FP-tree需扫描数据库两次,在第二遍扫描中还扫描了那些仅包含了非频繁项的事务,针对此问题,在深入分析了FP-tree特性的基础上,改进了FP... FP-growth算法是一种基于FP-tree数据结构的高效的频繁模式挖掘算法,它不产生候选集。构造频繁模式树FP-tree需扫描数据库两次,在第二遍扫描中还扫描了那些仅包含了非频繁项的事务,针对此问题,在深入分析了FP-tree特性的基础上,改进了FP-tree构造过程,同时用一种基于Hash表的辅助存储结构,节省了项目查找时间,提高了挖掘效率。 展开更多
关键词 数据挖掘 关联规则 频繁模式 FP—growth算法 FP—tree
下载PDF
改进模糊关联规则及其在电站锅炉运行优化中的应用 被引量:7
15
作者 刘延泉 刘欣 +1 位作者 宋云燕 许丹莉 《华北电力大学学报(自然科学版)》 CAS 北大核心 2011年第6期60-67,共8页
提出了一种改进的模糊关联规则挖掘算法对电厂运行优化目标值进行确定,首先利用竞争凝聚算法决定分类数、软化划分边界并构造优化的模糊数据集,再结合某300 MW机组的历史运行数据,以供电煤耗率作为优化目标,利用频繁模式树生成算法得到... 提出了一种改进的模糊关联规则挖掘算法对电厂运行优化目标值进行确定,首先利用竞争凝聚算法决定分类数、软化划分边界并构造优化的模糊数据集,再结合某300 MW机组的历史运行数据,以供电煤耗率作为优化目标,利用频繁模式树生成算法得到的频繁项集进行关联规则挖掘,最终得到运行参数最优值,实验结果和理论分析表明挖掘结果能够正确反映机组运行机理、可以作为指导机组优化运行的重要依据。 展开更多
关键词 运行优化目标值 模糊关联规则 竞争凝聚算法 频繁模式生成算法
下载PDF
云制造环境下并行频繁模式增长算法优化 被引量:5
16
作者 王洁 戴清灏 +1 位作者 曾宇 杨东日 《计算机集成制造系统》 EI CSCD 北大核心 2012年第9期2124-2129,共6页
针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上... 针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上。通过减少对分布式文件系统的读写,并将计数过程和排序过程并行化执行,优化后的算法减小了存储节点的网络及内存开销。在真实数据集上,通过实验对比了优化前后算法的性能以及对于文件系统I/O的开销。 展开更多
关键词 云制造 并行频繁模式增长算法 键值存储系统 数据挖掘 算法优化
下载PDF
基于IS~±树模型的频繁模式挖掘 被引量:3
17
作者 马海兵 张成洪 +1 位作者 张锦 胡运发 《计算机研究与发展》 EI CSCD 北大核心 2005年第4期588-593,共6页
IS-树是一种新型的全文存储索引模型.提出一种基于扩展I-S树模型的频繁模式挖掘算法.和FPgrowth方法一样,算法直接构造频繁项集,不进行Apriori算法所采用的代价很高的候选集产生与测试操作.然而它比FP-树模型具有更多的优点:只需扫描一... IS-树是一种新型的全文存储索引模型.提出一种基于扩展I-S树模型的频繁模式挖掘算法.和FPgrowth方法一样,算法直接构造频繁项集,不进行Apriori算法所采用的代价很高的候选集产生与测试操作.然而它比FP-树模型具有更多的优点:只需扫描一遍事务库;挖掘任务只局部关联于一棵根树;动态更新性好,仅做增量变化.实验表明,其具有与FP-growth算法相当甚至更高的效率.更重要的是,IS+树模型同时是一种事务库的良好索引形式,具有高效支持事务查询的能力. 展开更多
关键词 频繁模式 APRIORI算法 FP—growth算法 IS-树 IS^+-树
下载PDF
基于分布式协调系统的并行频繁模式增长算法的优化 被引量:1
18
作者 王洁 戴清灏 李环 《计算机科学》 CSCD 北大核心 2012年第3期170-173,共4页
频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优... 频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优化策略。优化后的设计将计数信息存储在分布式协调系统上,充分地利用了分布式协调系统的高可用性、适宜存储元数据信息的特点。该设计减小了小文件在分布式文件系统(HDFS)上的开销,同时保留了其优点,还能使计数过程和排序过程并行执行,减小了计算节点的内存开销。对比了文件系统I/O的开销,并分析了实现设计中的难点,为未来的工作打下了基础。 展开更多
关键词 频繁模式增长算法 并行数据挖掘 分布式协调系统 性能优化
下载PDF
基于加权频繁模式树的通信网络告警规则挖掘方法 被引量:13
19
作者 罗明 孟传伟 黄海量 《计算机工程》 CAS CSCD 北大核心 2016年第4期190-196,共7页
传统通信网络告警处理方法主要由维护专家依据经验判断形成处理规则并固化在网络告警系统中进行实现,然而该人工维护方式难以适应海量数据环境下实时通信告警规则的处理需求。为此,提出一种基于加权频繁模式树(WFP-tree)算法的告警规则... 传统通信网络告警处理方法主要由维护专家依据经验判断形成处理规则并固化在网络告警系统中进行实现,然而该人工维护方式难以适应海量数据环境下实时通信告警规则的处理需求。为此,提出一种基于加权频繁模式树(WFP-tree)算法的告警规则自动挖掘方法,将原始告警数据按时间窗口方式进行分段处理,通过BP神经网络、支持向量机、层次分析法生成告警设备的权重信息,并采用WFP-tree算法自动挖掘加权频繁项集。实验结果表明,与传统Apriori和FP-growth算法相比,WFP-tree算法在通信网络告警分析方面具有更好的频繁项压缩效果及更强的重要关联规则发现能力。 展开更多
关键词 通信网络告警 关联规则 权重因子 加权频繁项集 FP-growth算法 加权频繁模式树算法 支持度
下载PDF
基于关联规则的船员不安全行为发展路径分析 被引量:2
20
作者 胡甚平 谢莹 +2 位作者 张欣欣 江帅 席永涛 《上海海事大学学报》 北大核心 2022年第3期62-68,共7页
为研究船员不安全行为间的不确定性关联特征,运用关联规则对船员的不安全行为进行支持度和关联度评估。考虑到船员不安全行为表现的复杂性和不确定性,对船舶航行事故中船员的不安全行为进行辨识,并提出船员不安全行为的基本组成和关联... 为研究船员不安全行为间的不确定性关联特征,运用关联规则对船员的不安全行为进行支持度和关联度评估。考虑到船员不安全行为表现的复杂性和不确定性,对船舶航行事故中船员的不安全行为进行辨识,并提出船员不安全行为的基本组成和关联因素。引入频繁模式增长(frequent pattern growth,FP-growth)算法,分析船员的不安全行为关联规则。结合某港口水域安全事故数据,通过置信度和支持度分析,揭示船员不安全行为致因事故路径。应用结果表明,船员不安全行为导致事故发生的主要路径为:瞭望疏忽→安全航速失误→危险判断过失→避让行动过失→应急操作不当。自然环境和交通密度对船员不安全行为的产生具有较强的关联性。 展开更多
关键词 水路运输 船员不安全行为 关联规则 不确定性 频繁模式增长(FP-growth)算法
下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部