Spark平台中的并行化FP_growth关联规则挖掘方法

为了提高关联规则挖掘效率,文中提出了一种适用于Spark平台的并行化FP_growth关联规则挖掘方法。首先,利用Spark平台在分布式系统中的所有节点的内存RDD中完成遍历扫描运算,得到频繁集,以便生成FP_Table并更新FP_Tree。然后,引入时间序列来预测待挖掘的项目集,以便实现分布式系统中的所有节点能够均衡分担挖掘任务,从而充分利用各节点的FP_Tree遍历功能,获取FP_growth关联规则挖掘结果。实验结果显示,相比单机情况,并行化FP_growth关联规则挖掘在效率方面提高了约60%。经过负载均衡处理后的FP_growth关联规则挖掘的效率更高,提高了约14%,这说明各节点遍历任务的分配更均衡,并行化程度更高。

基于Spark的FP_Growth算法的并行与优化

PFP_Growth算法是FP_Growth算法在Hadoop平台上基于MapReduce的并行化,该算法在分组过程中没有考虑负载均衡问题,导致各个节点完成任务时间不一致,甚至相差很大,从而降低了算法的执行效率。为了提高算法的执行效率,提出了一种基于Spark的RPFP算法,该算法对PFP_Growth算法在均衡分组和降低时间复杂度两方面进行优化,通过把负载大的项放在负载总和最小的组里面实现均衡分组,通过在链头表结构中加入一张哈希表达到快速访问元素地址的目的,从而降低时间复杂度。实验结果表明,RPFP通过优化PFP算法,有效提高了频繁项集的挖掘效率。

基于磁盘存储1项集计数的增量FP_GROWTH算法

随着数据集规模的不断增大,提高频繁项集的挖掘效率成为数据挖掘领域的研究重点.频繁项集的增量更新挖掘算法因其可以利用已挖掘发现的信息提高对新数据集的挖掘效率,成为重要的研究方向.但现有频繁项集增量更新算法大多基于APRIORI算法框架,性能提高有限.最近出现的建立在FP-TREE等树形结构上的增量更新算法又往往存在树形结构调整困难、已发现频繁项集及树形结构保存效率较低等问题,算法性能有待进一步地提高.对此,通过分析增量挖掘过程中的关键信息,提出了一种基于磁盘存储1项集计数的增量FP_GROWTH算法(IU_FPGROWTH_1COUNTING).该算法无需保存临时树形结构及临时挖掘结果,可以在原数据集及支持度均发生变化时,减少FP_GROWTH算法对数据集的扫描,提高频繁项集的挖掘效率.在生成以及真实数据集上进行了验证实验以及性能分析,结果表明IU_FPGROWTH_1COUNTING是一种有效的频繁项集增量更新挖掘算法.

一种新的基于FP_Growth的频繁项目集并行挖掘算法

频繁项目集挖掘用于发现项目之间的关联规则.为了高效求解面向大数据的频繁项目集,本文提出一种新的基于FP_Growth的频繁项目集并行挖掘算法NPFP_Growth(New Parallel algorithm based on FP_Growth),该算法对频繁模式树的存储结构进行改进,基于Map/Reduce并行计算模型,利用HDFS实现数据存储,在各自计算节点上构造局部频繁模式树,求解该局部频繁模式树中每个分支的最长全局频繁项目集;对于全局非频繁项目集,计算其支持数,发送至相应计算节点进行支持度统计,从而以较为简单的算法实现频繁项目集并行挖掘.实验表明,NPFP_Growth算法具有较高的计算效率和良好的可伸缩性.

基于FP_Growth算法的关联规则挖掘研究及应用

关联规则的发现对于挖掘数据中的隐含信息非常重要,针对关联规则挖掘算法进行研究,分析了利用FP_Growth算法构建FP-tree和递归挖掘频繁项集的过程,并应用该算法对大学生兴趣爱好问卷调查结果进行分析,通过找出强关联规则,准确了解学生的共同爱好,有助于更好地开展校园文化活动.

基于FP_growth算法的课程相关性的关联规则研究

文章探讨了高校专业课程间的相关性问题,通过对数据挖掘中的关联规则挖掘进行研究,将关联规则挖掘应用于高校教务管理数据库,针对学生的成绩数据进行预处理,并利用FP_growth算法较快地挖掘出隐藏在成绩数据之后课程关联性规则,从而得到了一些合理、可靠的课程相关性规则,为高校的专业课程设置和学生选课提供决策依据。

增量式FP_Growth算法及在信息抽取上的应用

对Web信息抽取中事物数据库和最小支持度发生变化时的频繁项目集更新问题进行研究,分析当大量增量数据到达时难以及时更新FP_tree的现象,通过对FP_Growth算法进行改进,提出一种基于频繁模式树的增量式FP_Growth挖掘算法,实现关联规则的提取。通过对二手IT产品交易网站的交易情况进行信息抽取并提取出关联规则,比较算法执行时间,分析置信度和支持度的变化,证明该算法能有效减少生成PT_Tree的时间,提高了挖掘效率。

基于FP_Growth的消费行为关联分析系统设计与实现

分析消费行为,挖掘消费因素之间关联关系,可以辅助指导生产和销售企业的管理和决策。针对海量消费数据引起的内存不足问题,对数值型数据进行离散化,以数据库关系表为频繁模式树存储结构,并建立高效索引,实现频繁模式树中节点快速检索,最终采用Oracle数据库存储过程实现FP_Growth算法。以B/S体系结构,实现了基于关联规则的消费行为关联分析系统,并取得很好应用效果。

基于FP_growth方法的中药“效-效”关系挖掘

中药"效-效"关系挖掘是中医药研究中最基本也是最重要的问题,对中药方效判断具有重要意义。利用数据挖掘技术,从中药方剂数据中自动挖掘"效-效"之间的关系,并归纳不同药效之间的关联程度。为此,提出了基于FP_growth方法的"效-效"关系挖掘算法。输出结果表明,提出的FP_growth方法具有较高的正确率,优良达60.3%。

具有动态加权特性的关联规则算法

基于FP_growth关联规则, 提出一种具有动态加权特性的改进算法. 把事务数据库中的项目按其重要程度划分为5个等级; 运用层次分析(AHP)算法构造判断矩阵, 计算特征向量; 将得到的向量作为权值, 与项目在事务数据库中出现的次数综合考虑作为衡量重要程度的标准, 生成FP_tree; 最后得到频繁项目集和关联规则. 由于权重的赋予过程可以由领域专家动态地改变, 这样不但能挖掘出更有意义的规则, 而且在算法的运行初期就大量剔除了那些权重小的无用项目集, 从而大大提高了算法的运行效率.

基于自适应FP＿Growth算法的电能表故障分析

2013~2018年,天津市电力公司共拆回14×104台故障电能表,并构建了电能表故障信息库。对信息库进行数据挖掘,对提高电力行业服务能力、保障用户用电稳定性具有重要意义。使用FP_Growth算法对故障电能表故障数据库进行关联性分析。针对FP_Growth算法需要人为设定阈值的缺点,引入自适应的方法进行阈值设定,按照权重调整支持度。对电能表故障类型与故障影响因素进行关联性分析,得出结论:13版电能表在多方面性能上有所改进,可考虑逐渐替代09版电能表;时钟电池电压低与时钟故障组合是电能表的最高发故障。因此,电能表电池性能仍是需要改进的主要方向。

布尔型关联规则挖掘算法研究

在分析FP_growth关联规则挖掘算法的基础上,提出了一种MFP的算法,给出了算法的工作原理。MFP算法能在一次扫描事务数据库过程中,把该数据库转换成MFP树,然后对MFP树进行关联规则挖掘。MFP算法比FP_growth算法减少一次对事务数据的扫描,因此具有较高的时间效率。

基于云计算的最大频繁项集挖掘算法

针对目前海量数据挖掘过程中存在着频繁项集挖掘效率低、冗余项集繁多的问题,提出了改进的频繁模式树和遗传算法(FPGA),该算法鉴于异构数据的差异性特征,采用改进的频繁模式树和基于MapReduce的并行遗传算法搜索最大频繁项集,缩小了搜索范围,提高了挖掘效率.实验结果表明:该算法在时间复杂度方面有了很大提高,与传统的FP_Growth算法相比,具有更好的加速比以及更高的执行效率.

关联算法的改进及其在审计数据挖掘中的应用

研究了审计数据挖掘中一种不产生候选频集的高速算法——FPgrowth算法;随后,针对入侵检测的应用环境,提出了FPgrowth算法在入侵检测应用中的改进方案。

入侵检测系统中关联规则的挖掘

在分析几种现有关联规则算法的基础上,针对网络数据的具体情况,引入关键属性、参考属性以及属性相对支持度的约束,对关联规则挖掘算法FP_Growth进行了扩展,解决了基本关联规则挖掘算法中产生大量无用模式的问题,从而帮助系统发掘出更有意义的模式,提高了系统挖掘的执行效率和规则库的准确度.

基于FP__Growth算法的路段拥堵分析

笔者从城市交通的历史拥堵数据出发,从时间和空间两个角度去寻找城市内道路的拥堵模式,最终得到城市存在的带时间因子的路段拥堵模式。为了提高算法效率,本文参考频繁模式算法FP-Growth的思想,构建一个三维的FPTree来提高算法效率。最后使用从百度地图获得的上海城市拥堵实时数据作为实验数据,对算法进行了验证,实验证明,该算法可以获得更加实际有效的城市拥堵模式集合。

一种数据库入侵检测模型的设计与实现

本文针对传统数据库入侵检测系统检测时对时间和空间要求比较高,设计了一种在进行关联规则挖掘之前,先用聚类分析k-means算法对用户正常历史数据进行聚类,以缓解关联规则算法对时间和空间的要求,再利用关联规则FP_Growth算法进行挖掘形成知识规则库,在数据库系统正常运行阶段,利用入侵检测算法检测数据库异常行为和进行的恶意事务操作。同时使用代理技术将数据库入侵检测系统与数据库服务器分离,降低服务器的系统开销,提高了检测系统的运行效率。

基于数据挖掘的艺术专业课程关联性研究:以太原理工大学轻纺工程与美术学院为例

探讨了艺术专业课程的关联性问题,通过对数据挖掘中的关联规则研究,将学生成绩进行了预处理,利用FP_growth算法较快地对学生成绩数据进行了挖掘,从而得出一些合理、可靠的课程关联性规则,为艺术专业的课程设置和教学大纲的修订提供了决策依据。

关联规则的精简方法研究

关联规则挖掘是当前数据挖掘研究的主要模式之一,但当支持度阈值较低或数据集中存在大量长模式时,可能产生大量的关联规则,这将给人们的理解和从中发现有趣的模式造成一定的困难.因此,关联规则的精简成为一个新的研究热点.

基于有限个条件FP_树中挖掘频繁模式

在数据挖掘中发现关联规则是一个基本问题,而关联规则发现中最昂贵的步骤便是寻找频繁模式。FP_growth(FrequentPatern growth)方法在产生长短频繁项集时不产生候选项集,从而大大提高了挖掘的效率,但是FP_growth在挖掘频繁模式时候产生大量的条件FP树从而占用大量空间,对FP_growth进行研究并提出一种改进算法,该算法不仅利用FP_growth算法所有优点而且避免了FP_growth的缺陷。主要通过建立有限棵条件FP树(数目为事务数据库的属性个数)来挖据长短频繁模式,大大节省了FP_growth算法所需要空间,实验证明该文算法是有效的。