数据点位置并行FP-Growth挖掘算法仿真

当数据集发生非法入侵时,原数据属性会遭到破坏,且由于数据本身的不确定性及噪声等问题,入侵数据点位置的挖掘难度较大。为此,提出基于并行频繁模式增长算法(Frequent Pattern Growth, FP-Growth)的数据点位置智能挖掘方法。建立信息熵-主成分分析法融合算法(Entropy-Principle Compoent Analysis, E-PCA),对大数据降维。融合入侵检测和K均值聚类算法(Intrusion Detection Systems K-means clustering algorithm, IDS K-means算法)和并行FP-Growth算法,实现入侵数据的检测。利用邻居节点数据投票的方式实现入侵数据点位置智能挖掘。实验表明,所提方法检测入侵数据时误报率低于1.0%,数据点位置挖掘准确率高于98%,且能够精准实现正常数据与异常数据的聚类。以上结果均证明了所提方法具有更优的应用性能。

以生长发育迟缓为表现的1例O’Donnell-Luria-Rodan综合征临床与遗传学特征分析

O’Donnell-Luria-Rodan(ODLURO)综合征是KMT2E(lysine methyltransferase 2E)基因突变引起的常染色体显性遗传病。中南大学湘雅三医院收治1例表现为生长发育迟缓、智力低下、特殊面容的12岁9个月男性患儿,采集患者外周血,提取DNA进行基因检测,发现患儿染色体核型为46XY,全外显子组测序及低深度全基因组测序技术(low-coverage massively parallel copy number variation sequencing,CNV-seq)分析显示患儿在染色体7q 22.3区域存在506 kb的杂合性缺失,缺失区域包含KMT2E在内的6个基因,诊断为ODLURO综合征。其父母、弟弟临床表型及基因检测均无异常,提示该缺失为新发突变。此病例的临床和遗传特征有助于提高临床医师对ODLURO综合征的认识。

负载均衡的FP-growth并行算法研究

针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证明,该算法可以完整高效地挖掘频繁模式,并且实现均衡负载。

一种基于FP-Growth的频繁项目集并行挖掘算法

FP-Growth算法是基于FP树挖掘频繁项目集的经典算法,为提高FP-Growth算法挖掘大规模数据频繁项目集的效率,提出了一种基于FP-Growth的频繁项目集并行挖掘算法FPPM。该算法基于Map/Reduce并行模型,在每个计算节点上首先构造局部频繁模式树,并对之进行挖掘得到局部频繁项目集,然后合并局部频繁项目集以得到全局频繁项集,由于此时得到的结果并不完备,所以对合并后未达到最小支持度阈值的项目集,重新计算其支持数。介绍了FPPM算法的设计思想,测试了其性能。实验结果表明FPPM算法具有较好的可扩展性。

基于Hadoop的并行FP-Growth算法的研究与实现

在PFP(Parallel FP-Growth)算法的基础上提出了一种负载均衡并行的挖掘算法LBPFP(Load-Balanced Parallel FP-Growth)算法,该算法在Hadoop框架实现并行计算的同时,在数据分发中利用负载均衡策略,使主节点均衡地向子节点分配数据.除此之外,在子节点进行数据处理的过程中利用剪枝策略,减少数据的处理量,该算法在提高并行计算能力的同时也大大缩小了数据的处理量.最后,通过实验分析表明该算法在大数据的处理中具有较好的效果,证实了该算法的可行性.

一种基于Spark框架的并行FP-Growth挖掘算法

Apriori和FP-Growth算法是频繁模式挖掘中的经典算法,由于Apriori存在更多缺陷,因此FP-Growth是单机计算环境下比较高效的算法。然而,对于非并行计算在大数据时代遇到的瓶颈,提出一种基于事务中项间联通权重矩阵的负载平衡并行频繁模式增长算法CWBPFP。算法在Spark框架上实现并行计算,数据分组时利用负载均衡策略,存入分组的数据是相应频繁项的编码。每个工作节点将分组数据中每一个事物中项的联通信息存入一个下三角联通权重矩阵中,使用被约束子树来加快每个工作节点挖掘频繁模式时创建条件FP-tree的速度,再用联通权重矩阵避免每次挖掘分组中频繁模式时对条件模式基的第一次扫描。由于联通权重矩阵和被约束子树的结合应用于每一个工作节点的FP-tree挖掘过程,因此提升了并行挖掘FP-tree性能。通过实验表明,所提出的并行算法对大的数据有较高性能和可扩展性。

集群系统中的FP-Growth并行算法

针对FP-Growth算法面临大规模数据库时空效率不高的问题,提出一种面向计算机集群的并行算法。采用投影方法直接寻找频繁项的条件数据库,将挖掘条件数据库的工作分化成若干独立的子任务,分配到集群中的节点上并行实现,由中央节点汇总结果并输出。结果证明,该算法不仅能够提高计算速度,解决数据库规模过大时内存溢出的情况,且具有良好的延展性。

基于MapReduce的垂直FP-growth挖掘算法研究

在大数据背景下,为了提高算法的并行度,论文提出了一种基于MapReduce的垂直FP-growth挖掘算法,将MapReduce模式和传统的挖掘算法相结合。首先由Map函数对事物数据库项进行解析,Reduce函数对频繁项的支持度进行计算并对全局频繁树进行合并,从而使垂直FP-growth算法的迭代过程并行化;然后,通过全局频繁项的计算得到准确的频繁项集和关联规则。最后,通过实验验证论文所提算法不仅能够保持原FP-growth算法的准确度,而且在大数据处理中具有较高的集群性能和执行效率。

面向计算机集群系统的FP-Growth算法的并行计算

FP-Growth是频繁模式挖掘的经典算法,能够在不产生候选集的情况下生成所有的频繁模式,效率与Apri-ori算法相比有巨大提高,然而FP-Growth算法在挖掘频繁模式过程中需要递归构建大量的条件FP-tree,并分别针对这些条件FP-tree进行挖掘,时间及空间效率不高,在实际应用中存在很大局限性。计算机集群是由多台普通计算机设备通过特定方式结合在一起构成的并行处理系统,属于分布式计算环境,具有计算能力强大、性价比高、灵活等优势。本文提出一种面向计算机集群的并行挖掘算法Gridify FP-Growth,该算法以FP-Growth为基础,通过任务划分的形式,将计算任务分配到计算机集群中各个计算节点上执行,充分利用各个节点的计算资源,最后汇总各节点的计算结果。实验证明Gridify FP-Growth算法不会牺牲计算的准确性,并可以大幅度缩短计算时间,有效缓解计算大规模数据库时的内存压力。

基于并行FP-growth算法挖掘网上关联交易规则

发现关联规则是数据挖掘技术的重要任务之一。之前提出的绝大多数算法需要多次遍历数据库才能产生频繁项集,造成巨大的CPU和内存开销。根据网上交易数据海量的特点,提出了一种基于频繁模式增长(FP-growth)的并行算法。该算法可以在不产生候选集的基础上并行的挖掘海量数据。试验证明该算法可以缓解了项目数量巨大而内存不足的矛盾,减少了算法的执行时间。利用该算法对网上交易进行关联规则挖掘,发现了有价值的决策支持信息。

基于Spark的PFP-Growth并行算法优化实现

随着数据量的增大,FP-Growth算法压缩数据思想的优势就体现出来,基于MapReduce框架的PFP-Growth算法实现该算法在Hadoop平台上的并行化,但是MapReduce框架每次对作业进行操作都要将中间结果输出存储到磁盘,影响算法的效率。为了提高关联挖掘的效率,基于Spark平台,运用均衡分组的思想对该算法进行改进,同时在对具有很长前缀情况进行共享前缀的拆分,通过4个步骤使IPFP-Growth算法在Spark上实现。实验结果表明在Spark平台上优化过后的算法在性能上要优于PFP-Growth算法。

基于规则约束的并行FP-Growth算法研究

频繁模式增长(FP-Growth)算法是一种以发现频繁项集为基础的关联规则挖掘算法,从实际应用中发现,该算法需要挖掘出全部频繁项集,导致挖掘效率不高,并且无法适应大数据挖掘。因此,在现有研究的基础上,为适应大数据挖掘,进一步提高该算法的效率,论文针对该算法存在的不足,提出一种基于规则约束的并行FP-Growth算法,即在并行计算模式(SIMD-SM)下对挖掘对象进行规则约束。

基于负载均衡的并行FP-Growth算法

针对FP-Growth算法查找操作时间复杂度较高的问题,提出一种新的算法LBPFP。在PFP算法基础上,将哈希表加入链头表以实现项地址的快速访问,并设计基于前缀长度的计算量模型,优化并行流程,提升算法的执行效率。在webdocs.dat数据库上进行对比实验,结果表明,LBPFP算法比PFP、HPFP、DPFP算法具有更高的频繁项集挖掘效率。

FP-Growth的并行加权关联规则挖掘算法

基于FP-Growth算法,提出一种并行加权的关联规则挖掘(PWARM)算法,证明其满足加权向下封闭性.使用MapReduce计算模型,在分布式集群中并行挖掘出关联规则.实验结果表明:该算法可以满足数据权重不同的需求,且在处理大数据集时能有效地提高挖掘的效率.

分布式并行FP-growth算法在二次设备缺陷监测中的应用

智能变电站设备监控数据存储分散,主站获取设备缺陷特征的难度大,有必要通过分布式数据挖掘的方法发现设备缺陷和信号之间的关系。分布式并行频繁模式树(FP-growth)算法采用Hadoop框架和Mapreduce算法,能够快速有效地发现信号间的强关联关系。针对二次设备的缺陷特征,建立异常模型,提出遥信历史数据准备和清洗方法,滤除复归、抖动等噪声信号,并将字符串数据转换为以关键字为标识的事务数据项集。在此基础上采用分布式并行FP-growth算法挖掘各变电站历史数据库异常信号的频繁项集和强关联关系。应用结果表明,该方法能够有效地发现二次设备的频发异常,找到诱发异常的缺陷,为家族性缺陷的认定提供数据基础。

基于Map-Reduce的FP-Growth算法研究

针对FP-Growth算法在处理海量数据时需要耗费大量系统资源无法实现快速的挖掘出关联规则,提出基于Map-Reduce框架的FP-Growth算法.通过使用Map-Reduce计算框架实现FP-Growth算法对数据的并行处理,提高算法的执行效率.最后通过实验证明所提出的算法在处理海量数据方面具有较好的性能.

改进的FP-Growth算法及其分布式并行实现

针对传统FP-Growth算法在大规模数据环境下挖掘效率低下的问题,提出了一种改进的FP-Growth算法.该算法主要是通过基于频繁闭项集策略对完备模式树进行剪枝进而减小搜索空间规模,达到提高算法挖掘效率的目的 .并将改进后的FP-Growth算法的分治策略与分布式计算框架Hadoop的MapReduce编程模式有机结合,进一步提高了大数据环境下的挖掘效率.实验证明,基于Hadoop的改进FP-Growth算法的效率较传统FP-Growth算法有所提高.

基于改进FP-Growth算法的基因-疾病关系自动提取的应用研究

传统的医学文献检索算法FP-Growth算法存在效率低下、内存溢出等问题,据此提出了一个改进的FP-Growth算法.首先将数据集平均分块,以并行的方式构建FP-Tree树,以减少内存负担,再以粒子群算法优化FP-Growth的FP-Tree树迭代过程,并优化并发过程.经验证,改进后的算法能提高内存的使用率与算法的运行效率.

并行FP-Growth算法相关技术研究

传统的FP-Growth算法在挖掘关联规则时，存在生成的频繁模式树可能无法实际调入内存运行和处理过程串行执行的缺点。该文研究基于FP-Growth算法的关联规则挖掘并行算法，为挖掘大型数据库中的关联规则提供了参考。

一种新型的基于Hadoop框架的分布式并行FP-Growth算法

针对传统FP-Growth算法在大规模数据环境下存在的挖掘效率低和内存溢出问题,在传统FP-Growth算法的基础上,提出一种新的并行FP-Growth算法,并在分布式计算框架Hadoop的MapReduce编程模式下实现并行化处理。实验数据表明,并行的FP-Growth算法与传统的FPGrowth算法相比,具有相同数据量下计算时间短,相同时间内处理数据量增大的优点,并在一定条件下解决了大数据挖掘的内存溢出问题。