基于Eclat算法的八字门滑坡变形因素关联性分析

针对滑坡监测数据库数据量大,进行关联规则分析需要多次扫描数据库导致运行时间长的问题,将Eclat关联规则算法引入滑坡监测数据挖掘中,通过K-means聚类法和Eclat算法对八字门滑坡的变形进行了分析。通过综合研究,选择了降雨量监测值和库水位监测值中的6种因素进行数据挖掘分析。分别挖掘了3种降雨因子和3种库水位因子与八字门滑坡多测点位移的关联性,并从八字门滑坡时空监测大数据挖掘出的全部关联规则中选择8个具有较高的置信水平的关联规则进行分析,发现降雨和库水位因素影响八字门滑坡运动的有效信息。结果表明,这种数据挖掘方法及其在监测数据研究中的高精度,有望广泛应用于库区堆积滑坡的数据分析和预测。

提高Eclat算法效率的策略

为了提高Eclat算法的效率,从剪枝、项集连接和交叉计数3方面对Eclat算法进行优化.将后缀相同的项集归为一个等价类,使剪枝更充分,剪枝时引入双层哈希表加快搜索候选项集子集的速度;提出项集集合划分链表,以减少项集连接过程中比较判断的环节;提出事务标识(Tid)失去阈值,以加快交叉计数的速度.在此基础上提出一种优化的Eclat_opt算法(ZAKI),把它与Eclat原算法以及其他2种Eclat改进算法Diffset(ZAKI),hEclat(熊忠阳)进行对比实验的结果表明,Eclat_opt算法的效率在稀疏数据集上最高,总体时间性能最好.

Eclat算法的分析及改进

关联规则算法中的数据通常采用水平数据形式,而采用垂直数据表示的挖掘性能优于水平表示。Eclat算法在项集规模庞大时,交集操作消耗大量时间和系统内存。为此,结合划分思想和突出基于概率的先验约束方法,把数据库中的事务划分成多个非重叠部分,对每一部分采用Eclat算法,减少每次"交"操作时项集的规模,从而减少比较次数。通过基于概率的先验约束,减少产生的局部频繁项集数。实验结果表明,改进算法比原算法具有更高的效率。

并行挖掘频繁项目集新算法——MREclat

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat。首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节点上,且在分发数据时引入了均衡策略;接着,在各个计算节点上求出以某一前缀开头的所有频繁项目集;最后,合并各个节点的结果得到所有频繁项目集。介绍了MREclat的设计思想,研究了算法的运行性能。实验结果表明,MREclat算法效率大约是PEclat算法的2倍,加速比性能比PEclat算法提高了64%。

改进的Eclat数据挖掘算法的研究

本文针对两种常用的频集算法Apriori和FP-growth,指出了它们各自的优缺点。数据库的表示方法主要有两大类:水平数据表示和垂直数据表示。通常,采用垂直数据表示的算法的性能优于采用水平数据表示的算法。然后在深入分析Eclat算法的基础上提出了它的一种改进形式的Eclat。改进后的Eclat的计算性能优于Eclat和FP-Growth算法。

基于改进Eclat算法的资源池节点异常模式挖掘

云计算环境中,资源池节点异常模式挖掘对于快速诊断节点状态具有重要作用。针对云环境下计算资源池、存储资源池、网络资源池节点数据特征,对资源池节点状态信息进行预处理,利用关联规则算法挖掘资源池节点参数状态信息之间的关联关系,如高位—高位和低位—高位模式等。提出了一种基于限制属性连接并具有垂直数据格式的关联规则算法i-Eclat算法。i-Eclat算法通过转换资源池节点状态数据格式、建立非频繁2-项集以减少连接次数,并构建信息存储结构体来限制冗余属性连接。实验表明,所提出的方法可以有效发现云计算资源池节点之间的隐藏关系;同时,i-Eclat比经典算法计算性能更优,特别是针对较大数据集的处理。

基于MapReduce的Eclat改进算法研究与应用

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,将Eclat算法与目前流行的大规模数据集并行编程模型MapReduce结合,解决了Eclat算法在数据挖掘过程存在的瓶颈问题,运用于动车组故障诊断系统中,提高了关联规则挖掘的效率.

关联规则的ECLAT算法

关联规则挖掘是数据挖掘的一个重要应用，而频繁项集挖掘对关联规则挖掘的效果起了决定性的作用。经典的频繁项集挖掘主要有Apriori算法和FP-Growth算法，它们都是基于水平数据表示的算法，本文分析基于垂直数据表示的ECLAT算法。

基于位存储Tid的CPU并行化Eclat算法

Eclat算法采用垂直数据表示方式且无需复杂的数据结构,然而在挖掘频繁项目集过程中,交集计数的生成方式造成内存大量消耗和挖掘效率下降。为此,在分析Eclat算法及其现有改进算法基础上,提出一种位存储事务标识(Tid)的CPU并行化Eclat算法。该算法使用二进制位形式存储项目的 Tid,将挖掘频繁项目集的任务分配到CPU各个线程,最大限度地提高CPU的运算性能。实验结果表明,该算法能在降低内存使用的同时,提高频繁项目集的挖掘效率。

改进的Eclat算法研究与应用

为了解决使用Eclat算法在挖掘事务数或项目数较多的数据时,存在效率低、系统内存不足等问题,从候选集优化和剪枝策略两方面降低算法的时间复杂度,同时采用可以降低算法空间消耗的位存储结构,并基于此提出改进算法Eclat’。通过设计对比实验,进一步证明了改进算法的有效性,算法性能较原算法提高了20.37%。并将改进算法用于真实的手机用户数据上实现手机软件(Application,APP)的合理推荐。

基于改进云模型和Eclat算法的输电线路极端灾害风险评估

针对当前用于输电线路风险评估的云模型中量化等级依靠人为主观划分的不足,提出一种基于改进云模型和Eclat算法的输电线路极端灾害风险评估方法。首先,基于灾害特征信息选取灾害特征因子和典型极端灾害技术要素;通过FCM算法获取一维数据聚类中心,将聚类中心与传统主观云模型数字特征进行结合得到改进后的组合标准云;考虑灾害造成的停运时间、输电线路抗灾能力以及灾害风险的累积效应对数据进行动态修正后,在标准云中进行量化等级划分;最后,应用Eclat算法挖掘量化后的灾害特征因子与风险技术要素间的关联规则,得到风险评估预测模型。实例结果表明,改进后的模型正确率得到提高,获取到的关联规则能够对线路灾害风险进行预测评估。

基于MapReduce的改进Eclat算法

关联规则挖掘一直都是数据挖掘的重要任务,然而随着大数据时代的到来,数据规模呈指数形式增长,传统的串行挖掘算法已经面临着内存和计算资源不足等问题。针对上述问题,提出了一种基于MapRedcue并行编程模型的改进Eclat算法--IMREclat算法。IMREclat算法使用2个MapReduce任务,主要分为3个阶段:首先,平均划分事务数据库,并行挖掘频繁2项集。然后,将频繁2项集转化为垂直数据格式并利用二进制存储事务列表,按照等价类和其权重值分组。最后,将分组后的数据作为输入,通过利用预剪枝性质改进后的Eclat算法并行挖掘所有的频繁项集。实验表明,IMREclat算法在运行时间上优于现有的MREclat算法,并有良好的扩展性能。

基于剪枝优化与索引求交的改进Eclat算法

针对现有Eclat算法中普遍存在的候选集规模大、求交效率低的问题,提出了基于剪枝优化和索引求交的改进Eclat算法。首先根据频繁集的性质采用预剪枝和后剪枝相结合的候选集优化策略,即利用预剪枝技术裁剪待连接的项集数量以减少项集连接操作,同时利用先验性质对连接后的项集进行后剪枝处理;接着提出了一种基于事务索引的布尔数组求交方法,即通过将事务标识作为索引来设置并检索布尔数组,以获得项集支持度计数;最后通过设计对比实验,在经典数据集上测试该方法的有效性。实验表明,通过该方法能够有效压缩候选集规模,改善求交计算效率,特别是在支持度阈值小、事务数规模大的情况下,算法的运行效率得到了明显的提升。

瓦斯灾害预警模型的Eclat算法

为了有效挖掘历史监测数据中各监测指标之间的隐含关系,提高关联规则挖掘的效率,以井下瓦斯浓度、温度、风速等多个监测数据作为研究对象,提出一种基于Eclat算法的瓦斯灾害预警及数据分析模型,将检测到的瓦斯浓度、温度、风速等大量的数据样本以及每条记录的标签作为模型输入,通过提取频繁项集、剪枝、置信度计算等操作生成关联规则,利用某煤矿部分监测数据验证该方法。结果表明,Eclat瓦斯灾害预警算法运行效率较高,能够表征关联规则说明各指标与瓦斯浓度的影响关系。

融合BPEclat与K-Means++算法的关联规则数据挖掘技术研究

关联规则数据挖掘是目前大数据技术的关注热点,其在工业、金融、教育等领域得到了广泛的研究。研究提出了一种融合BPEclat与K-Means++算法的关联规则数据挖掘模型,该模型通过K-Means++算法完成操作变量和状态变量的聚类,并利用BPEclat实现数据并行化处理和分区数据计算。两种关联规则算法数据集测试显示,SPEclat算法和BPEclat算法6个节点间运行时间差值最大值分别为8.1 s和2.2 s。关联规则数据挖掘得出,反应器的内部温度、内部压力、内部液化与冷凝器冷却水流量等六个状态变量的规则。研究所构建的关联规则数据挖掘模型具有极高的运行效率,可应用于各个行业的数据挖掘。

一种基于关联规则挖掘的配电终端单元故障分析方法

随着配电网的发展,大量配电终端单元(DTU)应用于电力系统。DTU故障会对电力系统的安全稳定运行构成威胁,因此降低DTU装置的故障发生率、提高故障排除效率具有重要意义。本文提出一种基于关联规则挖掘算法的DTU故障分析方法,首先分析DTU故障的关键因素,然后阐述Eclat算法的相关概念,并利用不同规模的DTU故障数据库对Eclat算法与FP-Growth和Apriori算法的性能进行比较,得到一种基于Eclat算法的DTU故障分析方法。利用真实的DTU故障数据库进行实验,验证了所提方法的有效性。最后,给出所提方法的应用实例,证明了其实用性。

基于先验位运算的频繁项集挖掘

为提高频繁项集的产生效率,提出一种在垂直数据表示下,基于先验位运算的频繁项集挖掘算法(A-FIMBII)。该算法建立从项集合到事务的索引,利用先验性质减少候选集的产生,通过位运算计算支持度。与Apriori、Eclat算法进行了比较,实验表明,A-FIMBII具有更高的效率。

大数据环境下频繁项集挖掘的研究

多种频繁项集挖掘(FIM)方法组合用来对大数据进行挖掘会暴露很多问题。针对暴露的问题,在MapReduce平台上对两种频繁项集挖掘算法进行了研究。采用两种新的大数据集挖掘方法:Dist-Eclat和BigFIM,前者侧重于速度,利用基于k-FIs的简易负荷平衡方案来解决问题。而后者通过先验变体对k-FIs进行挖掘后将找出的频繁项集分配给映射程序,通过优化后在真正大的数据集上运行。最后通过实验证明该方法时间复杂度较低,数据量越大优势将越明显,扩展效果越好。

降序加权join半概念格快速挖掘算法

通过分析Eclat算法,对完全概念格按照支持度进行了裁减,得到了一个向下封闭的降序join半概念格,在构造半概念格的同时计算出每一个项集的支持度作为其权值,最后基于降序加权join半概念格对Eclat算法进行了改进,裁减了概念格中大量的冗余的连接,给出了一个快速的关联规则挖掘算法。经过分析,该算法与Eclat算法相比,效率更高。

三种频繁模式挖掘算法的分析与比较

该文介绍了三种经典频繁模式挖掘算法的主要思想,给出各自的特点;用程序实现算法并在几种不同特征的数据集上进行实验分析,最后得出比较结果。