基于Eclat算法的八字门滑坡变形因素关联性分析

针对滑坡监测数据库数据量大,进行关联规则分析需要多次扫描数据库导致运行时间长的问题,将Eclat关联规则算法引入滑坡监测数据挖掘中,通过K-means聚类法和Eclat算法对八字门滑坡的变形进行了分析。通过综合研究,选择了降雨量监测值和库水位监测值中的6种因素进行数据挖掘分析。分别挖掘了3种降雨因子和3种库水位因子与八字门滑坡多测点位移的关联性,并从八字门滑坡时空监测大数据挖掘出的全部关联规则中选择8个具有较高的置信水平的关联规则进行分析,发现降雨和库水位因素影响八字门滑坡运动的有效信息。结果表明,这种数据挖掘方法及其在监测数据研究中的高精度,有望广泛应用于库区堆积滑坡的数据分析和预测。

提高Eclat算法效率的策略

为了提高Eclat算法的效率,从剪枝、项集连接和交叉计数3方面对Eclat算法进行优化.将后缀相同的项集归为一个等价类,使剪枝更充分,剪枝时引入双层哈希表加快搜索候选项集子集的速度;提出项集集合划分链表,以减少项集连接过程中比较判断的环节;提出事务标识(Tid)失去阈值,以加快交叉计数的速度.在此基础上提出一种优化的Eclat_opt算法(ZAKI),把它与Eclat原算法以及其他2种Eclat改进算法Diffset(ZAKI),hEclat(熊忠阳)进行对比实验的结果表明,Eclat_opt算法的效率在稀疏数据集上最高,总体时间性能最好.

Eclat算法的分析及改进

关联规则算法中的数据通常采用水平数据形式,而采用垂直数据表示的挖掘性能优于水平表示。Eclat算法在项集规模庞大时,交集操作消耗大量时间和系统内存。为此,结合划分思想和突出基于概率的先验约束方法,把数据库中的事务划分成多个非重叠部分,对每一部分采用Eclat算法,减少每次"交"操作时项集的规模,从而减少比较次数。通过基于概率的先验约束,减少产生的局部频繁项集数。实验结果表明,改进算法比原算法具有更高的效率。

基于改进Eclat算法的资源池节点异常模式挖掘

云计算环境中,资源池节点异常模式挖掘对于快速诊断节点状态具有重要作用。针对云环境下计算资源池、存储资源池、网络资源池节点数据特征,对资源池节点状态信息进行预处理,利用关联规则算法挖掘资源池节点参数状态信息之间的关联关系,如高位—高位和低位—高位模式等。提出了一种基于限制属性连接并具有垂直数据格式的关联规则算法i-Eclat算法。i-Eclat算法通过转换资源池节点状态数据格式、建立非频繁2-项集以减少连接次数,并构建信息存储结构体来限制冗余属性连接。实验表明,所提出的方法可以有效发现云计算资源池节点之间的隐藏关系;同时,i-Eclat比经典算法计算性能更优,特别是针对较大数据集的处理。

并行挖掘频繁项目集新算法——MREclat

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat。首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节点上,且在分发数据时引入了均衡策略;接着,在各个计算节点上求出以某一前缀开头的所有频繁项目集;最后,合并各个节点的结果得到所有频繁项目集。介绍了MREclat的设计思想,研究了算法的运行性能。实验结果表明,MREclat算法效率大约是PEclat算法的2倍,加速比性能比PEclat算法提高了64%。

基于MapReduce的Eclat改进算法研究与应用

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,将Eclat算法与目前流行的大规模数据集并行编程模型MapReduce结合,解决了Eclat算法在数据挖掘过程存在的瓶颈问题,运用于动车组故障诊断系统中,提高了关联规则挖掘的效率.

基于位存储Tid的CPU并行化Eclat算法

Eclat算法采用垂直数据表示方式且无需复杂的数据结构,然而在挖掘频繁项目集过程中,交集计数的生成方式造成内存大量消耗和挖掘效率下降。为此,在分析Eclat算法及其现有改进算法基础上,提出一种位存储事务标识(Tid)的CPU并行化Eclat算法。该算法使用二进制位形式存储项目的 Tid,将挖掘频繁项目集的任务分配到CPU各个线程,最大限度地提高CPU的运算性能。实验结果表明,该算法能在降低内存使用的同时,提高频繁项目集的挖掘效率。

改进的Eclat算法研究与应用

为了解决使用Eclat算法在挖掘事务数或项目数较多的数据时,存在效率低、系统内存不足等问题,从候选集优化和剪枝策略两方面降低算法的时间复杂度,同时采用可以降低算法空间消耗的位存储结构,并基于此提出改进算法Eclat’。通过设计对比实验,进一步证明了改进算法的有效性,算法性能较原算法提高了20.37%。并将改进算法用于真实的手机用户数据上实现手机软件(Application,APP)的合理推荐。

基于改进云模型和Eclat算法的输电线路极端灾害风险评估

针对当前用于输电线路风险评估的云模型中量化等级依靠人为主观划分的不足,提出一种基于改进云模型和Eclat算法的输电线路极端灾害风险评估方法。首先,基于灾害特征信息选取灾害特征因子和典型极端灾害技术要素;通过FCM算法获取一维数据聚类中心,将聚类中心与传统主观云模型数字特征进行结合得到改进后的组合标准云;考虑灾害造成的停运时间、输电线路抗灾能力以及灾害风险的累积效应对数据进行动态修正后,在标准云中进行量化等级划分;最后,应用Eclat算法挖掘量化后的灾害特征因子与风险技术要素间的关联规则,得到风险评估预测模型。实例结果表明,改进后的模型正确率得到提高,获取到的关联规则能够对线路灾害风险进行预测评估。

基于MapReduce的改进Eclat算法

关联规则挖掘一直都是数据挖掘的重要任务,然而随着大数据时代的到来,数据规模呈指数形式增长,传统的串行挖掘算法已经面临着内存和计算资源不足等问题。针对上述问题,提出了一种基于MapRedcue并行编程模型的改进Eclat算法--IMREclat算法。IMREclat算法使用2个MapReduce任务,主要分为3个阶段:首先,平均划分事务数据库,并行挖掘频繁2项集。然后,将频繁2项集转化为垂直数据格式并利用二进制存储事务列表,按照等价类和其权重值分组。最后,将分组后的数据作为输入,通过利用预剪枝性质改进后的Eclat算法并行挖掘所有的频繁项集。实验表明,IMREclat算法在运行时间上优于现有的MREclat算法,并有良好的扩展性能。

瓦斯灾害预警模型的Eclat算法

为了有效挖掘历史监测数据中各监测指标之间的隐含关系,提高关联规则挖掘的效率,以井下瓦斯浓度、温度、风速等多个监测数据作为研究对象,提出一种基于Eclat算法的瓦斯灾害预警及数据分析模型,将检测到的瓦斯浓度、温度、风速等大量的数据样本以及每条记录的标签作为模型输入,通过提取频繁项集、剪枝、置信度计算等操作生成关联规则,利用某煤矿部分监测数据验证该方法。结果表明,Eclat瓦斯灾害预警算法运行效率较高,能够表征关联规则说明各指标与瓦斯浓度的影响关系。

一种基于关联规则挖掘的配电终端单元故障分析方法

随着配电网的发展,大量配电终端单元(DTU)应用于电力系统。DTU故障会对电力系统的安全稳定运行构成威胁,因此降低DTU装置的故障发生率、提高故障排除效率具有重要意义。本文提出一种基于关联规则挖掘算法的DTU故障分析方法,首先分析DTU故障的关键因素,然后阐述Eclat算法的相关概念,并利用不同规模的DTU故障数据库对Eclat算法与FP-Growth和Apriori算法的性能进行比较,得到一种基于Eclat算法的DTU故障分析方法。利用真实的DTU故障数据库进行实验,验证了所提方法的有效性。最后,给出所提方法的应用实例,证明了其实用性。

基于先验位运算的频繁项集挖掘

为提高频繁项集的产生效率,提出一种在垂直数据表示下,基于先验位运算的频繁项集挖掘算法(A-FIMBII)。该算法建立从项集合到事务的索引,利用先验性质减少候选集的产生,通过位运算计算支持度。与Apriori、Eclat算法进行了比较,实验表明,A-FIMBII具有更高的效率。

大数据环境下频繁项集挖掘的研究

多种频繁项集挖掘(FIM)方法组合用来对大数据进行挖掘会暴露很多问题。针对暴露的问题,在MapReduce平台上对两种频繁项集挖掘算法进行了研究。采用两种新的大数据集挖掘方法:Dist-Eclat和BigFIM,前者侧重于速度,利用基于k-FIs的简易负荷平衡方案来解决问题。而后者通过先验变体对k-FIs进行挖掘后将找出的频繁项集分配给映射程序,通过优化后在真正大的数据集上运行。最后通过实验证明该方法时间复杂度较低,数据量越大优势将越明显,扩展效果越好。

降序加权join半概念格快速挖掘算法

通过分析Eclat算法,对完全概念格按照支持度进行了裁减,得到了一个向下封闭的降序join半概念格,在构造半概念格的同时计算出每一个项集的支持度作为其权值,最后基于降序加权join半概念格对Eclat算法进行了改进,裁减了概念格中大量的冗余的连接,给出了一个快速的关联规则挖掘算法。经过分析,该算法与Eclat算法相比,效率更高。

Mining Frequent Sets Using Fuzzy Multiple-Level Association Rules

At present, most of the association rules algorithms are based on the Boolean attribute and single-level association rules mining. But data of the real world has various types, the multi-level and quantitative attributes are got more and more attention. And the most important step is to mine frequent sets. In this paper, we propose an algorithm that is called fuzzy multiple-level association （FMA） rules to mine frequent sets. It is based on the improved Eclat algorithm that is different to many researchers’ proposed algorithms thatused the Apriori algorithm. We analyze quantitative data’s frequent sets by using the fuzzy theory, dividing the hierarchy of concept and softening the boundary of attributes’ values and frequency. In this paper, we use the vertical-style data and the improved Eclat algorithm to describe the proposed method, we use this algorithm to analyze the data of Beijing logistics route. Experiments show that the algorithm has a good performance, it has better effectiveness and high efficiency.

基于车牌识别流数据的伴随车辆发现算法

针对伴随车辆发现及其实时性问题,基于随时间变化的车牌识别流数据,提出一种采用并行频繁项集发现(PFID)技术的伴随车辆组实时发现算法。该算法根据频繁项挖掘Eclat算法的思想,并利用分布式流数据处理框架Spark Streaming生成最大伴随车辆组。实验结果表明,与排列组合算法及FP-Growth算法相比,PFID算法消耗内存更少,响应时间更短,在秒级响应时间内能找到伴随车辆组,达到及时预警目的。

基于分布式倒排索引的频繁项集挖掘

频繁项集挖掘是关联规则挖掘中的核心,其直接影响了频繁项集的产生效率。针对Eclat算法在挖掘海量数据中的频繁项集时存在的内存和计算资源不足等问题,文中设计了通过分布式倒排索引实现频繁项集挖掘的Dii Eclat算法。倒排索引等同于将数据垂直分布,按事务编号的不同将倒排索引分布式地存储在不同的索引节点上,每个节点上的事务分别做交集,最后由检索代理合并交集结果。在chess、mushroom、T40I10D100K和T10I4D100K数据集上,对Dii Eclat、Eclat、Diffset等算法进行了实验对比。结果表明,给出的Dii Eclat算法通过事务集合垂直划分和并行计算,解决了数据挖掘过程中求交集运算效率低下和内存不足等问题,算法高效、可扩展。

海量数据下的并行频繁项集挖掘算法

文章针对频繁项集挖掘中传统串行Eclat算法面对海量数据时挖掘效率不高的问题,提出一种海量数据下的并行频繁项集挖掘算法,即I-SPEclat算法。首先,对Eclat算法存在的缺陷进行改进,引入图的邻接矩阵作为数据的存储结构,避免了大量的交集运算;其次,利用先验性质对候选项集进行预剪枝和后剪枝,减少无用候选项集的数量,节约存储空间;再次,根据项集的前缀对数据进行划分,平衡每个计算节点的工作负载;最后,将改进的Eclat算法在Spark分布式计算框架上实现并行化。实验结果表明,I-SPEclat算法较已有的改进Eclat算法在时间消耗和内存消耗方面均有减少,且面对不同规模的数据集也有着良好的扩展性。

基于关联规则挖掘算法的用电负荷能效研究

针对区域内大型用电负荷转移的问题,本研究采用关联规则数据挖掘算法中的Ecalt算法和Apriori算法相结合的方式,找到属性项集出现频率较高并按照同字典序相反的规则构建等价关系,提出了Eclat-N算法对电力部门的大型用户的用电负荷优化分析。通过算法的仿真结果表明:大部分用电负荷由用电负荷高峰期转移至用电低价区域时段,优化前工作方式价格峰值用电负荷10.79k Wh,对于2.5 k W转移功率上限优化用时1 h转移时限为6.1 k Wh,而对于用时1 h转移时限仅为3.9 k Wh。通过对全网的用电负荷能效进行优化可提高整体的用电效率,从而起到节能减排的效果。