一种新型的分布式关联规则挖掘算法研究

提出了一种新型基于压缩矩阵的分布式关联规则挖掘算法—CMDMA算法。

利用抽样技术和元学习的分布式关联规则挖掘算法

结合动态项集计数技术和抽样的思想,利用元学习策略来产生频繁项集,提出了一个不共享内存的分布式关联规则挖掘算法DASM;引进了相似度的概念,并用之提高了挖掘的精确度。理论分析以及在IBM数据生成器生成的数据集上的实验均表明,DASM算法具有较高的挖掘效率和较低的通信量,适用于对效率要求较高的应用领域。

基于分布式系统下的快速关联规则挖掘算法

随着分布式技术的发展,基于分布式系统下关联规则挖掘算法的研究显得非常重要。分布式系统下关联规则挖掘算法的时间开销主要体现在两方面:一是频繁项目集的确定;二是网络的通讯量。为解决第一个问题,文章提出了一种基于二进制形式的候选频繁项目集生成算法,该算法只需对挖掘对象进行逻辑与操作,提高了频繁项目集的生成效率,将该算法结合FDM算法应用于实验挖掘,实验结果表明,算法提高了挖掘效率,是可行的。

基于关联规则的分布式通信网告警相关性研究

描述了基于数据挖掘的通信网告警相关性分析。在分布式数据库中直接运用序列算法效率很低,因为这需要大量的额外通信。为此提出了一种有效的分布式关联规则挖掘算法——EDMA,它通过局部剪枝与全局剪枝来最小化候选项集数目和通信量。在局部站点上运用先进的压缩关联矩阵CMatrix统计局部项集支持数。此外还利用项目剪枝与交易剪枝共同来减少扫描时间。最后仿真验证了EDMA比其他经典分布式算法有更高的运算效率、更低的通信开销以及更好的可扩展性。

基于分布数据库的快速关联规则挖掘算法

关联规则发现是数据挖掘的重要研究内容,随着数据库中数据的不断增加,大数据集环境下的关联规则发现日益受到重视,分布式关联规则发现是解决这一问题的有效方法。分布式数据库环境下的关联规则挖掘算法中,时间开销主要体现在两方面(:1)频繁项目集的确定;(2)网络的通讯量。为了解决第一个问题,文章提出了一种基于二进制形式的候选频繁项目集生成和相应的计算支持数算法,该算法只需对挖掘对象进行一些”或”、”与”、”异或”等逻辑运算操作,显著降低了算法的实现难度。将该算法与DMA算法相结合提出改进算法FDMA。理论分析和实验结果表明,算法FDMA大大提高了关联规则挖掘的效率,算法是有效可行的。

一种分布式环境下动态挖掘频繁闭项集算法

在分析与研究分布式数据挖掘和频繁闭项集挖掘的基础上,通过设计一个Unite_Tree算法构建全局FP-Tree树,并在全局FP-Tree树的基础上设计了一种分布式环境下动态频繁闭项集的挖掘算法D-MFCI。最后,通过仿真实验证明D-MFCI算法可以实现分布式数据库中关联规则的快速挖掘,减少生成规则的冗余度,提高规则的可读性。

一种改进型的分布式Lazy关联分类算法

分布式lazy关联分类算法(DLAC算法)指应用分布式关联规则挖掘算法的lazy关联分类算法。现有的DLAC算法存在2个主要问题:一是对多个待分类样本进行分类时效率低下;二是投影操作未分布式实现。针对上述2个问题,提出一种改进型的分布式lazy关联分类(PDLAC)算法。首先,对待分类样本进行KMeans聚类;其次,判断类内的待分类样本是否满足聚合条件,满足进行聚合,不满足则类内的每个待分类样本单独成为一类;然后,进行分布式投影并使用CDMA算法挖掘关联规则;最后,构建分类器对类内的一个或多个待分类样本进行分类。设置并行度为15进行实验:PDLAC算法所用的时间远小于DLAC算法,并且随着待分类样本数目的增加,性能提升越大。实验结果表明,PDLAC算法是解决上述2个问题的一个好方法。

基于Kademlia的下关联规则挖掘算法研究

在分析和介绍了分布式关联规则挖掘方法和对等网模型Kademlia的基础上,通过改进经典的Apriori算法,设计了一种能够用于对等网模型Kademlia的分布式关联规则挖掘算法。该算法通过对其频繁项集阈值的设置,能够快速减少各结点在进行关联规则挖掘时产生的中间候选项集的数量,降低算法复杂度,提高算法执行效率,仿真实验结果表明了该算法的有效性和可扩展性。

水平分布数据集的隐私保护关联挖掘算法

研究水平分布数据集的隐私保护关联规则挖掘算法。针对现有算法需要多次扫描数据集的缺点,提出一种只须对数据集进行2次扫描、基于分布式FP-tree的隐私保护挖掘算法。该算法可以有效降低通信量,能在保证准确度的同时保护原始数据。