针对高项频繁集的关联规则改进算法

关联规则挖掘是数据挖掘中的重要研究内容之一,Apriori算法是其中的经典算法,而频繁集的提取问题则是Apriori算法中的关键。该文对Apriori算法性能进行了分析,针对其中的连接步和剪枝步实施了改进,提出了MApriori算法。并通过算法仿真实验对这两种算法进行了比较,结果证明改进后的算法加快了高项频繁集的产生速度,从而提高了挖掘的效率。

一种改进的频繁集挖掘方法

为了有效解决关联规则挖掘中最关键的一步即频繁集的产生 ,构造了一个新的频繁树结构 ,以存储数据库中频繁项的信息 ,且基于该频繁树给出挖掘频繁集的算法 .该方法能够避免重复扫描数据库 ,避免产生大量的候选集 。

最小组合法挖掘最大频繁集

提出了与apriori和FP-tree两类算法完全不同的高效挖掘最大频繁集的算法,即最小组合算法MCA。该算法不产生候选频繁集,能大大减少计算量的开销。在此算法的研究中提出了另一个子课题,即重复数列中最小组合算法研究。

关联规则挖掘中最大频繁集的双向查找算法

在事务数据库中挖掘关联规则已成为数据挖掘领域的一个重要研究课题,而其中频繁项集的查找时间是影响挖掘效率的关键因素。基于Apriori算法,根据最大频繁集的双向查找算法,提出了算法的实现步骤,让两个方向的剪枝工作实现信息共享,加快最大频繁集的查找速度,节省I/O操作时间,并且通过实例和仿真实验验证了算法的高效性。

发现含有第一类项目约束的频繁集的快速算法

与 Apriori- like类型的算法相比 ,Zaki提出的基于垂直数据库结构及基于网格理论的算法将关联规则挖掘的运行速度提高了一个数量级 ,并且这些算法非常适合挖掘低支持度、长模式的关联规则 .以 Ecalt算法为原型 ,讨论了如何将项目约束引入关联规则挖掘过程的问题 ,从理论上证明了引入约束后的 Eclat+算法可以大大提高算法的效率和速度 ,并对相关的算法进行了比较 .

基于频繁链表的频繁集的挖掘算法

The problem of mining frequent set is a key issue in data mining. In this paper, a new method of miningfrequent set based on the frequent link is proposed. The algorithm constructs alternate frequent link from the transac-tion, the alternate link is yielded by adding up the alternate frequent link which constructed by scanning the transac-tion database in proper order. The frequent link that comprises all the information is constructed with the frequentnode which is selected according requirement. Our algorithm need to scan the transaction database only once and easysupervises the change of frequent set in order to guarantee the right of association rule.

最大频繁集的数据聚类方法

提出了一种新的聚类方法.针对货篮数据的特点,运用概念格获取最大频繁项目集,并以此作为初始聚类,采用适合于货篮数据的相似性测量方法,求得聚类结果.研究表明,该方法所生成的聚类比其它传统方法更优化,而且效率较高.

基于频繁集的多层次交互式关联规则挖掘

文章研究了一种知识发现与数据挖掘中关联规则的发现方法。针对现有大型超市销售事务数据库 ,提出了一种新的多层次信息获取方法。运用关联规则挖掘所产生的频繁集对数据压缩表示 ,并给出了按用户的实际需求交互式挖掘感兴趣关联规则的算法。该算法在挖掘速度和效率上有较大提高。

一个不需要产生候选集频繁集挖掘算法的研究

FP-growth算法是一个频繁集产生算法,与一般的类似于Apriori的频繁集产生算法相比,FP-growth的优点在于它不需要产生大量的候选集,因而在时间和空间上都有很好的效率。从不同角度对FP-growth算法进行了详细的研究,并与经典算法Apriori在性能上作了分析对比。

基于频繁集的图像特征抽取

在图像分析领域,已有不少研究探讨了通过构建图像相邻像素之间的事务数据集,对图像纹理关联规则进行挖掘,但纹理关联规则仅存留最大项的频繁项集会使得很多信息丢失。为此提出了基于频繁项集的图像特征抽取方法,该方法首先基于项集的频繁度及空间分布筛选候选频繁项集,再定义每一个频繁项集的空间表达能力值构建特征集。在遥感图像上进行仿真测试,针对EM算法对初始设置比较敏感的特点,采用了对同一特征集指定不同聚类数目并比较对数似然值确定最终聚类结果的方法。实验结果表明,提出的频繁集对图像特征具有较好的表达。

基于频繁集的多层次交互式关联规则挖掘

定义了一系列关联规则的相关概念 ,然后 ,针对现有的销售事务数据库 ,提出了一种改进的获取多层次信息方法 ,并据此对各数据进行压缩编码 ,减少处理时间 .同时 ,借助频繁集和交互式技术 ,实现多个概念层次交互式挖掘 ,以按用户实际需要提取出其感兴趣的关联规则 。

一种高效的并行频繁集挖掘算法

针对Apriori算法在挖掘超大规模数据集时存在的效率低下问题,在数据集分块和事务数据库布尔化映射基础上,提出一种直接利用布尔矩阵向量运算挖掘频繁集的并行频繁集挖掘算法(PFIM)。仿真实验分析表明,PFIM算法比Apriori算法的挖掘时间缩短了近90%,该方法可用于挖掘超大规模数据库,具有良好的并行性和可伸缩性。

SparkSql上自适应数据集的高效频繁集挖掘算法

针对基于Spark框架的关联规则算法存在I/O开销大、数据结构和挖掘频繁集方式单一、计算支持度的方式效率低等问题,提出基于SparkSql进行分布式编程的算法。将数据集加载到DataFrame,利用改进后的布隆过滤器高效存储频繁集挖掘过程中产生的项集,解决RDD内存资源和计算速度受限问题。基于先验定理对事务、项目和项集进行精简,同时提出用Sql语句对项集中项目对应事务集合求交集的方式计算项集支持度,提高计算支持度的效率。提出了两种迭代算法和自适应数据的选择条件,增强该算法对各种数据集的泛化性。进行多组实验,证明提出的算法总是自适应本次迭代数据的特点选择最优的迭代方法,同时具有较高并行算法性能,可以扩展到更大规模集群和数据;同基于Spark框架的关联规则算法YAFIM和R-Apriori进行对比,在每次迭代和总体运行计算效率上有更好的表现。

一种改进的最大频繁集发现算法

关联规则是数据挖掘的主要技术,而最大频繁集是关联规则挖掘的核心。关联规则发现的准确性与效率的好坏直接决定了发现的知识规则是否适用。阐述了关联规则、频繁集和频繁超集的定义,分析了现有关联规则算法的思想及其不足,然后在概率的基础上引入了期望长,提出了ELMFI算法,最后用实例进行仿真实验并做了比较分析。该算法直接产生期望长度的候选项集并进行验算,试验结果验证了其可行性,发现效率有所提高,能节约大量的系统空间和运算时间。

一种带约束条件的关联规则频繁集挖掘

论文先提出顺序单调约束和反顺序单调约束的概念并对其所包含的数学性质进行了讨论,在此基础上将其运用于频繁集挖掘过程中,给出挖掘基于顺序反单调性约束的频繁集算法和挖掘基于顺序单调约束的频繁集算法。带约束条件的关联规则频繁集挖掘可减少生成无意义的规则;同时,在频繁集生成过程,利用约束条件对搜索空间进行修剪,可提高挖掘算法的效率。

基于连接的频繁集聚类算法

针对大型事务数据库中频繁集的多属性聚类问题,提出一种高效的频繁集聚类算法。以往聚类算法采用基于距离的计算方法,由于受到属性数据的制约,在频繁集挖掘中具有一定的限制。在属性聚类基础上,基于连接对频繁集进行聚类。在算法中先找出数据点的邻居和计算相似度,构造邻居矩阵；然后计算连接数目,确定邻居数目矩阵；最后通过设置判定函数和阈值确定聚类数。通过实验证明,算法能够不仅能有效地完成频繁集的多属性聚类问题,而且还可以进一步发现频繁集在某一层次的相关性。

基于集合和位运算的频繁集挖掘优化算法

产生频繁项目集是关联规则挖掘中的一个关键步骤。在对Apriori算法分析的基础上,提出了一种基于集合和位运算的频繁项目集挖掘算法。该算法用位视图表示使用了每个项目的事务,通过对位视图进行位运算来计算每个项目集的支持数,避免了Apriori算法中多次扫描数据库的问题。

最大频繁集的关联规则矩阵视图

文章研究了两个基本的关联规则推导关系,在此基础上建立了最大频繁集的关联规则矩阵视图,把一个频繁集生成的所有规则全部展现在一个矩阵中,并通过研究矩阵中的各规则元素的关系,得到一个频繁集或规则矩阵的基集和核(即最小规则集),可以从大型事务数据库生成的大量关联规则中挖掘出最小规则集和有用户感兴趣的规则。

应用于长频繁集挖掘的基于变动邻域搜索的遗传算法设计

提出了一种基于变动邻域搜索的长频繁集挖掘方法(VNS-GA),利用遗传算法的高效搜索性能快速挖掘最大频繁集。在遗传算法的适应度函数设计中,综合考虑项集支持度、长度以及项集支持度和邻域中心支持度的距离,算法一次运行可找出邻域内的最大频繁集,改变邻域中心即可找到我们需要的最大频繁集。算法有效性通过实验得到了验证,且实验表明该算法的时间复杂度与支持度阈值大小无关,因此对于长模式挖掘问题具有很高的效率。

基于有向项集图的频繁集挖掘优化算法

关联规则挖掘是数据挖掘研究中一个非常重要的研究领域。文章利用有向项集图(DISG)来存储有关频繁项集的信息，提出了利用深度优先的策略进行搜索的频繁项集挖掘的优先算法UDBDG(Updated DFS Based DISG) 。最后分析了算法在时间和空间上的复杂度并以mushroom数据库为例进行了试验。试验结果证明算法对于处理稠密集数据是有效的。