扩展WIT-树融合Diffset策略的频繁加权项集快速挖掘算法

针对当前算法从加权项事务数据库挖掘频繁加权项集(FWI)时效率不高的问题,提出了一种基于加权项集-Tidset树结构的FWI快速挖掘算法。首先,提出了一种加权项集-Tidset树结构;然后,使用最小加权项集阈值和向下闭合性质修剪非频繁节点;最后,利用Diffset策略允许以内存有效方式快速计算项集的加权支持度。实验结果表明,当输入数据库中FWI数较大时,提出的算法明显降低了FWI挖掘时间。相比基于先验的算法,算法平均可节省99.37%的耗时;相比基于位矩阵的加权频繁项集生成算法,提出的算法可节省99.06%的耗时,明显提升了频繁加权项集挖掘效率。

关联规则挖掘中改进型Diffsets算法

频繁项集挖掘是关联规则挖掘中至关重要的一步。对于稠密数据集的频繁项集挖掘,传统的挖掘算法往往产生大量无用的中间结果,造成内存利用率的极大浪费,尤其是在支持度较低的情况下。Diffsets算法通过引入"差集"的概念,在一定程度上解决了挖掘过程中产生的大量中间结果与内存容量之间的矛盾。改进型Diffsets算法是在原算法的基础上,在差集运算过程中根据差集中所包含的事务标识个数进行递减排序,进一步减少了挖掘过程中产生的中间结果数量。分析与实例表明,改进后的算法在执行过程中将占用更少的内存空间,加快了算法的收敛速度。

一种高效的频集挖掘算法

频集挖掘是关联规则挖掘的关键步骤,它对强规则、相关分析和时间序列有着重要的意义.常用的频集算法包括Apriori和FP-G rowth.为了提高算法效率,提出了一种基于D iffset的混合算法———D iffsetHybrid,该算法根据数据集的稀疏程度决定采用D iffset的某种形式来挖掘频集,减少了存储空间,提高了算法效率.试验表明,该算法对于稀疏数据集和稠密数据集都有良好的计算性能.

基于垂直数据分布的大型稠密数据库快速关联规则挖掘算法

为进一步解决对大型事务数据库进行关联规则挖掘时产生的CPU时间开销大和I/O操作频繁的问题,给出了一种基于垂直数据分布的改进关联规则挖掘算法,称为VARMLDb算法。该算法首先有效地把数据库分为内存可以满足要求的若干划分,然后结合有向无环图和垂直数据形式diffset差集来存储和计算频繁项集,极大地减少了存储中间结果所需的内存大小,解决了传统垂直数据挖掘算法对稠密数据库挖掘效率低下的问题,使该算法可有效地适用于大型稠密数据库的关联规则挖掘。整个算法吸取CARMA算法的优势,只需扫描两次数据库便可完成挖掘过程。实验结果表明该算法是正确的,在大型稠密数据库中,VARMLDb算法具有较高的执行效率。

垂直数据格式挖掘频繁项集算法的改进

针对现有的基于垂直格式挖掘频繁项集采用正交的方式两两进行比较耗费大量时间和产生的Tid集可能很大浪费存储空间的问题,提出了一种基于三角矩阵和差集的垂直数据格式挖掘频繁项集的挖掘算法。该算法利用差集解决了对稠密数据集进行频繁项集挖掘时的Tid集可能很大的问题,并且利用一种前提方法判断是否有必要连接产生候选频繁k+1项集,减少时间的开销,而且在存储上用三角矩阵的数据结构可以进一步节省存储空间。实验结果表明,本算法大大减少挖掘频繁项集时间和空间内存的开销。

基于差集的高效用项集挖掘方法

高效用项集挖掘已成为关联规则中的一个热点研究问题.一些基于垂直结构的算法已用来挖掘高效用项集,此类算法的主要优点是将项集的事务和效用信息存储到效用列表中.在求一个项集的超集所在事务可以通过对它的子集进行一次交集运算得到.这种算法在稀疏数据集中非常的有效.但在稠密数据集中存在一个问题,即列表中存储的事务太多,在计算用于剪枝的效用上界时,需要耗费大量的存储空间,同时也影响运行速度.并且在现有的算法中,缺乏针对稠密数据集的高效用项集挖掘算法,往往需要设置很高的最小效用阈值,影响算法的运行效率.针对此问题,提出一个新的算法D-HUI(mining High Utility Itemsets using Diffsets)以及一个新的数据结构—项集列表,首次在高效用项集挖掘中引入差集的概念.利用事务的差集求项集的效用上界,减少计算量以及存储空间,从而提高算法的运行效率.实验结果表明,提出的算法在稠密数据集中,执行速度更快,内存消耗更少.

一种利用差集的加权频繁项集挖掘算法

挖掘加权频繁项集是多种数据挖掘应用中的关键问题,为提高传统加权频繁项集挖掘算法的性能,在研究概念格模型和差集Diffsets理论的基础上,构建一种利用差集的加权频繁项集格结构,该格结构通过差集性质快速计算加权支持度,满足向下封闭特性,更有利于高效生成加权频繁项集.最后给出了相应的FWIL-Diffsets构造算法,该算法仅对数据库进行一次扫描,通过性质定理有效减少项集生成中的计算量.研究结果表明:该方法能显著提高生成加权频繁项集的效率.

垂直分布下的隐私保护频繁闭合项集挖掘算法

针对垂直分布下的隐私保护关联规则挖掘算法效率低、安全性不高的问题,提出一种隐私保护频繁闭合项集的挖掘算法。算法利用挖掘频繁闭合项集代替频繁项集,IT-Tree作为搜索空间,Diffsets作为压缩结构,采用基于RSA可交换加密算法的隐私保护集合差集协议。实验结果表明,算法具有较好的隐私性、准确性、高效性。

基于扩展概念格的带约束关联分类规则挖掘方法

提出一种改进的带约束的关联分类规则挖掘方法.采用扩展概念格结构存储数据库中全部的频繁项集以保证信息不丢失,通过相关定理削减大量候选项目集,并引入差集概念加快了对类属性的支持度和置信度计算速度,从而加快格构建过程,同时减少了格结点占用空间,在之前构建完成的扩展概念格上根据给定的约束条件进行规则提取.在三种不同的数据集上对所提出的方法进行挖掘时间与内存使用测试,并与已有关联分类算法进行对比分析,实验结果表明所用方法不仅在时间和空间上性能良好,还满足重用性要求.

基于异集产生频繁项集的研究

如何从密集数据库中高效挖掘频繁项集一直是数据挖掘领域研究的难点和重点。文章介绍了一种新的数据存储格式—异集。将密集数据库转换为异集数据库,可大幅度降低数据库的规模、挖掘过程产生的中间结果以及CPU计算时间。该文给出了一个基于异集数据库的频繁项集的挖掘算法,实验表明该算法有效。

基于时间戳和垂直格式的关联规则挖掘算法

基于时间戳的关联规则挖掘算法(SLMCM)主要用于解决新增项的问题,但效率较低,难以适应大数据挖掘。针对这个问题,文中提出了改进算法E-SLMCM和DE-SLMCM。E-SLMCM算法采用垂直结构,仅需遍历数据库两次,在将数据库转化为垂直格式时,可直接记录各项的时间戳,且不需要将每条事务的各项按时间戳进行排序;另外,提出了新的求项集时间戳的方法,在求更高项集的时间戳时不用多次遍历数据库。E-SLMCM算法适合应用于稀疏数据库,为了提高在密集数据库上的运行效率,在E-SLMCM算法的基础上采用差集思想提出了DE-SLMCM算法。所列举的4个基于公共数据集的仿真实验中,在不同最小支持度条件下,E-SLMCM和DE-SLMCM分别在稀疏和密集数据集上运行的时间效率是SLMCM的10~1000倍。

基于WNegNodeset结构的加权频繁项集挖掘算法

针对基于WN-list加权频繁项集挖掘算法(NFWI)中挖掘加权频繁项集(FWI)效率低的问题,提出了一种基于WNegNodeset结构的加权频繁项集挖掘算法(NegNFWI)。该算法首先采用了新的数据结构WNegNodeset,它是NegNodeset的扩展,该数据结构采用了一种新的基于集合位图表示的位图加权树(BMW-tree)节点编码模型,通过按位运算符快速提取WNegNodeset的节点集,避免了大量的交集运算;其次采用了差集策略快速计算项集的加权支持度,从而减少了计算量;最后通过仿真实验验证了算法的有效性和可行性。