一种带约束条件的关联规则频繁集挖掘

论文先提出顺序单调约束和反顺序单调约束的概念并对其所包含的数学性质进行了讨论,在此基础上将其运用于频繁集挖掘过程中,给出挖掘基于顺序反单调性约束的频繁集算法和挖掘基于顺序单调约束的频繁集算法。带约束条件的关联规则频繁集挖掘可减少生成无意义的规则;同时,在频繁集生成过程,利用约束条件对搜索空间进行修剪,可提高挖掘算法的效率。

近似反频繁集挖掘可计算复杂度分析与研究

数据挖掘作为应用于数据分析的工具,往往会从大型数据库中毫无保留地揭露某些重要信息,这些重要信息由于一定的原因不能向外界透露。所以可以通过构造具有与原始的频繁集一样的特征的虚拟数据集来替代频繁集挖掘结果。文章给出了一种近似的反频繁集挖掘方法,分析了它的可计算复杂度,得出了近似反频繁集挖掘是一个NP完全问题,提出了近似的反频繁集挖掘的下一步研究重点。

反频繁集挖掘可计算复杂性问题研究

频繁集挖掘是总结二进制数据的重要技术,但如何找到一个二进制数据集与频繁集挖掘结果相一致却十分困难。文中从可计算复杂度的观点研究了频繁集的隐私保持。特别分析了反频繁挖掘问题的可计算复杂度。给出了决定是否存在与一个已知频繁集兼容的数据集是一个NP难度问题;当原始数据集d由6个集合组成时计算与已知频繁集兼容的数据集的数量是一个P类完全问题。

一种稳定的并行分布式频繁集挖掘算法及其应用

为解决大规模医药数据分析中的频繁集挖掘问题,提出一种稳定且具有良好扩展性的并行分布式算法P-FIM。该算法将挖掘任务分割成无相互依赖关系的同构子任务,实现有效的并行计算;并且充分利用Map/Reduce框架和集群环境的优势提高自身的鲁棒性和负载均衡能力。采用最大规模为512万条记录的中医药方剂数据进行算法性能分析实验,其结果表明,该算法在分布式集群环境中表现稳定,而且随着集群规模的增加其加速比接近线性。以P-FIM算法为基础设计实现的中医药数据相关性分析方案,可有效地从大规模临床数据中获得全面、可靠的病、症、药间相关性的信息。

基于0-1矩阵的频繁项集挖掘算法研究

通过对关联规则挖掘技术及经典算法Apriori的研究和分析,结合该算法存在的问题,提出了一种基于0-1矩阵的频繁集挖掘算法。该算法使扫描数据库的次数减为一次,有效率地降低I/O的存取时间,直接通过支持矩阵行向量的按位与运算来找出频繁集,而不需要Apriori算法中的自联接和减枝,提高了系统的运行效率。通过不断压缩支持矩阵,不仅减少了高次频繁集挖掘的时间,而且节约了存储空间。仿真实验表明,该算法是有效的。

频繁模式集挖掘算法TFPDM的研究

受经典的Apriori算法思想和FP-Growth算法思想的启发,在结合两者优点的基础上提出了一种新的算法思想,它是对传统的FP-Growth算法的变形。该算法只需对数据库扫描一次,可以同时对全局和局部频繁模式集进行挖掘,减少了对发生增益数据库挖掘的费用。理论分析表明算法是有效的、可行的。

基于加权构造链表的频繁加权项集挖掘算法

针对当前加权频繁项集挖掘算法建树复杂、挖掘效率较低的问题,提出基于加权构造链表(WB-list)的加权频繁项集挖掘BFWI算法。构造高度压缩信息的加权构造树(WB-tree),由B-list扩展结构WB-list得到节点信息,以集合枚举树作为搜索空间,结合包含索引减少项集连接次数并利用超集等价性质加快加权频繁项集的产生,提高算法的效率。实验结果表明,BFWI算法在时间和空间效率性能上优于IWS和WIT-FWIs-Diff算法,无论是处理稀疏数据还是稠密数据均得到良好效果。

同类项的频繁高效用项集挖掘算法

现有高效用项集挖掘算法没有考虑分类挖掘的情况,针对这一不足,提出基于同类项的频繁高效用项集挖掘算法CMFHUI。把数据库中的所有项进行分类,给每一类赋予一个最小效用阈值,在这个基础上加上支持度约束,使得最终挖掘的项集既是频繁项集又是高效用项集。为进一步提高算法的挖掘效率,提出改进算法CMFHUI+。利用Mushroom和T10I4D100K数据集,结合4种不同的剪枝性质进行仿真实验,验证了这两种算法的有效性和可行性。

最小支持度变化时分布式数据库中频繁项目集更新

讨论分布式数据库系统中最小支持度变化时频繁项目集如何高效更新问题,提出了一种基于最小支持度变化的局部频繁项目集的更新算法ULFS和全局频繁项目集的更新算法UGFS.该算法能够充分利用已挖掘的结果,并且产生较少数量的候选频繁项目集,在求解全局频繁项目集过程中,候选局部频繁项目集支持数的通信量为O(n).将文章提出的算法用Java加以实现,并对算法性能进行了研究.实验结果表明这些算法是可行、有效的,并且具有较快的速度.

C程序隐式规则自动提取与反例检测

提出一种通用且高效的隐式规则自动提取与反例检测方法,使用频繁闭合项集挖掘技术挖掘包含多种程序元素的编程模式,然后由编程模式产生编程规则;引入正序规则的概念,以避免从同一个编程模式中产生多个冗余规则.在此基础上,提出一种高效的反例检测算法检测违反规则的程序片段.实验结果表明,该方法能够自动提取程序中存在的隐式编程规则,并快速有效地检测违反规则的反例.

基于位存储Tid的CPU并行化Eclat算法

Eclat算法采用垂直数据表示方式且无需复杂的数据结构,然而在挖掘频繁项目集过程中,交集计数的生成方式造成内存大量消耗和挖掘效率下降。为此,在分析Eclat算法及其现有改进算法基础上,提出一种位存储事务标识(Tid)的CPU并行化Eclat算法。该算法使用二进制位形式存储项目的 Tid,将挖掘频繁项目集的任务分配到CPU各个线程,最大限度地提高CPU的运算性能。实验结果表明,该算法能在降低内存使用的同时,提高频繁项目集的挖掘效率。