基于投影数据库的改进单向COFI-tree关联分类

针对关联分类算法面对大数据集事务库时的候选集庞大、难以生成挖掘数据结构和高资源消耗等问题,提出了一种基于投影数据库的改进单向COFI-tree频繁项集生成算法,结合相关性度量等剪枝操作提取高效的分类规则,通过分治数据库有效降低整个数据库对资源的需求,减小对频繁项集的搜索空间和非频繁项集的数量,从而实现对频繁项集生成的优化过程.实验结果表明该算法通过生成初始投影数据库,并利用单向COFI-tree挖掘频繁项集的时间远小于同类算法对数据集进行直接挖掘,为大数据集的关联分类挖掘提供了一种新的解决途径.

基于COFI-Tree的N-最有兴趣项目集挖掘算法

BOMO算法采用递归构造条件子树,在挖掘大数据集时耗时较长,执行效率低,为了解决这一不足,文中给出一种基于COFI-Tree的挖掘N-最有兴趣项目集算法。算法采用COFI-Tree结构,无需递归构造条件子树FP-Tree,在同一时间内只有一个COFI-Tree在内存,并且有效地减少了其运算时间。通过对两种算法进行对比分析,实验结果得出:该算法比BOMO算法程序执行时间明显缩短;在挖掘大数据集时执行效率显著提高,尤其是k<4时,性能最好。由此可见,改进后的算法是可行有效的。

基于FP-Tree的频繁闭合项目集挖掘算法的研究

目前频繁闭合项目集挖掘算法有很多,例如CLOSET[1]。CLOSET以FP-Growth为基础,采用FP-Tree来表示模式支持集,通过深度优先搜索来挖掘频繁闭合模式。其困难是,递归构造“条件FP-Tree”的CPU开销和存储开销很大。为解决上面的问题,论文提出一种基于FP-Tree和COFI-Tree的频繁闭合项目集挖掘算法,在该算法中引用了COFI-Tree结构,COFI-Tree无需递归地构造“条件FP-Tree”,并且某一时刻只有一个频繁项的COFI-Tree在内存,所以大大减少了内存消耗。通过实验证明:当挖掘大型数据库时,在执行时间方面,该算法比其它算法更有效。

基于反向矩阵的最大频集的交互式挖掘算法

发现最大项目频集是数据挖掘应用中的关键问题。本文提出了一个基于反向矩阵的最大频集的交互式挖掘算法。该算法将事务数据库转换成反向矩阵,缩小了候选子集,利于交互式挖掘。通过对每个频繁项独立建立COFI 树,减少了挖掘中对内存容量的依赖。

高性能网络安全告警信息的关联分析方法

在网络安全防御体系中,入侵检测系统会实时产生海量冗余、错误的网络安全告警信息,因此有必要对告警信息的关联规则和序列模式进行频繁项模式挖掘,分辨正常的行为模式,筛选出真正的攻击信息。相对于Apriori和FP-growth等算法,COFI-tree算法虽然具有较大的性能优势,但仍无法满足大规模网络安全信息快速分析的需求。为此,基于COFI-tree算法,提出了一种改进的网络安全告警信息关联分析算法。该算法通过基于倒序链表的头表节点寻址方式和基于新的SD结构的频繁项处理方法,提升了COFI-tree算法的性能。基于Kddcup99数据集的实验结果表明,与传统的Cofi算法相比,该方法在基本保证准确率的同时,能大量降低计算开销,使处理时间平均缩短21%以上,解决了在海量网络告警信息下进行关联分析时速率不高的问题。

面向大规模告警数据的高性能信息筛选系统

提出了一种面向大规模告警数据的快速筛选系统(RSS),该系统工作于IDS后端,用于筛选出有用的告警信息,提高IDS的效率。为提升筛选系统的性能,重点研究了Apriori、FP-Growth、COFI-Tree等数据挖掘算法,并从理论上证实了COFI-Tree算法具有较高的筛选性能。通过DARPA99进行的实验表明,基于COFI-Tree算法的筛选系统,在保证筛选精度的前提下,能有效降低系统的时间复杂度与空间复杂度。