基于索引数组与集合枚举树的最大频繁项集挖掘算法

由于其内在的计算复杂性,挖掘密集型数据集的全部频繁项集非常困难,解决方案之一是挖掘最大频繁项集。集合枚举树是最大频繁项集挖掘算法中常用的数据结构,最大频繁项集的挖掘过程也可以看作是集合枚举树的搜索过程。为缩小集合枚举树的搜索空间,采用宽度优先和深度优先相结合的混合搜索策略,提出了一种新的最大频繁项集的挖掘算法Index-MaxMiner。该算法首先设计了索引数组这种新的数据结构,并给出了一个基于二进制位图技术的索引数组的计算方法。通过为每个频繁项增加包含索引,Index-MaxMiner利用一次宽度优先搜索得到了候选最大频繁项集,使集合枚举树的第一层结点个数大幅度减少。然后在候选最大频繁项集中通过深度优先搜索,得到全部最大频繁项集,从而实现了集合枚举树的跳跃式搜索,大大缩小了搜索空间。实验结果表明,该算法可有效提高最大频繁项集的挖掘效率。

基于集合枚举树的最小属性约简算法

为了寻找一种有效的最小属性约简方法,给出了条件属性集上的属性重要度序关系,基于此序关系构建了属性集上的集合枚举树,提出了一种快速的最小属性约简算法,该算法采用至上而下、层次优先策略搜索集合枚举树寻找属性最小约简。为了提高算法性能,该算法采用核和父集剪枝策略减少搜索空间,采用优化计算来确保同一集合的正域只计算一次。基于UCI数据的实验结果表明,该算法是有效的。

基于集合枚举树的最小预测集挖掘算法

为缩减关联规则存储空间和方便查询关联规则,提出一种前件为单一项目的最小预测集算法。利用集合枚举树找到最大频繁项目集,据此来挖掘最小预测集。对规则扩展的有效性进行证明。实验结果表明,通过该算法得到的最小预测集比传统方法小1个数量级。

基于集合运算的最大频繁项目集生成算法

对Pincer-Search进行了改进,提出了一种新的发现最大频繁项目集的算法NDMFS.由于NDMFS算法采用了位阵存储技术和自底向上、自顶向下双向搜索策略,从而进一步提高了算法的效率,显著降低了系统的I/O成本和CPU时间.

基于N-list和DiffNodeset结构的频繁项集并行挖掘算法

频繁项集挖掘是数据挖掘中的一个基本问题,在许多数据挖掘应用中发挥着重要作用。针对并行频繁项集挖掘算法MrPrePost在大数据环境存在密集数据集下算法效率下降、计算节点负载量不均衡和冗余搜索等问题,提出了基于N-lists和DiffNodeset两种结构的并行频繁项集挖掘算法(Parallel Mining algorithm of Frequent Itemset based on N-list and DiffNodeset structure,PFIMND)。首先,根据N-list和DiffNodeset在存储不同数据集上的优势,设计了稀疏度估计函数(Sparsity Estimation,SE),根据数据集稀疏程度灵活选取其中之一压缩数据集,相比采用单一存储结构消耗的内存更少;其次,提出了计算量估计函数(Computation Estimation,CE)来估计频繁1项集F-list中每一项的负载量,并根据计算量进行均匀分组;最后采用集合枚举树作为搜索空间,为避免组合爆炸和冗余搜索问题,设计了超集剪枝策略和基于宽度优先搜索的剪枝策略,生成最终的挖掘结果。实验结果表明,相比同类算法HP-FIMBN,PFIMND算法在Susy数据集上挖掘频繁项集的效果提升了12.3%。

面向超图的极大团搜索算法

现实世界中的实体关系大多不能用简单的二元关系来表示,而超图能很好地表示实体间的多元关系。因此,提出超图团和极大团的定义,并给出了搜索超图极大团的精确算法和近似算法。首先,分析了现有的普通图上的极大团搜索算法无法直接应用到超图上的原因。然后,基于超图的特性和极大团的定义,提出了一种新颖的保存超点间邻接关系的数据结构,并提出了一种超图上的精确极大团搜索算法。由于精确算法的速度较慢,因此结合支撑点(pivot)的剪枝思想,削减递归层数,提出了一种超图上的近似极大团搜索算法。在多个真实超图数据集上的实验结果显示,所提近似算法在找到大多数极大团的前提下,提高了搜索速度,当在3-uniform超图上,测试超图团的点数为22时,加速比达到了1 000以上。

基于BNB-HSSE计算全体碰集的方法

在基于模型的故障诊断与测试中,计算全体最小碰集是其关键的步骤.本文将分支定界法BNB与集合枚举法HSSE相结合,提出了一种基于BNB-HSSE计算全体最小碰集的算法.该算法利用分支定界法将问题不断分解成子问题,从而降低待求问题的规模.然后针对BNB过程中的子问题,应用HSSE来进行一层集合枚举,从而简化了枚举过程.最后采用仿真进行验证,可得本文方法在集合簇规模较大时显示了较强的计算效率优势,且能够计算全体最小碰集.

关联规则最大频繁项目集的快速发现算法

提出一种快速发现最大频繁项目集的算法,该算法对集合枚举树进行改进,结合自底向上与自顶向下的搜索策略,利用非频繁项目集对候选最大频繁项目集进行剪枝和降维,减少了不必要候选最大频繁项目集的数量,显著提高了发现的效率.

结合问题特征利用SE-Tree反向深度求解冲突集的方法

基于模型诊断是人工智能领域内的一个重要研究方向,求解极小冲突集在基于模型诊断中有着重要应用.在对结合CSISE-Tree求解冲突集方法深入研究的基础上,根据冲突集求解特征重构了结合枚举树的计算冲突集的过程,提出基于深度优先反向搜索求解冲突集的方法.针对CSISE-Tree方法求解时占用内存空间与元件总数指数级相关的缺点,构建反向深度搜索方法减小求解时所占用内存空间;针对CSISE-Tree方法不能对部分非极小的冲突集进行剪枝的问题,给出对非冲突集和更多非极小的冲突集进行剪枝的方法,有效减少了求解时调用SAT(Boolean SATisfiability problem)求解器的次数;实验结果表明,与CSISE-Tree方法相比,本文提出的方法求解效率有明显的提升,并避免了求解时的内存爆炸问题.

结合互补度的基于扩展规则#SAT问题求解方法

#SAT问题又称模型计数(model counting)问题是人工智能领域的研究热点之一,在人工智能领域被广泛应用.在对基于扩展规则的#SAT问题求解方法 CER(counting models using extension rules)深入研究的基础上,提出一种结合互补度的#SAT问题求解方法.在计算给定子句集的模型个数时,利用SE-Tree(set enumeration tree)形式化地表达计算过程,逐步生成需要计算的子句集合,并在SE-Tree中添加终止结点,避免大部分含互补文字子句集合的生成,且不会因剪枝而导致求解不完备.提出互补度的概念,在扩展SE-Tree结点时按照互补度由大到小的顺序扩展,较早地生成含互补文字且长度较小的子句集合,有效减少枚举树生成的结点个数,进而减少对子句集合判断是否含互补文字的计算次数.实验结果表明:与CER方法相比该方法效率较好,且进一步改进了CER方法在互补因子较低时求解效率低下的不足.

基于模型的诊断中产生所有极小冲突集的新方法

首先提出一个基于SE-tree产生所有极小冲突集的方法(CSSE-tree)。然后给出翻转的SE-tree(ISE-tree)的概念,并提出基于ISE-tree产生所有极小冲突集的方法(CSISE-tree)。最后对提到的几种方法进行了比较分析,指出这几种方法都可用于候选产生阶段,即产生所有的极小冲突集的极小碰集,还可用于计算本原蕴涵/蕴涵式。

基于故障行为的模型诊断方法

提出一种利用故障行为求解所有极小诊断的新方法,并结合带有终止节点的集合枚举树形式化地表达计算过程,逐步生成所有的极小诊断。该方法不用求解冲突集及冲突集的碰集,一次直接求出所有的极小诊断,避免了由于调用基于假设的真值维护系统时的组合爆炸而引起的NP-完全问题。在集合枚举树中添加了终止节点,从而避免了非极小诊断的产生,且不会因剪枝而丢失正确的解。实验结果表明,该算法程序容易编制,且效率较好,可以满足复杂的被诊断对象的实时性要求。

可用于诊断产生的计算碰集的新方法

提出一种利用与元素相关联的冲突集个数计算碰集的新方法,并结合带有终止节点的集合枚举树SE-tree形式化地表达计算过程,逐步生成所有的极小碰集.由于在SE-tree中添加了终止节点,因而能够较大提高搜索效率.实验结果表明,该算法程序容易编制,且效率较好,对于复杂的被诊断对象系统可以满足实时性.

结合SE-Tree结构特征的极小碰集求解算法

在结合SE-Tree计算集合簇极小碰集的过程中,现有算法会对大量不会产生碰集的冗余节点进行访问.这无疑将影响算法的效率,冗余节点比例越高,影响越大.通过对SE-Tree中叶节点的特殊性质的分析,并结合现有碰集算法有解空间中冗余节点的特征,提出非解冗余节点概念.在对SE-Tree的结构特征进行深入分析基础上,根据非碰集的子集也不是碰集的特点,提出辅助剪枝的概念,通过在剪枝树上设置剪枝判定节点,减少对极小碰集求解过程中无解空间的访问;针对较大规模问题,还提出结合多级辅助剪枝树的极小碰集求解算法,进而较大程度地减少对非解冗余节点的访问;根据多级辅助剪枝树及SE-Tree的结构特征,给出提前终止算法的判定条件,并证明了此算法的正确性.实验结果表明:与效率较高的Boolean算法相比,该算法高效且易于实现,尤其是对规模较大的问题,效率能提升1个数量级.

采用N-list结构的混合并行频繁项集挖掘算法

针对大数据环境下并行MRPrePost频繁项集挖掘算法中存在计算节点负载不均衡,N-list合并效率低以及冗余搜索等问题,提出了基于N-list结构的混合并行频繁项集挖掘算法HP-FIMBN。首先,设计负载量估计函数(LE)来计算出频繁1项集F-list中每一项的负载量,同时提出基于贪心策略的分组方法(GM-GS)将F-list中的每一项根据其负载量进行均匀分组,既解决了数据划分中计算节点负载不均衡的问题,又降低了集群中各节点上子PPC-Tree树的规模;其次,提出预先放弃策略(EAS),该策略不仅能有效避免合并过程中的无效计算,而且不需要遍历初始N-list结构就能得到最终的N-list,极大地提高了N-list结构的合并效率;最后,采用集合枚举树作为搜索空间,并提出超集等价剪枝策略(SES)来避免挖掘过程中的冗余搜索,生成最终的挖掘结果。实验结果表明,该算法在大数据环境下进行频繁项集挖掘具有较好的效果。

一种基于限制的关联规则数据开采的算法

针对海量数据库开采时 ,现有的关联规则算法效率非常低下的问题 ,提出一种附加最小保证度的限制 ,并在此基础上提出一种新的开采算法 ,可减少频繁项目集的数量 。

快速开采最大频繁项目集

对Pincer Search进行了改进,提出了一种新的发现最大频繁项目集的WDMFS算法。由于WDMFS算法采用了位阵存储技术和自底向上、自顶向下双向搜索策略,从而进一步提高了算法的效率,显著降低了系统的I/O成本和CPU时间。

结合故障逻辑关系的极小冲突集求解方法

基于模型诊断是人工智能研究与发展中的重要方向之一,而求解极小冲突集(minimal conflict set, MCS)是模型诊断的关键步骤.MCS-SFFO(minimal conflict set-structural feature of fault output)方法以反向深度的方式遍历集合枚举树(set enumeration tree, SE-Tree),然后针对故障输出无关元件的组合进行剪枝.在MCS-SFFO方法的基础上,结合电路的故障逻辑关系提出求解极小冲突集的进一步剪枝方法MCS-FLR(minimal conflict set-fault logic relationship):首先提出单元件非冲突集定理,对单元件集合进行剪枝,避免了对无解空间中单元件节点的访问;其次,提出非极小冲突集定理,推证得出故障输出相关元件集的超集都是冲突集,故对有解空间中的非极小解进行剪枝.MCS-FLR方法在MCS-SFFO方法基础上减少了大量有解空间和部分无解空间调用SAT求解器的次数,节省了求解时间.实验结果表明:相比于MCS-SFFO方法,MCS-FLR方法求解效率有显著提高.

模糊关联规则的挖掘算法

关联规则的挖掘是数据挖掘中的重要内容之一 ,关联规则包含了一组对象之间的特定关系 .目前对关联规则的研究 ,仅限于用确定和精确的概念表示的确定关联规则 .而现实生活中 ,数据之间的关系通常表现为模糊关系 ,用确定的关联规则不能表示数据之间的这种关系 .为了拓广关联规则的表示和应用范围 ,本文讨论了模糊关联规则的概念 ,并提出了一种基于集合枚举树的模糊关联规则的挖掘算法FAAR .

一种生成最小关联规则集的算法

该文旨在不丢失任何信息的情况下减少关联规则的生成数量,分析了关联规则的生成过程中如何只产生某个频繁项集对应的最小关联规则集。通过最小关联规则集中的规则就可得到此频繁项集对应所有的关联规则,在实际应用中大大地提高了用户从关联规则中提取相关信息并做出正确决策的效率。