概念格的频繁项集生成算法

为提高频繁项集的生成效率,提出一种基于概念格的频繁项集生成算法。首先将事务数据库映射为形式背景,利用概念格构建算法从形式背景中生成概念及其偏序关系,概念内涵表示项集,概念外延表示项集对应的支持度计数。根据概念的外延长度将所有概念划分到不同的层中,层的序号与概念外延长度相同,将层按照序号进行降序排列,从层序号大于等于最小支持度计数的概念中生成频繁项集。在两个人工数据集上的实验结果表明所提算法在时间性能上优于对比算法,最小支持度计数的值越小,所提算法的优势越明显。

基于频繁概念直乘分布的全局闭频繁项集挖掘算法

基于概念格的集中式数据挖掘算法,不能充分地利用分布式计算资源来改善概念格构造效率,从而影响了挖掘算法的性能.文中进一步分析了Iceberg概念格并置集成的内在并行特性;以频繁概念直乘及其下覆盖为最小粒度,对Iceberg概念格并置集成过程进行分解和分布式计算;在对其正确性理论证明的基础上,提出了一个新颖的异构分布式环境下闭频繁项集全局挖掘算法.此算法利用Iceberg概念格的半格以及可并置集成特性,充分发挥了分布式环境下计算资源的优势.实验证明,在稠密数据集和稀疏数据集上,该挖掘算法都表现出较好的性能.

基于概念格的关联规则算法

对经典Apriori算法的优、缺点进行了剖析,在实际应用项目中,提出了一种基于概念格的关联规则算法ACL(AprioriAlgorithmBasedOnConceptLattices)。在该算法中,引入了概念格和等价关系等概念,利用粗糙集相关方面的理论,计算得到频繁2-项集L2。实验表明,ACL算法是一种有效的快速的关联规则挖掘算法。

基于iceberg概念格并置集成的闭频繁项集挖掘算法

由于概念格的完备性,在基于概念格的数据挖掘过程中,构造概念格的时间复杂度和空间复杂度一直是影响其应用的主要因素.结合iceberg概念格的半格特性和概念格的集成思想,首先在理论上分析并置集成后的iceberg概念格与由完备概念格裁剪得到的iceberg格同构;然后分析了iceberg概念格集成过程中的映射关系;最终提出一个新颖的基于iceberg概念格并置的闭频繁项集挖掘算法(Icegalamera).此算法避免了完备概念格的计算,并且在构造过程中采用集成和剪枝策略,从而显著提高了挖掘效率.实验证明其产生的闭频繁项集的完备性.使用稠密和稀疏数据集在单站点模式下进行了性能测试,结果表明稀疏数据集上性能优势明显.

基于Iceberg概念格的最大频繁项集挖掘

最大频繁项集挖掘算法存在扫描数据集次数多和候选集规模过大等局限。基于Iceberg概念格模型,提出一种在Iceberg概念格上挖掘最大频繁项集的算法ICMFIA。该算法通过一次扫描数据集构建Iceberg概念格,利用Iceberg概念格中频繁概念之间良好的覆盖关系能快速计算出最大频繁项集所对应的最大频繁概念,所有最大频繁概念的内涵就是所求的最大频繁项集的集合。实验结果表明,该算法具有扫描数据集次数少和挖掘效率高的优点。

基于Iceberg概念格叠置半集成的全局闭频繁项集挖掘算法

研究专有的分布式数据挖掘算法是提高分布式数据库下数据分析和挖掘的有效方法.结合Iceberg概念格对于频繁项集精简表达的特性和其集成构造过程可并行化的特点,进而实现分布式全局闭频繁项集的挖掘.面对目前仍然缺乏有关Ice-berg概念格分布式集成构造研究的文献,本文从理论上分析Iceberg概念格叠置集成构造全局Iceberg概念格的局限性,然后论证了基于Iceberg概念格叠置半集成构造全局Iceberg概念格的可行性,进而提出一个基于Iceberg概念格叠置半集成的频繁概念生长分布算法(Frecogd),并且把它应用于同构分布式环境下的全局闭频繁项集挖掘过程中。实验验证了该算法理论的可行性,同时也揭示了该算法的挖掘效能有待进一步的改进与提高.

模糊关联规则格的规则提取

针对模糊属性事务数据库提取模糊关联规则的问题,采用模糊概念格与模糊关联规则相结合的方法,实现格节点与属性项集的对应关系,提出模糊关联规则格理论,在渐进式建格算法基础上对格节点相应修改,给出了适用于动态数据库的模糊关联规则格的构建思想.利用模糊关联规则格挖掘关联规则,与采用Apriori算法计算频繁项目集获取规则相比较,容易获得用户感兴趣的关联规则,同时减少冗余规则的生成,使挖掘算法得到优化.

FP-tree上频繁概念格的无冗余关联规则提取

为解决经典关联规则生成算法挖掘效率低及形成规则冗余性大的问题,提出在FP-tree基础上直接生成频繁概念格并提取无冗余关联规则的算法。其建格过程根据FP-tree频繁项目头表中各项的索引可分别独立进行,由支持度计数约束进行结点的筛选,形成频繁概念格的Hasse图,图中结点包含频繁项集及其支持度计数信息,通过对全部叶子结点的扫描可生成无冗余关联规则。通过实例验证该算法行之有效。

最大频繁集的数据聚类方法

提出了一种新的聚类方法.针对货篮数据的特点,运用概念格获取最大频繁项目集,并以此作为初始聚类,采用适合于货篮数据的相似性测量方法,求得聚类结果.研究表明,该方法所生成的聚类比其它传统方法更优化,而且效率较高.

基于剪枝概念格模型的频繁项集表示及挖掘

发现频繁项集是关联规则挖掘的关键步骤。然而,大多数频繁项集求解算法因需要产生大量候选集而降低了效率。该文在研究概念格和频繁项集关系的基础上,将剪枝概念格PCL模型引入数据库中频繁项集的表示,利用概念间的关系性质,在不丢失信息的同时能有效压缩频繁项集的规模,并提出基于PCL模型的频繁项集求解算法。该算法基于Apriori性质,在构造过程中及时、动态地剪枝,删除与频繁项集求解无关的概念,从而有效地改善了频集挖掘算法的时空性能;实验证实了算法良好的性能。

利用扩展概念格进行关联分类的算法

针对关联分类规则产生的候选规则过多导致效率不高的问题,提出一种基于频繁闭项集组成的扩展概念格的分类规则获取方法.利用频繁闭项集提出一种新的概念格模型,通过性质和定理对概念格结点进行剪枝,以抽取分类尽量少且最有效的关联分类规则.研究结果表明:该算法能挖掘出高质量且包含重要信息的关联分类规则,并大大减少关联分类规则的数量,在分类准确率上比现有的关联分类典型算法更高.

基于概念格的空间关联规则挖掘优化

关联规则挖掘会产生大量的项集和规则,其中只有少部分是用户感兴趣和有价值的,其他大部分是冗余的或已知的。在已有的空间关联规则挖掘研究中,用户对数据库中存在的强制约束缺少考虑。本文分析了空间数据库中的已知空间依赖,发现已有的Apriori算法和闭频繁项集挖掘难以消除该空间依赖,为此提出了基于概念格方法的已知空间依赖剔除策略,包括概念格中每个闭频繁节点的产生子获得方法和利用概念格产生子实现最优频繁地理模式挖掘的方法,最后通过实验验证了概念格产生子方法的有效性和优越性。

基于聚类分析的城市交通路段划分研究

根据交通流特性的相似性进行交通路段划分对城市交通管理和控制具有重要作用.交通流数据具有时间序列特征,相似性度量问题是时间序列聚类中的最基本的问题之一.本文为交通流数据聚类给出了一种基于灰色关联的相似性度量方法,通过比较试验确定了它具有较高的聚类精度.在每个时段时间序列间的相似性差异、在某一个时段的异常数据等会影响到在整个时间区间的交通流数据聚类,为此本文提出了一种基于时段划分的交通流数据聚类方法.这个方法首先对每个时段数据进行聚类,然后采用最大频繁项集方法得到最终聚类结果(即交通路段划分),实例证明了方法的有效性.

基于概念格的频繁闭项集挖掘方法

频繁项集挖掘是数据挖掘研究领域的一个基本问题,其瓶颈在于频繁项集全集的结果过多,冗余现象严重,而频繁闭项集能唯一确定频繁项集且规模小得多。针对如何快速生成频繁闭项集,分析不可分辨矩阵、概念格和频繁闭项集之间的关系,提出一种新的更有利于生成频繁闭项集的格结构,并给出相应的渐进式生成算法和频繁闭项集提取算法。实验表明该方法能够高效地挖掘频繁闭项集。

一种决策形式背景中挖掘决策规则的新方法

针对大规模决策形式背景中决策规则的提取问题,提出了一种将频繁闭项集与决策形式背景相结合以提取无冗余决策规则的新算法.该算法结合了深度优先搜索的思想以及概念格中概念节点之间的父子关系,改进了概念格中频繁闭项集的挖掘算法,得到的频繁决策概念格实现了对一定规模的数据库的压缩,同时得到无冗余决策规则.算法分析表明,该算法复杂度较低,更适用于大规模数据集中挖掘无冗余决策规则.

结合新概念分解和频繁词集的短文本聚类

针对传统文本聚类忽略词与词之间的语义关系和数据高维的问题,提出了一种结合新概念分解和频繁词集的短文本聚类.该算法首先对短文本进行频繁词集的挖掘,接着使用挖掘的频繁词集来表示每个短文本,然后将每个文本进行向量表示.为了提高聚类的性能和解决概念分解的限制,提出了一种具有对偶连通约束的正则化概念分解算法,最后使用该算法进行短文本聚类.该算法不仅能对处理后的文本的维度起到很好的降低作用,还可以很好的关联短文本集中的文本,使文本之间的关系不再是独立的.在搜狐新闻和微博短文本数据集上的实验验证了该算法的有效性.

基于多剪枝格的频繁项集表示与挖掘

文章在研究基于剪枝概念格的频繁项集表示的基础上,提出了基于多剪枝概念格模型的频繁项集表示与挖掘方法。该方法在多剪枝格基础上进行导出频繁项集的合并,进而获得全局频繁项集,有效地降低了频繁项集表示的规模;理论分析和实验结果表明,该方法能获得满足用户要求的近似所有全局频繁项集。

概念格在客户群聚类中的应用

针对企业CRM中日常收集的各种销售数据,设计一种反映客户价值与客户关系质量的客户细分模型。运用概念格获取最大频繁项目集,并以此作为初始聚类,采用适合的相似性测量方法,求得聚类结果。目的在于探讨基于概念格技术的客户聚类方法的可行性和有效性。研究表明,该方法所生成的聚类比其他传统方法更优化,而且效率较高。

基于FP-Tree的概念格量化约简及其在GIS的应用

GIS的空间数据具有海量性、复杂性的特点,为了能更有效的挖掘隐藏在GIS中的知识引入了概念格技术。然而,又为了解决关联规则生成算法效率低、构造Hasse图效率低及冗余多的问题,提出在FP-Tree的基础上直接生成经过量化约简的频繁概念格。将该算法应用于GIS的空间数据挖掘取得了实际可行的应用结果。

面向分面导航的层次概念格模型及挖掘算法

分面导航利用动态多维分类目录组织查询结果,从而有效减轻数据库资源定位过程中的信息过载.现有的分面导航限制用户每次增删一个查询关键字,无法满足对具有丰富语义的导航操作的需求.另一方面,高效的动态目录生成算法的缺乏阻碍了分面导航在大规模数据中的应用.该文提出了层次概念格,对分面导航中不同浏览状态之间的关系进行建模.基于该层次概念格模型,该文设计了若干新的导航操作以支持用户在不同浏览状态之间更灵活地跳转,从而更有效地进行知识发现.为获取该层次概念格以支持导航的灵活性和实时性,该文提出了层次概念格的高效挖掘和索引算法L-Miner.L-Miner以深度优先方式挖掘所有节点,每得到一个新节点,就更新已挖掘节点之间的边.通过对底层格节点的倒排索引,L-Minder可以高效地进行边更新.实验结果表明:L-Miner的速度远快于现有算法,而其构建的索引结构的存储代价更低.