基于闭合频繁模式的半随机森林数据流分类算法

提出了一种基于闭合频繁模式的半随机森林数据流分类算法(Semi-Random Forest based on Closed Frequent Pattern,SRFCFP),以解决数据流中噪声和概念漂移问题。SRFCFP利用闭合频繁模式对数据流进行表示,去除冗余信息和噪声,突出数据特征。采用半随机森林建立分类模型,并通过基于时间衰减的模式集更新机制适应数据流的无限性。为了检测概念漂移并及时适应,引入了一种模式集差异性度量方式,用于测量数据分布变化。实验结果表明,在MOA平台下使用真实和合成数据集,SRFCFP在平均精度上超越了相关对比算法,并能有效处理数据流中的概念漂移和噪声问题。

概念格的频繁项集生成算法

为提高频繁项集的生成效率,提出一种基于概念格的频繁项集生成算法。首先将事务数据库映射为形式背景,利用概念格构建算法从形式背景中生成概念及其偏序关系,概念内涵表示项集,概念外延表示项集对应的支持度计数。根据概念的外延长度将所有概念划分到不同的层中,层的序号与概念外延长度相同,将层按照序号进行降序排列,从层序号大于等于最小支持度计数的概念中生成频繁项集。在两个人工数据集上的实验结果表明所提算法在时间性能上优于对比算法,最小支持度计数的值越小,所提算法的优势越明显。

基于Iceberg概念格的最大频繁项集挖掘

最大频繁项集挖掘算法存在扫描数据集次数多和候选集规模过大等局限。基于Iceberg概念格模型,提出一种在Iceberg概念格上挖掘最大频繁项集的算法ICMFIA。该算法通过一次扫描数据集构建Iceberg概念格,利用Iceberg概念格中频繁概念之间良好的覆盖关系能快速计算出最大频繁项集所对应的最大频繁概念,所有最大频繁概念的内涵就是所求的最大频繁项集的集合。实验结果表明,该算法具有扫描数据集次数少和挖掘效率高的优点。

基于频繁概念格的电子病历关联规则挖掘研究

提出了一种基于频繁概念格的FC Lattice电子病历关联规则挖掘算法,该算法在渐进式建格的同时能发现最大频繁项集和提取相应关联规则,并进行基于FC Lattice算法的电子病历挖掘相关实验,结果表明该算法在运行速度和挖掘性能上都是高效的.

基于Iceberg概念格叠置半集成的全局闭频繁项集挖掘算法

研究专有的分布式数据挖掘算法是提高分布式数据库下数据分析和挖掘的有效方法.结合Iceberg概念格对于频繁项集精简表达的特性和其集成构造过程可并行化的特点,进而实现分布式全局闭频繁项集的挖掘.面对目前仍然缺乏有关Ice-berg概念格分布式集成构造研究的文献,本文从理论上分析Iceberg概念格叠置集成构造全局Iceberg概念格的局限性,然后论证了基于Iceberg概念格叠置半集成构造全局Iceberg概念格的可行性,进而提出一个基于Iceberg概念格叠置半集成的频繁概念生长分布算法(Frecogd),并且把它应用于同构分布式环境下的全局闭频繁项集挖掘过程中。实验验证了该算法理论的可行性,同时也揭示了该算法的挖掘效能有待进一步的改进与提高.

FP-tree上频繁概念格的无冗余关联规则提取

为解决经典关联规则生成算法挖掘效率低及形成规则冗余性大的问题,提出在FP-tree基础上直接生成频繁概念格并提取无冗余关联规则的算法。其建格过程根据FP-tree频繁项目头表中各项的索引可分别独立进行,由支持度计数约束进行结点的筛选,形成频繁概念格的Hasse图,图中结点包含频繁项集及其支持度计数信息,通过对全部叶子结点的扫描可生成无冗余关联规则。通过实例验证该算法行之有效。

概念漂移数据流挖掘算法综述

数据流是一种新型的数据模型,具有动态、无限、高维、有序、高速和变化等特性。在真实的数据流环境中,一些数据分布是随着时间改变的,即具有概念漂移特征,称为可变数据流或概念漂移数据流。因此处理数据流模型的方法需要处理时空约束和自适应调整概念变化。对概念漂移问题和概念漂移数据流分类、聚类和模式挖掘等内容进行综述。首先介绍概念漂移的类型和常用概念改变检测方法。为了解决概念漂移问题,数据流挖掘中常使用滑动窗口模型对新近事务进行处理。数据流分类常用的模型包括单分类模型和集成分类模型,常用的方法包括决策树、分类关联规则等。数据流聚类方式通常包括基于k-means的和非基于k-means的。模式挖掘可以为分类、聚类和关联规则等提供有用信息。概念漂移数据流中的模式包括频繁模式、序列模式、episode、模式树、模式图和高效用模式等。最后详细介绍其中的频繁模式挖掘算法和高效用模式挖掘算法。

高维类别属性数据流离群点快速检测算法

提出类别属性数据流数据离群度量——加权频繁模式离群因子(weighted frequent pattern outlier factor,简称WFPOF),并在此基础上给出一种快速数据流离群点检测算法FODFP-Stream(fast outlier detection for high dimensional categorical data streams based on frequent pattern).该算法通过动态发现和维护频繁模式来计算离群度,能够有效地处理高维类别属性数据流,并可进一步扩展到数值属性和混合属性数据流.对仿真数据集和真实数据集的实验检测均验证该算法具有良好的适用性和有效性.

基于用户兴趣建模的个性化推荐

针对当前大多数个性化推荐中用户兴趣挖掘不足,导致资源推荐过快收敛的问题,以图书馆领域为背景,引入本体建模、本体查询、Apriori算法来全面挖掘用户潜在兴趣,同时利用概念频繁兴趣簇来控制最终用户推荐的收敛性。实验表明,该用户建模能保证在较高的资源推荐查准率基础上,防止推荐过快收敛,体现用户确切的兴趣。

基于剪枝概念格模型的频繁项集表示及挖掘

发现频繁项集是关联规则挖掘的关键步骤。然而,大多数频繁项集求解算法因需要产生大量候选集而降低了效率。该文在研究概念格和频繁项集关系的基础上,将剪枝概念格PCL模型引入数据库中频繁项集的表示,利用概念间的关系性质,在不丢失信息的同时能有效压缩频繁项集的规模,并提出基于PCL模型的频繁项集求解算法。该算法基于Apriori性质,在构造过程中及时、动态地剪枝,删除与频繁项集求解无关的概念,从而有效地改善了频集挖掘算法的时空性能;实验证实了算法良好的性能。

最大频繁集的数据聚类方法

提出了一种新的聚类方法.针对货篮数据的特点,运用概念格获取最大频繁项目集,并以此作为初始聚类,采用适合于货篮数据的相似性测量方法,求得聚类结果.研究表明,该方法所生成的聚类比其它传统方法更优化,而且效率较高.

基于概念格的关联规则算法

对经典Apriori算法的优、缺点进行了剖析,在实际应用项目中,提出了一种基于概念格的关联规则算法ACL(AprioriAlgorithmBasedOnConceptLattices)。在该算法中,引入了概念格和等价关系等概念,利用粗糙集相关方面的理论,计算得到频繁2-项集L2。实验表明,ACL算法是一种有效的快速的关联规则挖掘算法。

基于iceberg概念格并置集成的闭频繁项集挖掘算法

由于概念格的完备性,在基于概念格的数据挖掘过程中,构造概念格的时间复杂度和空间复杂度一直是影响其应用的主要因素.结合iceberg概念格的半格特性和概念格的集成思想,首先在理论上分析并置集成后的iceberg概念格与由完备概念格裁剪得到的iceberg格同构;然后分析了iceberg概念格集成过程中的映射关系;最终提出一个新颖的基于iceberg概念格并置的闭频繁项集挖掘算法(Icegalamera).此算法避免了完备概念格的计算,并且在构造过程中采用集成和剪枝策略,从而显著提高了挖掘效率.实验证明其产生的闭频繁项集的完备性.使用稠密和稀疏数据集在单站点模式下进行了性能测试,结果表明稀疏数据集上性能优势明显.

关联规则的快速提取算法

针对基于频繁项集的关联规则挖掘算法效率低,需要多次扫描数据库且生成冗余候选项集问题,该文利用频繁项集的Aprior性质和概念格的基本思想提出一种关联规则提取算法,利用极大频繁项集来进行规则提取,去除了多数冗余的候选项集,提高了提取效率。

多尺度关联规则挖掘的尺度上推算法

多尺度理论已被引入到数据挖掘领域中,但目前多尺度数据挖掘的研究并不深入,缺乏普适性理论与方法。针对上述问题,研究了普适的多尺度数据挖掘理论,提出了尺度上推关联规则挖掘算法。首先基于概念分层理论给出了数据尺度划分和数据尺度的定义;然后根据多尺度理论的研究重点阐明了多尺度数据挖掘的实质及研究核心;最后在多尺度数据理论研究的基础上提出了尺度上推关联规则挖掘算法SU-ARMA(scaling-up association rules mining algorithm)。该算法利用采样理论和Jaccard相似性系数对数据集挖掘结果中的频繁项集进行处理,实现了多尺度数据间知识的向上推导。利用人造数据集和H省全员人口真实数据集对算法进行了实验和分析,实验结果表明算法具有较高的覆盖率、精确度和较低的支持度估计误差,是可行且有效的。

一种决策形式背景中挖掘决策规则的新方法

针对大规模决策形式背景中决策规则的提取问题,提出了一种将频繁闭项集与决策形式背景相结合以提取无冗余决策规则的新算法.该算法结合了深度优先搜索的思想以及概念格中概念节点之间的父子关系,改进了概念格中频繁闭项集的挖掘算法,得到的频繁决策概念格实现了对一定规模的数据库的压缩,同时得到无冗余决策规则.算法分析表明,该算法复杂度较低,更适用于大规模数据集中挖掘无冗余决策规则.

基于概念格的频繁闭项集挖掘方法

频繁项集挖掘是数据挖掘研究领域的一个基本问题,其瓶颈在于频繁项集全集的结果过多,冗余现象严重,而频繁闭项集能唯一确定频繁项集且规模小得多。针对如何快速生成频繁闭项集,分析不可分辨矩阵、概念格和频繁闭项集之间的关系,提出一种新的更有利于生成频繁闭项集的格结构,并给出相应的渐进式生成算法和频繁闭项集提取算法。实验表明该方法能够高效地挖掘频繁闭项集。

利用扩展概念格进行关联分类的算法

针对关联分类规则产生的候选规则过多导致效率不高的问题,提出一种基于频繁闭项集组成的扩展概念格的分类规则获取方法.利用频繁闭项集提出一种新的概念格模型,通过性质和定理对概念格结点进行剪枝,以抽取分类尽量少且最有效的关联分类规则.研究结果表明:该算法能挖掘出高质量且包含重要信息的关联分类规则,并大大减少关联分类规则的数量,在分类准确率上比现有的关联分类典型算法更高.

结合新概念分解和频繁词集的短文本聚类

针对传统文本聚类忽略词与词之间的语义关系和数据高维的问题,提出了一种结合新概念分解和频繁词集的短文本聚类.该算法首先对短文本进行频繁词集的挖掘,接着使用挖掘的频繁词集来表示每个短文本,然后将每个文本进行向量表示.为了提高聚类的性能和解决概念分解的限制,提出了一种具有对偶连通约束的正则化概念分解算法,最后使用该算法进行短文本聚类.该算法不仅能对处理后的文本的维度起到很好的降低作用,还可以很好的关联短文本集中的文本,使文本之间的关系不再是独立的.在搜狐新闻和微博短文本数据集上的实验验证了该算法的有效性.

基于FP-tree和约束概念格的关联规则挖掘算法及应用研究

现有的基于频繁模式树FP-tree和概念格的规则挖掘算法在构造概念格时存在重复遍历FP-tree问题,在挖掘后件约束的规则时算法构造的概念格包含冗余结点。针对这两个问题,提出了通过遍历FP-tree生成候选概念格节点的策略,并根据候选概念格节点进一步构造规则约束条件下无冗余概念格。通过实际项目中大气腐蚀数据进行算法的应用,结果表明该算法比现有算法具有更高的挖掘效率且腐蚀规则结果对材料腐蚀现状研究具有重要指导价值。