基于FP-tree的新能源汽车产业国际竞争力影响因素关联挖掘算法

为充分挖掘新能源汽车产业国际竞争力影响因素、探究价值增长点,提出了基于FP-tree的影响因素关联挖掘算法。通过构建国际竞争力各指标影响因素的关联规则,分析任意事务数据集中的关联数据,利用最小支持度参数minsup按照从上到下的方式搜索,确定最长的频繁项目集,采用FP-tree关联频繁项目集,设定分支关联性挖掘标准,实现了新能源汽车产业国际竞争力影响因素的挖掘。测试结果表明,设计算法的最小支持度和数据关联挖掘时间较短,置信度分析具有较高的稳定性。

基于关联分析FP-Tree算法的企业风险信息数据在线挖掘方法

现阶段的数据挖掘方法缺少对数据关联分析的过程,挖掘效果较差,故文章提出基于关联分析频繁模式树(FrequentPattern Tree, FP-Tree)算法的企业风险信息数据在线挖掘方法。选取与企业风险相关的信息指标,收集有关数据并进行预处理操作后,设计一种考虑关联分析的FP-Tree算法,生成FP-Tree节点的条件模式树挖掘频繁项集,计算满足最小置信度的频繁项集,实现企业风险信息数据在线挖掘。实验结果表明,所用方法挖掘量和挖掘效率较高。

基于FP-tree和MapReduce的集合相似度自连接算法

利用集合相似度自连接算法找出一个集合集中所有相似度大于给定阈值的集合对有着广泛的应用.基于过滤-验证框架和并行分布式计算框架MapReduce的集合相似度连接是近年来的研究热点.但现有算法在阈值低时产生较大规模的候选集,导致性能不理想.针对这一问题,提出采用频繁模式树FP-tree及其派生结构FP-tree*将数据压缩在内存中计算集合相似度自连接以减小候选集规模.首先设计并讨论基于现有FP-tree*的集合相似度连接计算及其优缺点,提出遍历效率更高的线性频繁模式树结构模型TELP-tree及基于它的算法TELP-SJ(TELP-tree self join),其包括分别面向构建树和遍历树的2阶段过滤算法,这些算法可以减小树规模和减少树遍历.然后,设计基于MapReduce的并行分布式算法FastTELP-SJ.最后,基于4组真实应用数据集进行3组性能比较实验.实验结果表明FastTELP-SJ算法面向高维大规模集合相似度自连接计算时,包括执行时间、内存占用率、磁盘使用量和可扩展性的运行效率最好.

基于极大团和FP-Tree的挖掘关联规则的改进算法

融合了关联规则挖掘的FP-Tree算法和图论的极大团理论的优势,做了以下主要工作:(1) 提出了用邻接矩阵的产生频繁2-项集的改进方法;(2) 提出了极大有序频繁集的概念,证明了Head关系的等价性、划分定理、局部复杂性定理和归并收敛值域定理;(3) 提出并实现了基于极大团划分的MaxCFPTree算法,扫描时间复杂性小于O(n2);(4) 做了相关实验,以验证算法的正确性.新方法缓解了项目数量巨大而内存不足的矛盾,提高了系统效率和伸缩性.

基于FP-Tree的反向频繁项集挖掘

在拓展现有反向频繁挖掘问题定义,探索反向频繁项集的3个具体应用后,提出了一种基于FP-tree的反向频繁项集挖掘方法.该方法首先采用分治思想,将目标约束划分为若干子约束,每步求解一个子线性约束问题,经过若干步迭代后找到一个满足整个给定约束的目标FP-tree;然后根据目标FP-tree生成一个仅含频繁项的临时事务数据库TempD;最后通过向TempD中撒入非频繁项得到目标数据集.理论分析和实验表明该方法是正确的、高效的,且与现有方法仅能输出1个目标数据集相比,该方法能够输出较多的目标数据集.

基于改进的FP-tree的频繁模式挖掘算法

FP-growth算法是一种基于FP-tree数据结构的高效的频繁模式挖掘算法,它不产生候选集。构造频繁模式树FP-tree需扫描数据库两次,在第二遍扫描中还扫描了那些仅包含了非频繁项的事务,针对此问题,在深入分析了FP-tree特性的基础上,改进了FP-tree构造过程,同时用一种基于Hash表的辅助存储结构,节省了项目查找时间,提高了挖掘效率。

基于磁盘表存储FP-TREE的关联规则挖掘算法

随着现实待挖掘数据库规模不断增长,系统可使用的内存成为用FP-GROWTH算法进行关联规则挖掘的瓶颈.为了摆脱内存的束缚,对大规模数据库中的数据进行关联规则挖掘,基于磁盘的关联规则挖掘成为重要的研究方向.对此,改进原始的FP-TREE数据结构,提出了一种新颖的基于磁盘表的DTRFP-GROWTH(disk table resident FP-TREE growth)算法.该算法利用磁盘表存储FP-TREE,降低内存使用,在传统FP-GROWTH算法占用过多内存、挖掘工作无法进行时,以独特的磁盘表存储FP-TREE技术,减少内存使用,能够继续完成挖掘工作,适合空间性能优先的场合.不仅如此,该算法还将关联规则挖掘和关系型数据库整合,克服了基于文件系统相关算法效率较低、开发难度较大等问题.在真实数据集上进行了验证实验以及性能分析.实验结果表明,在内存空间有限的情况下,DTRFP-GROWTH算法是一种有效的基于磁盘的关联规则挖掘算法.

基于FP-Tree的约束关联规则挖掘算法

针对构建FP-Tree时存在的大量内存消耗问题,提出了CCFP(constraint clip FP-tree)算法,该算法利用有项和缺项约束对事务数据库进行修剪后构造简化的FP-Tree,经再一次扫描后得到关联规则。实验结果表明:该算法较一般的FP-Tree算法能节省大量的内存空间,同时,运行效率也略有提高。

基于FP-Tree模型的频繁轨迹模式挖掘方法

通过对经典频繁模式数据结构FP-tree的扩展与改进,提出了一种适用于处理轨迹数据的灵活高效的FP-tree轨迹挖掘方法(NFTM)。首先运用二维筛选和GPS格式过滤的方法对轨迹进行预处理,然后将有效数据经一次扫描后,生成按照真实轨迹顺序排列且具备时空属性的改进型FP-tree,使用动态数组存储模式挖掘过程中得到的候选集,根据用户的输入针对性输出相应时间和频率范围的频繁轨迹。最后通过与GSP算法、Prefixspan算法的对比测试表明,该算法具有更短执行时间和更优性能。

一种基于FP-tree的最大频繁项目集挖掘算法

挖掘关联规则是数据挖掘领域中的重要研究内容,其中挖掘最大频繁项目集是挖掘关联规则中的关键问题之一,以前的许多挖掘最大频繁项目集算法是先生成候选,再进行检验,然而候选项目集产生的代价是很高的,尤其是存在大量长模式的时候。文中改进了FP 树结构,提出了一种基于FP tree的快速挖掘最大频繁项目集的算法DMFIA 1,该算法不需要生成最大频繁候选项目集,比DMFIA算法挖掘最大频繁项目集的效率更高。改进的FP 树是单向的,每个结点只保留指向父结点的指针,这大约节省了三分之一的树空间。

基于邻接矩阵的FP-tree构造算法

提出了一种基于邻接矩阵的FP-tree构造方法。首先通过扫描数据库建立2-项集支持数的邻接矩阵,通过邻接矩阵对项进行过滤和新方式排序,然后再利用邻接矩阵构造FP-tree,使得FP-tree的分支、节点数和深度大幅度地减少,从而使存储空间减少、遍历时间缩短。最后使用标准数据集进行验证测试并和其他算法的比较,实验结果表明,该算法在保证结果的同时有效地提高频繁项集挖掘的效率。

基于FP-Tree的模式分解算法

提出了基于FP-Tree的PD算法。该算法将模式分解焦点从原始数据集转移到数据相对集中的FP-Tree上,从而进一步提高了PD算法挖掘频繁模式集的效率。文中以实例说明了该算法的工作过程。

基于FP-tree和约束概念格的关联规则挖掘算法及应用研究

现有的基于频繁模式树FP-tree和概念格的规则挖掘算法在构造概念格时存在重复遍历FP-tree问题,在挖掘后件约束的规则时算法构造的概念格包含冗余结点。针对这两个问题,提出了通过遍历FP-tree生成候选概念格节点的策略,并根据候选概念格节点进一步构造规则约束条件下无冗余概念格。通过实际项目中大气腐蚀数据进行算法的应用,结果表明该算法比现有算法具有更高的挖掘效率且腐蚀规则结果对材料腐蚀现状研究具有重要指导价值。

用有序FP-tree挖掘最大频繁项集

提出了完全前缀路径和有序FP-tree的概念,给出根据数据项所在的层建立有序FP-tree的方法,利用有序FP-tree表示数据.提出用有序FP-tree中的完全前缀路径进行最大频繁项集挖掘的算法——MFIM算法,该算法利用有序FP-tree中的完全前缀路径对挖掘算法进行优化.实验结果表明,该算法对于浓密数据集中挖掘长模式具有较好的性能.

基于有序FP-tree的最大频繁项集挖掘算法

通过分析有序FP-tree与MFI之间的关联关系,提出一种高效的MFI挖掘算法(MMFI),使其在挖掘过程中不但避免了条件频繁模式树的构建,也省略了超集检测的过程.提出了两种预剪枝策略,该策略能够有效地缩短算法执行的时间复杂度.结合理论分析和实验数据发现MMFI算法比传统算法快速、合理.

基于FP-tree的最大频繁模式挖掘算法

在FP-tree结构的基础上提出了最大频繁模式挖掘算法FP-Max。算法FP-Max只需要两次数据库扫描,挖掘过程不会产生候选项集。实验表明,算法FP-Max在挖掘密集型数据集方面是高效的。

基于OWSFP-Tree的最大频繁项目集挖掘算法

为了解决FP-Max算法挖掘最大频繁项目集时递归生成条件模式树和超集检验的问题,提出了基于单向有序FP-Tree的NCFP-Max算法。该算法在挖掘过程中采用预剪枝策略减少挖掘结点,利用单向有序FP-Tree避免每次存储当前挖掘出的频繁项目集之前都需要超集检验,利用项目表格避免递归生成条件模式树减少时空资源。实验结果表明,在事务条数多、项的数量大的情况下,NCFP-Max算法的挖掘时间比FP-Max算法缩短了50%左右。

MAXFP-Miner:利用FP-tree快速挖掘最大频繁项集

为提高频繁项集的挖掘效率,提出了最大频繁项集树的概念和基于FP-tree的最大频繁项集挖掘算法MAXFP-Miner.首先建立了FP-tree,在此基础上建立最大频繁项集树MAXFP-tree,MAXFP-tree中包含了所有最大频繁项集,缩小了搜索空间,提高了算法的效率.算法分析和实验表明,该算法特别适合于挖掘稠密型及具有长频繁项集的数据集.

基于FP-Tree的共享前缀频繁项集挖掘算法

在数据挖掘中发现关联规则是一个基本问题,而发现频繁项集是关联规则挖掘中最基本、最重要的问题。提出了基于FP-Tree的共享前缀频繁项集挖掘算法-FP-SPMA算法。构造FP-Tree来压缩事务数据库,通过共享前缀和前瞻剪枝快速减小候选项集,无需递归构造条件模式树,算法性能有明显的提高。

基于FP-Tree的快速选择性集成算法

选择性集成通过选择部分基分类器参与集成,从而提高集成分类器的泛化能力,降低预测开销.但已有的选择性集成算法普遍耗时较长,将数据挖掘的技术应用于选择性集成,提出一种基于FP-Tree(frequent pattern tree)的快速选择性集成算法:CPM-EP(coverage based pattern mining for ensemble pruning).该算法将基分类器对校验样本集的分类结果组织成一个事务数据库,从而使选择性集成问题可转化为对事务数据集的处理问题.针对所有可能的集成分类器大小,CPM-EP算法首先得到一个精简的事务数据库,并创建一棵FP-Tree树保存其内容;然后,基于该FP-Tree获得相应大小的集成分类器.在获得的所有集成分类器中,对校验样本集预测精度最高的集成分类器即为算法的输出.实验结果表明,CPM-EP算法以很低的计算开销获得优越的泛化能力,其分类器选择时间约为GASEN的1/19以及Forward-Selection的1/8,其泛化能力显著优于参与比较的其他方法,而且产生的集成分类器具有较少的基分类器.