基于有序树的不确定数据最大频繁项挖掘算法

针对UF-tree中项集存在的数据和路径冗余的问题,设计了有序的压缩不确定树SCUF-tree,在节点中存储元素的不同支持度,达到压缩存储空间和方便移植已有的确定数据最大频繁项集算法的目的。结合最大频繁项集挖掘算法MMFI的设计思想,提出了一种挖掘不确定最大频繁项集算法UMMFI算法,并采取逐层逐个的NBN策略挖掘不确定最大频繁项集。实验结果表明,UMMFI算法具有较好的时空效益和适应性。

一种不确定数据集上频繁模式挖掘的近似算法

为提高不确定数据集上频繁模式挖掘的效率,针对已有算法在判断是否需要为头表中的某项创建子头表时的计算量比较大的问题,给出一个近似挖掘策略AAT-Mine,以损失小部分频繁项集为代价,提高整个算法的挖掘效率。采用三个不同的典型数据集进行了算法的测试,分别与目前最好的算法和典型算法进行性能对比。实验结果验证了近似算法AAT-Mine的时空效率都得到了提高。

不确定数据流中频繁模式的并行挖掘算法

不确定数据集中频繁模式挖掘的研究热点之一是挖掘算法的时空效率的提高,特别在目前数据量越来越大的情况下,实际应用对挖掘算法效率的要求也更高。针对动态不确定数据流中的频繁模式挖掘模型,在算法AT-Mine的基础上,给出一个基于MapReduce的并行挖掘算法。该算法需要两次MapReduce就可以从一个滑动窗口中挖掘出所有的频繁模式。实验中,多数情况下通过一次MapReduce就可以挖掘到全部频繁项集,并且能按数据量大小均匀地把数据分配到各个节点上。实验验证了该算法的时间效率能提高1个数量级。

压缩UF-tree挖掘不确定数据频繁项

针对UF-growth算法构造大量树节点和分支的局限性,且不断计算候选数据项支持度的不足,提出压缩UF-tree算法。压缩UF-tree算法改变建树条件:事务中数据项与树中某个分支节点的数据项匹配时,将该数据项合并到分支中;否则,从该分支节点创建新的分支,叶节点保存当前事务编号。构建单项数据项的概率向量,搜索树分支产生候选项,通过事务编号和概率向量计算候选数据项的支持度进而挖掘频繁项。通过实验对比与分析,压缩UF-tree算法可行且更高效。

一种时序数据间断频繁项挖掘算法

针对时序数据频繁项的挖掘进行研究,提出了间断频繁项的概念,在互关联后继树模型的基础上,提出了互关联线索树以及其生成方法,给了挖掘间断频繁序列算法。

基于极小数据结构的不确定频繁模式挖掘算法的研究

近来为了满足处理不确定数据库的需求,人们提出了不确定模式挖掘的概念,并设计了各种相关的算法,但是这些算法花费大量的处理时间,而且挖掘精度不佳.提出了基于极小数据结构不确定频繁模式挖掘算法,实验结果显示该算法能够节省大量的处理时间,提高挖掘精度.

基于深度学习的不确定数据频繁项集挖掘系统

传统不确定数据频繁挖掘系统工作过程花费的时间较长,且挖掘结果与真实结果误差较大。为了解决上述问题,基于深度学习研究了一种新的不确定数据频繁挖掘系统,在硬件结构中建立深度学习挖掘模型,通过传感器、隐层、输入层、输出层、中心处理器、存储器和显示器构成硬件架构,软件流程由发送采集命令、预训练、微调训练、数据检测、判断候选项集是否为频繁项集等步骤组成。为检测挖掘系统工作性能,与传统挖掘系统进行实验,结果表明,基于深度学习的不确定数据频繁挖掘系统能够在短时间内取得有效的挖掘结果,误差小,实用性更强。

基于层次梯度挖掘的数据智能调度算法仿真

针对当前的数据调度算法存在执行费用较高、调度耗时较长且数据资源负载不均衡的问题,提出层次梯度挖掘的数据智能调度算法。采用挖掘主题数据库和层次梯度两者构建层次业务数据库,挖掘数据局部频繁项。根据数据挖掘结果,建立执行时间、执行费用和负载均衡为智能调度目标,构建数据智能调度模型。利用自适应遗传蚁群优化算法对模型求解,最终实现数据智能调度。仿真结果表明:所提算法下数据资源负载结果更均衡,同时还能够有效降低执行费用和调度时长。由此可得结论:本研究具有理想的应用效果。

高速网络流频繁项挖掘算法

在当前骨干网络链路速率呈几何倍数增长的情况下,实时准确地挖掘出网络流中的频繁项对于网络管理和网络安全具有重要的意义.在SS(space saving)计数算法的启发之下,针对网络流的实际特性,提出了一种剪枝操作受时间和流长双重约束的网络流频繁项挖掘算法(integrated weighted frequent items mining,IWFIM).IWFIM计数算法采用时间和流长组合赋权的方式为每个流项赋权,且算法每次剪枝操作时总是删除权值最小的流项.在IWFIM算法的基础上,依据网络流的重尾分布特性,又提出了一种能够结合散列方法和计数方法优点的网络流频繁项挖掘算法(counting Blooming filter and integrated weighted frequent items mining,CBF_IWFIM).CBF_IWFIM算法首先采用改进的计数型布鲁姆过滤器(counting Blooming filter,CBF)在不保存网络流信息的情况下过滤掉绝大部分的短流,然后采用IWFIM算法实现网络流频繁项挖掘.通过实际网络流量测试表明,CBF_IWFIM和IWFIM算法具有非常高的空间利用率和准确率,2种算法对于网络流频繁项的挖掘效果明显优于SS等3种算法,即使在使用其他算法1?3缓存的极端情况下,CBF_IWFIM和IWFIM 2种算法的频繁项识别效果仍然要优于SS等算法.

基于遗传算法的频繁项挖掘算法

从数学规划的角度重新表述了单维布尔型频繁项挖掘问题,利用新定义的加法和数乘及范数运算将其归结为一个非线性0-1规划问题,并利用遗传算法进行求解。在分析频繁项挖掘问题困难原因的基础上,提出了利用原数据库记录确定初始种群的方法,并在IBM公布的ticeval2000数据库上进行了数值实验。实际计算结果表明,该方法一般在几代内即可找到一批长频繁模式。

工业大数据背景下频繁项集挖掘算法对比分析及研究展望

随着工业大数据时代的蓬勃发展,如何能够挖掘出大数据中隐藏的关联信变为尤其重要。本文首先介绍频繁项集挖掘的概念和分类,对近年来高频使用的频繁项集挖掘算法进行总结,着重分析现有三种经典挖掘算法特点并进行对比,再围绕在工业大数据挖掘背景下,研究探讨如何更快速挖掘大数据中频繁项集,构建数据之间关联联系,从而实现数据价值。

基于极小数据结构的不确定频繁模式挖掘算法分析

为了有效提高不确定数据库处理效果,人们提出了一种新型概念,即不确定模式挖掘概念,同时还实现了对各种相关算法的设计和应用。但是,这些宣发挖掘精确度较低,需要耗费大量的时间成本,为了从根本上解决这一问题,先以“极小数据结构”应用为例,提出一种新型不确定频繁模式挖掘算法。首先,针对不确定频繁模式挖掘相关概念,从不确定频繁模式问题描述、不确定模式数据结构、详细的算法等3个方面入手,在极小数据结构的应用背景下,探讨了不确定频繁模式挖掘内容,并全面分析了最终实验结果。实验结果表明:本文通过利用极小数据结构,所提出的不确定频繁模式挖掘算法具有非常高的应用价值,不仅可以缩短算法处理时间,还能最大限度地提高挖掘精确度。因此,该算法值得被进一步推广和应用于不确定数据库处理领域中。希望通过这次研究,为相关从业人员提供有效的借鉴和参考。

一种基于人工免疫的新的频繁项挖掘算法

以往算法的研究主要围绕着减少候选项目集进而减少事务数据库的扫描次数的角度,先求出候选项集,再计算候选项集的支持度求得频繁项集。本文改变过去求频繁项集的角度,从新的角度来看频繁项目集的定义,同时结合人工免疫的特点,设计一个基于人工免疫的新频繁项集挖掘算法。本文详细介绍了算法设计等。新算法的复杂度与支持度,数据库总容量有关。验证实验的结果与其他算法相比较证明了该算法的可行性、有效性和完备性。

使用不需要产生候选项集的频繁项集挖掘算法挖掘布尔关联规则

讨论了一个关于布尔关联规则挖掘的不产生候选项集的挖掘算法 ,做了一些提高算法性能的改进 ,并对其性能进行了测试。

一种基于前缀树的频繁模式挖掘算法

挖掘频繁模式是许多数据挖掘任务的关键步骤。基于FP-Tree的挖掘算法由于无须生成候进项集效率明显高于Apriori类算法,但FP-Tree结构存在动态维护复杂、而且在挖掘过程中需要递归地创建大量的条件FP-Tree,时空效率不高。因此,本文提出一种基于前缀树的新算法。该算法通过引入一种新结构—前缀树(Prefix Tree)用来压缩存放数据所相关信息,并通过调整前缀树中节点信息和节点键直接在Prefix Tree上采用深度优先的策略挖掘频繁模式,而不需要任何附加的数据结构,从而大大提高了挖掘效率。

基于主成分分析的模糊频繁项集合挖掘方法

传统模糊频繁项集合挖掘方法的挖掘范围较大,且无法预处理模糊频繁项集合,导致存在运行内存过大、应用有效性低的问题。因此提出新的间隔约束条件下的模糊频繁项集合挖掘方法。方法预处理模糊频繁项集合,修补缺损数据,并引入主成分分析法完成数据的降维,并为数据添加间隔约束条件,缩小挖掘范围。利用蚁群算法获取最优爬行路径,挖掘模糊频繁项集合。实验结果表明,与传统方法相比,所提方法运行内存小,挖掘有效性更理想。

一种新的频繁集的挖掘算法

频繁集的挖掘问题是数据挖掘的关键问题 ,本文提出了一种基于频繁树的挖掘频繁集的新方法 ,该算法从频繁项开始搜索、筛选产生符合要求的频繁结点 ,构成频繁树 ,通过有效的筛选方法和独特的构成策略 ,大大的减少了候选集的数量 。

基于逆向FP-树的频繁模式挖掘算法

提出了一种称为逆向FP 合并的算法,该算法逆向构造FP 树并通过在其中寻找频繁扩展项集与合并子树来挖掘频繁模式。新算法在时空效率方面均优于FP 增长算法,其中时间效率提高了2倍以上。此外,新算法还具有良好的伸缩性。

关联规则挖掘中Apriori算法的研究与改进

经典的产生频繁项目集的Apriori算法存在多次扫描数据库可能产生大量候选及反复对候选项集和事务进行模式匹配的缺陷,导致了算法的效率较低。为此,对Apriori算法进行以下3方面的改进:改进由k阶频繁项集生成k+1阶候选频繁项集时的连接和剪枝策略;改进对事务的处理方式,减少Apriori算法中的模式匹配所需的时间开销;改进首次对数据库的处理方法,使得整个算法只扫描一次数据库,并由此提出了改进算法。实验结果表明,改进算法在性能上得到了明显提高。

基于FP-tree频集模式的FP-Growth算法对关联规则挖掘的影响

通过对两个有代表性的算法Apriori和FP-Growth的剖析,说明频集模式挖掘的过程,比较有候选项集产生和无候选项集产生算法的特点,并给出FP-tree结构的构造方法以及对挖掘关联规则的影响,提出了对算法的改进方法.