基于最大频繁模式挖掘的多段支持度数据集成系统

为减少多段支持度数据集成耗时,提高多段支持度数据集成效率,本文提出了一种全新的多段支持度数据集成系统。综合考虑多段支持度数据的特征,搭建了与数据集成需求契合度较高的硬件运行环境。在此基础上,基于最大频繁模式挖掘算法,设计数据流处理模块,输出挖掘的数据流频繁项集。设计多段支持度数据实时加载模块,抽取点对点同步数据,再引入5G专网数字孪生模型理念,构建多段支持度数据库,分析、集成与存储数据。根据系统测试结果可知,设计系统应用后,集成数据平均时耗最多不超过1.5 s,集成效率得到了提高。

多段支持度数据挖掘算法研究

在基于相联规则的数据挖掘算法中 ,Apriori等算法最为著名 .它分为两个主要步骤 :(1)通过多趟扫描数据库求解出频繁项集 ;(2 )利用频繁项集生成规则 .随后的许多算法都沿用 Apriori中“频繁项集的子集必为频繁项集”的思想 ,在频繁项集 Lk- 1 上进行 JOIN运算构成潜在 k项集 Ck.由于数据库和 Ck 的规模较大 ,需要相当大的计算量才能生成频繁项集 .Apriori Tid算法给每个事务增加了一个唯一标识 Tid ,其特点是只扫描一趟数据库 ,其余趟扫描 (如第 k趟扫描 )均在相应的数据集 Ck上进行 .由于数据规模改变不大 ,各算法的效率差别并不明显 .该文提出分段计算支持度的思想 ,是把一个项集的支持度分段计算 ,每一个段记录该项集在相应规模事务中出现的频度 ,从而构成一个支持度向量 .由于有了项集的多段支持度 ,可以推测出该项集能否包含在更大规模的频繁项集中 ,采用这种算法既提高了在扫描数据库过程中的信息获取率 ,又能及时剔除超集不是频繁项集的项集 ,进一步缩减了潜在项集的规模 .在数据集扫描过程中 ,按文中定理 1的思想调整数据集 。

多段支持度数据频繁模式关联规则挖掘仿真

针对传统数据关联挖掘过程只适用于单段数据集,导致内存负担重、挖掘频繁项集效率不高等问题,提出一种多段支持度数据频繁模式关联规则挖掘方法。运用多支持度算法对数据集逐步搜索,数据集按照数据项的MIS大小有序排列,采用最小值作为最小支持度,确保该算法的地推性。构建FPtree树,利用FPtree算法对待选项实施剪枝,从而准确挖掘出频繁模式的关联规则。仿真结果证明,多段支持度数据频繁模式关联规则挖掘具有较好的性能,有效提高了关联规则的挖掘效率。

基于矩阵的多段支持度关联规则挖掘算法

为有效提高关联规则挖掘算法效率,提出了一种基于矩阵的多段支持度关联规则挖掘算法,该算法通过一次数据库扫描将事务数据存放在矩阵中,利用矩阵进行支持度的计算和频繁集的寻找,同时将项集支持度分段计算的思想应用其中,减少候选集生成,实验表明,算法效率得到了较大提高。

一种多段支持度数据挖掘算法

本文以分段计算支持度为重要思想,通过分段计算各项集支持度,确保各段记录出现在相应规模事务中所形成的频度,进而构成支持度向量,加上项集多段支持度,实现大规模频繁项集的有效推测。该算法可提高数据库扫描过程中的信息获取率,从而缩减项集规模,并按照文中定理1这一思想对数据集进行及时调整,从而实现频繁项集生成效率的不断提高。

基于人工蜂群优化的多段支持度数据挖掘仿真

针对当前多段支持度数据挖掘方法中存在的挖掘效率较低,查全率较低等不足之处,通过相关算法研究,提出基于人工蜂群优化的多段支持度数据挖掘方法。以数据项集支持度思想与重要性质为依据,计算数据项集的综合支持度;构建数据关联规则支持度函数,结合最大值最小值定理及介质定理,确定关联规则支持度;根据数据综合支持度及关联规则支持度计算结果,利用支持向量机进行数据空间映射以及数据分类;通过构建精英蜂群策略及侦查蜂搜索机制更新,对传统人工蜂群算法进行改进,利用改进后人工蜂群算法优化支持向量机参数,提高数据分类挖掘精度。实验结果表明,所提方法的挖掘效率及查全率高于实验对比方法,且支持度预估误差明显低于实验对比方法。

挖掘相联规则的并行算法研究

在研究多段支持度数据挖掘算法的基础上提出并行挖掘相联规则的算法 .给出了在并行条件下以负载平衡为目的的种子项集的划分的贪心算法策略 .基于多段支持度特征 ,为减少各个处理机之间的制约 ,提出按事务长度进行数据集划分的方案 ,并具体实现了多段支持度的并行算法 .实验结果表明该算法具有很高的效率 .特别是在双CPU情况下 ,并行算法的效率接近顺序算法的两倍 .如果把算法修正和推广到群集环境下 ,会更一步增加相联规则的实用性 .