基于Spark的并行频繁项集挖掘算法

针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(SNMF),通过提供支持度计数查询和分解储存支持度计数的矩阵,解决了创建条件FP-tree的时空效率低的问题;其次,提出基于遗传算法的分组策略(GS-GA),均衡分配频繁1项集至各节点,解决了节点间的通信开销大的问题;最后,提出高效缩减树结构策略(ERTSS),缩减FP-tree树结构,解决了冗余搜索的问题。实验结果验证了PAFMFI-Spark算法的可行性以及相较于其他挖掘算法的性能优势,所提算法能有效适应各种数据的频繁项集挖掘。

风电数据标准化技术及风电大数据应用方法

为了解决风电系统中多源异构数据类型不一致的问题,研究建立企业仓库和大数据平台系统,基于分布式架构实现并行查询和分析引擎,实现海量风电数据分布式存储和计算。大数据平台提供基于Mapreduce、Spark等技术的多种大数据计算引擎,支持Java、Scala、R、Python等多种语言,应内嵌常用算法库。采用Rational Rose建模工具建立风电数据标准化模型,建立具有层级关系的风电数据类的结构。使用IEC61400-25的信息模型与不同的业务系统数据通讯及系统整合,基于数据库的频繁项集挖掘和关联规则学习的Apriori算法完成频繁项集挖掘任务。实验结果显示,本研究数据处理加速度可达到16,数据标准化效率较高。

基于局部重构树的数据流频繁项集挖掘方法

针对传统的数据流频繁项集挖掘方法缺乏对事务数据的压缩,导致挖掘效率较低的问题,提出基于局部重构树的数据流频繁项集挖掘方法。通过构建局部重构树,对事务数据进行压缩,并对频繁项集数据进行滤波处理,调整支持度的最大值与最小值,实现对挖掘函数的构建与优化。利用对比实验对提出的方法进行了挖掘效率的验证,实验结果表明,在采用所提出的方法对数据流频繁项集进行挖掘时,算法执行耗时较少,挖掘效率较高,具有一定的应用价值。

基于改进大数据频繁项集挖掘算法的中深层地热能供热潜力评估方法

为了提高中深层地热能供热潜力评估性能,提出了一种基于改进大数据频繁项集挖掘算法的中深层地热能供热潜力评估方法。利用普通类间距离和准则、加权类间距离和准则,挖掘出用于供暖潜能评估的频繁项集条件模式基,将条件FG-tree视为一种递推处理过程,挖掘中深层地热能供热潜力数据的频繁项集。利用单位供热量能量消耗指标和能量效率指标,分析了地热能供热的能量,通过[火用]效率指标和能级平衡系数指标,实现中深层地热能供热潜力评估。实验结果表明,所提出的方法能够评估中深层地热能供热潜力,并具有更高的评估效率。

基于MapReduce的并行关联规则增量更新算法

为解决传统关联规则挖掘算法在大数据环境下运行效率较低的问题,基于频繁模式增长(FP-growth)算法,提出一种面向大数据的并行关联规则增量更新算法。利用MapReduce编程模型与云计算平台,对FP-growth算法各步骤进行并行化处理。在增量更新挖掘过程中,使用已有的频繁项集和1-项集对新增事务集构建频繁模式树,通过扫描原始事务数据库完成频繁项集的更新。实验结果表明,与传统关联规则挖掘算法相比,该算法具有更高的挖掘效率和扩展性,适用于海量数据的关联规则增量挖掘。

稀疏数据频繁项集挖掘算法研究综述

频繁项集挖掘FIM是最重要的数据挖掘任务之一,被挖掘数据集的特征对FIM算法的性能有着显著影响。在大数据时代,稀疏是大数据的典型特征之一,对传统FIM算法的性能带来严峻挑战。针对在稀疏数据中如何高效进行FIM的问题,从稀疏数据的特征出发,分析了稀疏数据对3种类型FIM算法性能的主要影响,对已经提出的稀疏数据FIM算法进行了综述,对算法中采用的优化策略进行了讨论,最后通过实验对代表性的稀疏数据FIM算法进行了性能分析。实验结果表明,采用伪构造策略的模式增长算法最适合用于稀疏数据的FIM,在运算时间和存储空间上,相比其他算法该算法具有较大的优势。

面向大数据的数据库划分FP-Growth改进算法

提出了一种基于Hadoop架构和MapReduce编程模型实现的面向大数据的FP-Growth频繁项集挖掘的改进算法。首先将事务数据库按每个频繁1项进行抽取,生成对应的投影数据库,并将这些投影数据库分发到一个个节点机上;再由节点机对投影数据库进行划分,生成一个个规模更小的子数据库,并由节点机使用改进后的算法并行挖掘生成部分频繁项集;最后归并所有部分频繁项集得到全部的频繁项集。该算法无需像传统的FP-Growth算法一样为事务数据库生成庞大的FP树,有效解决了传统FP-Growth算法及其一些改进算法中因单机内存存储不下庞大的FP树而导致算法失效的问题。同时,由于所划分的子数据库规模接近,分发到各节点机上的负载更均衡,使得算法效率更高。

Sp-IEclat:一种大数据并行关联规则挖掘算法

针对大数据环境下关联规则数据挖掘效率不高的问题,采用Eclat算法使用垂直数据库将事务的合并转换成集合操作的方法。研究了一种大数据并行关联规则挖掘算法-Sp-IEclat(Improved Eclat algorithm on Spark Framework),该算法基于内存计算的Spark框架,减少磁盘输入输出降低I/O负载,使用位图运算降低交集的时间代价并减少CPU占用,采用前缀划分的剪枝技术减少求交集运算的数据量,降低运算时间。使用mushroom数据集和webdocs数据集在两种大数据平台下实验,结果表明,Sp-IEclat算法的时间效率优于MapReduce框架下的Eclat算法及Spark框架下的FP-Growth算法和Eclat算法。从对集群的性能监控得到的数值表明,同Spark框架下的FP-Growth算法和Eclat算法相比,Sp-IEclat算法的CPU占用和I/O集群负载都较小。

大数据环境下基于前缀树的频繁项集挖掘

针对大数据环境下频繁项查找效率低和可扩展性问题,提出了一种基于MapReduce框架运行的新分布式FIM算法。首先,使用前缀序列树来构建候选序列子集,避免了昂贵的扫描过程。接着,使用宽幅支持度的方法产生频繁项集,每个MapReduce迭代将修剪掉非频繁项集,显著地压缩内存消耗,以及每一个MapReduce作业的迭代时间。最后,在不同事务规模和支持度下,与不同算法进行实验对比。实验结果表明,提出的序列增长算法获得了良好的效率和可扩展性,特别是在处理大数据集和长项集方面。

基于快速高效用项集挖掘的大规模消息流预测算法研究与应用

为了提高大规模消息流话题预测的准确性与效率,提出基于高效用项集挖掘的消息流话题预测算法.计算时间窗口中词汇的内部效用与外部效用,根据会话内所有词汇的效用计算最小效用值;采用高效用项集挖掘算法产生候选话题模式集,随之提取最终的话题模式.为了提高高效用项集挖掘的时间效率与存储效率,设计三角项集效用树保存项集的效用信息,设计话题搜索树保存候选话题模式集.最终基于真实消息流数据集进行实验,结果显示该算法有效地提高了话题预测的准确率,并且实现了较快的响应时间.

传感器网络分布式数据流的频繁项集挖掘算法

研究无线传感器网络中数据流频繁项集挖掘问题。针对集中式的静态数据流频繁项集挖掘方法不能在传感器网络中直接使用这一特点,提出基于传感器网络的分布式数据流的频繁项集挖掘算法FIMDS。该算法基于FP-tree快速挖掘出传感器节点上单一数据流的局部频繁项集,然后通过路由将其在无线传感器网络里逐层上传合并,在Sink节点上汇聚后,采用自顶向下的高效剪枝策略挖掘出全局频繁项集。实验结果表明,该算法能有效地大幅度减少候选项集,降低无线传感器网络中的通信量,并有较高的时间和空间效率。

基于Spark的并行频繁项集挖掘算法

关联规则挖掘是数据挖掘领域的重要研究方向之一。频繁项集的挖掘是关联规则挖掘的第一步,也是最重要的步骤。FP-Growth(Frequent Pattern-Growth)算法因其挖掘效率以及空间复杂度方面的优势被广泛应用于频繁项集挖掘任务中。面对海量数据,FP-Growth算法挖掘效率变得极低甚至失效。在Hadoop大数据平台上实现的基于MapReduce框架的并行FP-Growth算法——PFP算法解决在处理大规模数据时传统算法失效的问题,但是由于其将每次执行之后的中间结果输出到磁盘,降低算法执行效率。为提高并行FP-Growth算法执行效率,提出一种基于Spark的SPFPG算法。该算法运用负载均衡思想对分组策略进行改进,综合考虑分区计算量和FP-Tree规模两个因素,保证每个组之间负载总和近似相等。在Spark上实现FP-Growth算法——SFPG算法的基础上,实现优化后的SPFPG算法。实验结果表明,SPFPG算法相比SFPG算法挖掘效率更高,且算法具有良好的扩展性。

基于强化学习的大数据频繁项集挖掘算法

针对当前大数据集频繁项集挖掘算法处理速度慢的问题,提出一种快速的大数据频繁项集挖掘算法。对多目标强化学习技术进行改进,使其适合频繁项集挖掘的应用场景;将频繁1-项集作为强化学习的初始化空间,解决随机初始化方案性能不稳定的问题;利用频繁项集的递归属性引导项集空间的搜索过程,合理地缩小搜索空间。基于不同规模的会话数据集进行仿真实验,结果表明,该算法对于不同规模的数据集均实现了较高的计算效率,获得了较高的挖掘准确率。

Hadoop框架下的一种改进的Apriori算法

常见的基于Hadoop框架的Apriori改进算法在统计支持度时有扫描数据集、候选项集剪枝等方面效率低下且集群间的数据传输有较大的时间开销的问题,提出了一种Apriori的改进算法Apriori_Ind.算法运用Hadoop集群,使用先按事务对数据集分块,再将数据集的格式转换为<项,事务集>的分块处理策略,使算法充分利用分布式计算优势,实现各节点并行的实现候选项集生成与剪枝操作.并利用前项与后项的新结构表示频繁项集,新结构在各节点进行候选项集生成和剪枝时提高算法效率.Apriori_Ind具有减小集群传输代价、加速剪枝等优势.实验表明新算法适合大规模数据挖掘,特别是项的数量较大的情况下,算法性能有明显的提高.

异构集群中非结构化大数据检测方法

传统的非结构化大数据检测方法只分析数据的统计特征、缺少对其中模糊闭频繁项集特征的识别,易出现监测结果不理想的问题。为了提高对异构集群中非结构化大数据的检索识别能力,提出一种基于模糊闭频繁项集特征挖掘的异构集群中非结构化大数据检测方法。分析异构集群中非结构化大数据的统计特征信息,并采用大数据信息融合方法对其进行状态监测和特征识别,从中提取非结构化大数据的模糊闭频繁项集特征量;利用支持向量机模型对非结构化大数据检测进行分类处理,根据不同大数据的分类属性进行自动检测识别,提高对异构集群中非结构化大数据检测的准确率和监测过程抗干扰能力。实验结果表明:采用该方法对异构集群中非结构化大数据检测的准确性和检测精度较高,具有很强的应用优势。

提高频繁项集挖掘算法效率的方法研究

提高频繁项集挖掘算法的效率是关联规则挖掘研究的一个重要内容。通过对不产生候选项频繁项集挖掘算法的分析,从子集的划分和局部频繁项集挖掘出发,提出了一种提高频繁项集挖掘算法效率的实现方法。实验表明,该方法对提高频繁项集挖掘算法的效率是有效的。

改进Apriori算法在学生能力影响因子分析中的应用

为了探究互联网时代下学生的培优情况,通过问卷调查形式面向广大高校学子进行信息收集,基于Apriori算法对数据进行布尔关联规则频繁项集挖掘,并对传统Apriori算法进行改进。通过变换数据库的数据结构,使得整个算法对项目数据库只进行一次扫描操作;基于算法特有的定律特性,针对性地设计剪枝操作,减少项集连接时产生的大量冗余无关项。实验结果表明,当数据量为8000时,改进Apriori算法相比传统算法可减少7.15%的运行时间,从而有效提升算法运行速度。

基于Spark的并行FP-Growth算法优化及实现

为了进一步提高在Spark平台上的频繁模式增长(FP-Growth)算法执行效率,提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先,从频繁模式树(FP-Tree)规模大小和分区计算量对F-List分组策略进行改进,保证每个分区负载总和近似相等;然后,通过创建列表P-List对数据集划分策略进行优化,减少遍历次数,降低时间复杂度。实验结果表明,BFPG算法提高了并行FP-Growth算法挖掘效率,且算法具有良好的扩展性。

基于频繁集的伴随车辆检测算法研究

为从海量机动车行驶数据中找出车辆的伴随车辆信息,本文依据伴随车辆的行为特点及关联挖掘原理提出了一种基于频繁项集的伴随车辆检测算法。通过分析伴随车辆的行驶特点,设定频繁项集的支持度和时间阈值,实现了从单项集到多项集的迭代过程。利用流数据处理方法,添加了针对伴随车辆检测的流数据处理方法,最终使算法可以快速的在海量数据中检测到车辆的伴随车辆信息。经实验验证,本算法可以快速正确的检测出车辆的伴随车辆信息。

网络空间安全日志关联分析的大数据应用

近年来随着互联网的快速发展,网络安全形势也更加严峻。针对日志数据的关联分析逐渐成为挖掘网络安全事件的关键技术。传统的关联分析算法主要以频繁项集挖掘为主,但随着大数据时代的到来,安全日志数据规模陡增,数据形式更加复杂多样,频繁项集的生成效率日渐成为数据分析的主要瓶颈。本文从安全数据分析需求和传统算法的不足出发,综合了大数据技术应用的必要性,探讨了基于大数据的关联算法的改进方向,并对典型的算法模型进行了深入的讨论剖析。