基于MapReduce的Apriori算法并行化

Apriori是挖掘关联规则最经典的算法之一,针对该算法存在的瓶颈问题研究了基于MapReduce编程框架的简单Apriori并行算法;并在简单Apriori并行算法的基础上提出一种采用固定多阶段结合挖掘策略的改进算法——多阶段并行算法。实验结果表明,改进算法能缩短挖掘时间,提高执行的效率。

Hadoop平台上Apriori算法并行化研究与实现

分析传统串行关联规则Apriori算法的计算过程以及存在的一些缺点,针对串行算法执行效率低,时间复杂度高以及传统并行计算模式不能处理节点失效,难以处理负载均衡等问题,提出基于Hadoop平台实现并行关联规则算法的设计方法,对传统关联规则Apriori算法进行了改进,并给出改进算法在Hadoop平台的MapReduce编程模型上的执行流程;在Hadoop平台上对改进后的算法进行单机测试和集群测试,实验结果证明,改进后的算法具有较高的执行效率,良好的加速比和可移植性。

云计算环境下Apriori算法的MapReduce并行化

借助分割数据技术优化了经典的Apriori算法,实现了对候选项集的分组统计。给出了优化Apriori算法的MapReduce编程实现模型,达到了Apriori算法并行化的目的。实验结果表明,该算法能够大量减少键/值对的产生,提高了算法的效率,并且随着挖掘频繁项目集节点数的增加,算法的加速比成线性提高。

基于MapReduce的Apriori前后项约束关联规则改进算法

针对经典的Apriori算法依赖内存,只适用于小规模数据集,在面对海量数据集时显得无能为力以及该算法没有考虑用户的需求情况等问题,提出了基于MapReduce的Apriori前后项约束关联规则改进算法.该方法首先对经典Apriori算法挖掘过程进行了改进,加入了用户的前后项约束规则,使得在挖掘过程中剪枝的程度更大并且获取到更加精准的规则.然后利用云计算的MapReduce编程技术,对改进的Apriori算法的各个步骤并行化.实验结果表明,改进的算法在处理不同的数据集时有一定的优势,然后经过MapReduce模型并行化后,提高了对海量数据的处理能力和效率,并且具有良好的扩展性.

一种基于Apriori的微博推荐并行算法

微博作为最大的社会化媒体产品,拥有海量的用户和信息资源。微博推荐是微博个性化服务的重要方面,是解决信息过载问题的有效工具。考虑到微博数据海量性的特点,针对传统串行推荐算法对大数据处理效率低的问题,采用MapReduce模型,提出和设计一种基于关联规则挖掘算法Apriori的微博推荐并行算法,并在Hadoop平台实现。实验表明,提出的微博推荐并行算法具有较好的加速比和较高的运行效率,证明了该微博推荐并行算法在大数据处理中的高效性。

Apriori算法改进研究及实现

通过对Apriori算法基本原理和性能的研究分析,针对算法存在的不足,提出了一种更高效的基于对频繁项集分组并行的挖掘算法。该算法把频繁k-1项集按照一定规律分组,每组频繁k-1子项集直接产生频繁后子项集;再把每组产生的频繁k子项集合起来,这样每组不仅在自连接时减少了很多判断连接尝试,而且可以并行处理连接、剪枝行为,减少了等待时间,提高了查找频繁项集的速度。经过实验证实,改进后的算法在性能上有很大的提升。

基于Hadoop的并行Apriori算法

针对经典Apriori算法及其改进算法不能有效处理大规模数据集,提出基于Hadoop-MapReduce编程模型的两种改进算法:HAprioriK,HApriori2。其中HAprioriK需要k个MapReduce Jobs,而HApriori2仅需要2个就能在整个数据集上找到频繁k项集,两种改进算法均充分利用了Hadoop平台的计算优势,可以轻松地处理大量数据。采用IBM的数据集进行改进算法有效性的研究,实验结果表明,HApriori2算法在不同规模的数据集和支持度下,能够有效地挖掘频繁项集,具有比HAprioriK更好的性能。

基于线程并行计算的Apriori算法

针对数据挖掘中经典的Apriori算法在计算频繁项目集时需消耗大量的时间缺点,文中利用多线程并行计算的特点,提出了基于线程并行计算的Apriori算法,该算法是将统计候选项目个数的任务交给多线程来执行,从而达到减少Apriori算法的运行时间。通过实验数据分析,该算法对减少Apriori算法的运行时间有很大的提高。

Flink的并行Apriori算法设计与实现

基于Flink平台对并行Apriori算法进行设计和实现.采用MapReduce计算框架对并行Apirori算法的迭代过程进行设计,并将Flink的流处理和内存缓存应用于算法的实现,从而了Apriori算法在并行计算下的挖掘速度.实验结果表明,基于Flink平台实现的并行Apriori算法对大数据处理有着良好的适应能力,并且在算法迭代次数和迭代产生的频繁项集较多的情况下,拥有较快的挖掘速度.

基于云计算的家庭智能用电策略

对智能小区的居民用电行为展开研究,基于云计算平台和并行关联规则Apriori算法,挖掘出了用户用电行为间的关联规则,根据挖掘出的关联规则使用遗传算法对家庭用电时间分布进行合理规划,达到经济用电的目标,给出了行之有效的智能用电策略。由供电局将用户的智能用电策略以短信等交互方式传递给智能用电家庭。经实例验证,文中基于云计算平台和并行Apriori算法的居民用电行为分析结果是有效的,可使居民高效智能用电,节约家庭能耗。

基于布尔区分矩阵与关联规则挖掘的属性约简算法

通过不同决策类之间的比较首先寻找核属性,进而以核属性为基础构造不含核属性的布尔区分矩阵,并利用吸收律和去重操作简化区分矩阵;然后以区分矩阵为基础,采用类似关联规则挖掘的Apriori算法思想逐级寻找系统的所有约简。理论分析和实验表明算法是正确且有效率的。

基于Hadoop的多维关联规则挖掘算法研究及应用

传统的Apriori算法要多次扫描数据集,随着数据量的快速增长,传统的Apriori算法已经不能很好地适用于大数据分析,针对该情况设计了IPApriori算法。首先通过剪枝策略设计了一种适用于多维数据的IApriori算法,再将IApriori算法与Hadoop分布式框架相结合,实现了多维关联规则挖掘算法的并行化。将IPApriori算法运用到手机用户行为预测关联分析中,分析影响手机用户行为的一些主要因素,挖掘出手机用户行为与年龄维度、性别维度、时间维度、地点维度和手机品牌维度属性之间可能存在的某种关联。最后通过实验证明,算法的并行化和建立结构的方法可以降低系统的I/O负荷,提高算法的执行效率。

流程挖掘在银行服务管理中的应用

随着银行服务信息化的不断发展,银行面临如何从大量的服务数据中提取有价值的信息用以提升服务效率的问题。在银行服务管理系统的实际应用中,由于其业务具有并发性事件多、日志数量大等特点,选择并行Apriori算法进行分析。与传统的Apriori算法相比,针对银行业务中并发性业务较多的特点,设计使用了并行Apriori算法,解决了单服务器运行效率随日志数量明显下降的弊端。银行服务管理系统每日会产生大量流程的日志数据,记录每一位参与员工的工作状态,通过调用并行Aporiori算法,挖掘服务流程日志中的关联规则,找出能够高效协作的员工组合。实验结果表明,将并行Apriori算法应用于服务流程日志的关联规则挖掘,使系统可以根据规则将协作关系紧密的员工分配在一起共同处理服务请求,提高了服务效率,取得了合理的应用效果,提高了银行服务管理系统中服务分配的智能。

基于数据挖掘技术的智能信息处理系统

着重阐述在数据挖掘阶段提出并改进基于关联规则的Apriori并行算法、基于分类的判定树归纳算法和基于聚类的K簇算法,并将几种算法综合应用到智能信息处理过程中。

Spark平台下关联规则算法的优化实现

利用Spark平台的高速计算能力,将传统的关联规则算法移植到Spark平台上,虽然一定程度上提高了该算法的运行效率,但该算法本身存在的系统I/O负载量大、存储开销大等问题依然存在。为此,提出一种基于矩阵的并行化优化算法Apriori_MC_SP。引入矩阵概念减少事务数据库的扫描次数,充分利用Spark内存计算的弹性分布式内存数据集对象,存储事务布尔矩阵以及频繁项集。相较于传统的Apriori算法,该算法减少了事务数据库的访问次数,简化了Apriori算法的"自连接"以及"剪枝"过程。实验结果表明,提出方案在保证输出结果不变的情况下,加快了关联挖掘的执行效率。

关联规则算法的演化和进展

关联规则挖掘是数据挖掘的一个重要应用。从1993年Agrawal等首先提出了用基于频集理论的递推方法来解决挖掘顾客交易数据库中项集间的关联规则问题以来,关联规则的算法已经进行了很多改进。这些改进集中在三个方面:减少候选集和压缩事务总数;减少数据库扫描次数;引入并行技术。近年来,研究人员引入更能代表人类决策思维模式的模糊集理论,并将研究目标对准更复杂的时序和空间数据,挖掘的范围也从单维事务扩展为多维事务,但相应的要面临更加复杂的计算。

基于Spark的关联规则挖掘算法并行化研究

关联规则挖掘是一项重要的数据挖掘任务,关联规则挖掘算法能从数据中挖掘出潜在的关联关系,其中Apriori算法是典型代表。Spark平台是一个分布式的基于内存的适合迭代计算的大数据框架。以提高强关联规则的挖掘效率为目标,设计了一种Apriori算法基于Spark的并行化方案。该方案利用Spark平台的分布式架构以及集群调度机制,将事务数据集分发给多个子节点,各子节点调用transformation操作求得局部候选项集及支持度,并存储于内存中;汇总节点中的局部候选项集产生全局候选项集和全局频繁项集;不断迭代,直到下一级候选项集不存在为止。性能测试实验结果表明,基于Spark平台的并行化Apriori算法可以有效地分析大型数据项集之间的频繁项集和提取强关联规则,具有较高的准确性和时效性。

基于哈希树的并行关联规则挖掘算法研究

传统的关联规则挖掘算法Apriori算法成功解决了频繁项集组合爆炸的问题,但随着数据量的增大,Apriori算法的效率明显下降。另外,伴随硬件的发展,传统Apriori算法已不能充分利用多核CPU的优势。针对上述缺点,提出了一种基于哈希树的并行计数优化算法。算法统计频繁集中每一项出现次数,删除不必要的项集。此外,算法使用Hash树作为候选项集存储结构,将数据集均匀分割为若干块,使用多线程技术并行计算候选项集支持度。实验结果表明,改进算法的时间性能明显优于Apriori算法。

时空轨迹数据挖掘在公安经济群体事件管理中的应用

群体事件预测对群体事件管理具有重要作用。文章通过分析时空轨迹数据的特点,首先确定使用频繁模式对多维度时空轨迹进行数据挖掘,其次对时空轨迹数据进行预处理,最后通过优化Apriori算法,提出一种MapReduce框架下基于Apriori算法的时空轨迹数据挖掘算法,实现在并行运算环境下对时空轨迹数据进行关联规则挖掘。实验表明:该算法可以找出经济群体事件发生的关键因素特征,这些特征值符合不同类型经济事件的特点,为公安行业经济群体事件管理提供决策部署依据。

基于大数据技术的课程相关性分析研究

根据教育部十三五规划纲要文件,各高校需要重新制定未来五年发展计划以适应高校信息化的要求。因此,需要利用大数据手段,深入探讨高校教学方法,提高教学质量。当前,大数据技术的应用场景逐渐运用在教学管理中,其中,全面调整课程结构,优化各专业当前教学课程的设定,分析课程相关性和联系性是高校提高教学质量,实现教学课程层次化中最为迫切需要解决的问题。为了解高校开设课程的相关性,改进教学质量,拟利用Apriori优化算法和大规模并行处理技术对学生成绩进行课程相关性分析。