MapReduce框架下森林分类的并行模拟退火算法

针对传统模拟退火算法存在收敛速度慢、执行时间长的缺点,本研究提出了一种并行在线的模拟退火算法及其优化策略,并将其运用到森林景观分类中。研究人员运用多马尔科夫链异步通信和同步通信两种策略实现模拟退火算法的并行处理。在Solomon提供的标准测试集上对并行算法性能进行测试和分析,得出并行算法时线程间的通信可以提高目标解的搜索效率。与此同时,同步通信策略目标解的搜索效率优于异步通信策略,但是会增加一些通信负载的成本。通过大量实验得出森林分类经营代价与线程沟通周期、链长和线程数目的关系,从而节省景观分类的时间代价,进而解决一些NP难题。

基于MapReduce的K_means并行算法及改进

针对传统k_means聚类算法在处理海量数据时所面临的内存不足、运算速度慢等问题,提出了一种基于Map Reduce的K_means并行算法,同时为了改善k_means算法在初始值确定方面的盲目性,采用canopy算法进行改进.实验结果表明,基于Map Reduce的K_means并行算法和改进后的算法均能产生良好的聚类效果,不仅提高了聚类质量,而且在处理大数据集方面,改进后的算法的还能够得到趋近于线性的加速比.

基于Map/Reduce的外壳片段立方体并行计算方法

针对高维、维度分层的大数据集,提出一种基于Map/Reduce框架的并行外壳片段立方体构建算法。算法采用Map/Reduce框架,实现外壳片段立方体的并行构建与查询。构建算法在Map过程中,计算出各个数据分块所有可能的数据单元或层次维编码前缀;在Reduce过程中,聚合计算得到最终的外壳片段和度量索引表。实验证明,并行外壳片段立方体算法一方面结合了Map/Reduce框架的并行性和高扩展性,另一方面结合了外壳片段立方体的压缩策略和倒排索引机制,能够有效避免高维数据物化时数据量的爆炸式增长,提供快速构建和查询操作。

基于Map/Reduce的并行异常报文生成引擎系统的设计与实现

Hadoop Map/reduce是一种基于并行处理分布式架构的软件框架。本文在开源软件Hadoop Map/reduce的基础之上,将传统的异常报文串行生成算法并行化。Map/reduce框架是展开容错处理和保持负载均衡的一种框架。根据网络协议分层透明设计的原理,将报文采用类Wireshark模块进行解析成字段,设计并实现了并行的异常报文生成算法。

基于Map/Reduce的朴素贝叶斯数据分类算法研究

针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多计算资源节点并行处理,进一步提高处理速度。最后,对UCI dataset数据库进行实验验证,结果表明:改进后的算法在海量数据分类处理中具有更好的性能表现。

一种基于MapReduce的短时交通流预测方法

非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾。为此,提出一种适用于海量历史数据、基于Map Reduce与遗传算法的非参数回归短时交通流预测方法。通过引入Map Reduce并行计算框架,加快K最近邻算法的搜索速度。在数据预处理阶段利用遗传算法优化关键参数的设置,并采用Map Reduce加速参数优化过程,以解决遗传算法迭代运算时间长的问题。实验结果表明,该方法在保证交通流预测精度的前提下,明显提高了预测速度,并且具有较好的可伸缩性。

基于Map Reduce的序列模式挖掘算法

传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构造投影数据库,从而提高挖掘效率及简化搜索空间。采用Reduce函数对中间结果进行规约,得到全局序列模式。在Hadoop集群上的实验结果表明,MR PrefixSpan能减少数据库扫描时间,具有较高的并行加速比和较好的可扩展性。

基于MapReduce面向列的数据库存储方案研究

将传统的并行DBMS技术应用到Hadoop框架,在此基础上将面向列的数据库存储技术引入Hadoop的复制和调度机制,进而获得高效的编程模型与编程API.实验表明,提出的方案主要应用在map phase阶段,同时能够使得MapReduce的性能提高两倍.

Hadoop数据挖掘并行算法框架

论文提出了hadoop云平台实现数据挖掘并行算法的编程框架。首先对数据挖掘算法和应用和原理进行了分析,然后介绍了Map/Reduce并行编程流程,从input split,到map()的(key,value),和reduce对(key,list{value})的简答计算。详细设计了数据挖掘算法的通用Map/Reduce编程框架,分析了算法关键技术。最后应用在sprint和k-mean算法上,实验结果说明hadoop云平台能实现数据挖掘并行算法,提高加速比。

一种基于FP-Growth的频繁项目集并行挖掘算法

FP-Growth算法是基于FP树挖掘频繁项目集的经典算法,为提高FP-Growth算法挖掘大规模数据频繁项目集的效率,提出了一种基于FP-Growth的频繁项目集并行挖掘算法FPPM。该算法基于Map/Reduce并行模型,在每个计算节点上首先构造局部频繁模式树,并对之进行挖掘得到局部频繁项目集,然后合并局部频繁项目集以得到全局频繁项集,由于此时得到的结果并不完备,所以对合并后未达到最小支持度阈值的项目集,重新计算其支持数。介绍了FPPM算法的设计思想,测试了其性能。实验结果表明FPPM算法具有较好的可扩展性。

并行挖掘频繁项目集新算法——MREclat

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat。首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节点上,且在分发数据时引入了均衡策略;接着,在各个计算节点上求出以某一前缀开头的所有频繁项目集;最后,合并各个节点的结果得到所有频繁项目集。介绍了MREclat的设计思想,研究了算法的运行性能。实验结果表明,MREclat算法效率大约是PEclat算法的2倍,加速比性能比PEclat算法提高了64%。

一种稳定的并行分布式频繁集挖掘算法及其应用

为解决大规模医药数据分析中的频繁集挖掘问题,提出一种稳定且具有良好扩展性的并行分布式算法P-FIM。该算法将挖掘任务分割成无相互依赖关系的同构子任务,实现有效的并行计算;并且充分利用Map/Reduce框架和集群环境的优势提高自身的鲁棒性和负载均衡能力。采用最大规模为512万条记录的中医药方剂数据进行算法性能分析实验,其结果表明,该算法在分布式集群环境中表现稳定,而且随着集群规模的增加其加速比接近线性。以P-FIM算法为基础设计实现的中医药数据相关性分析方案,可有效地从大规模临床数据中获得全面、可靠的病、症、药间相关性的信息。

PSL:针对大规模数据应用的并行Slope One算法

提出并行Slope One算法PSL,并展示了它的Map-Reduce计算模型实现。PSL有效地克服了(1)原Slope One算法空间复杂度过高,单机无法存储其中间文件的缺点;(2)计算代价高,通常只能使用在小规模数据上的不足。并且此算法:(1)能够进行增量计算,实现准实时的用户推荐,(2)可以运行在成本低廉的集群上,不仅具有学术意义,更具商业价值。采用了Net-flix Prize真实数据进行实验,结果表明,PSL可以应用在真实的大规模数据之上,并且具有良好的容错性和伸缩性。

基于并行Adaboost-BP网络的大规模在线学习行为评价

针对传统的在线学习行为评价方法在处理大规模数据集时面临的问题,提出一种基于并行AdaboostBP神经网络的在线学习行为评价方法。将BP神经网络作为弱预测器,由Adaboost算法组合15个BP神经网络的输出,构建了强预测器;充分利用了Hadoop平台下Map Reduce并行编程模型,提出了大规模在线学习行为的自动评价模型,设计了并行Adaboost-BP神经网络算法的Map和Reduce任务。多组实验表明,提出的算法准确率高、运行耗时少,取得了良好的加速比,效率大于0.5,适合大规模在线学习行为的自动评价。

基于向量线性组合的并行矩阵乘法研究

为了解决Map Reduce框架下现有矩阵乘法算法性能不高的问题,提出了一种基于向量线性组合(Vector Linear Combination:VLC)的矩阵乘法处理模式,介绍了采用Map Reduce框架实现基于VLC模式的矩阵乘法算法的过程,其中Map函数负责实现数据预处理,Reduce函数完成数乘操作和向量线性叠加。随后,讨论了影响算法执行时间的因素,并从理论方面比较了两种算法性能。实验结果显示,新算法所需执行时间更少,效率更高,与理论分析相吻合。

一种基于云计算的并行流生成方法

在高速网络中,网络设备的分组转发性能在打开流采集功能后会受其影响。为此,提出一种在网络设备外基于云计算平台的并行流生成方法。在需要监测的网络设备附近部署小型云,把分组流量复制到云中,采用云的Map-Reduce并行处理框架快速地从海量分组数据中生成流记录。设计基于Map-Reduce框架的并行流生成算法,通过配置合适数量的云节点,可分析任意大小的网络流量。用实际网络分组数据对并行流生成方法的性能进行验证,实验结果表明,在由3台、5台或7台节点构成的小型云平台上,从超过40 GB的文本分组数据中共提取了15 160 052条流,与顺序处理相比,耗费时间至少可减小85%、90%和94%。

基于Apriori优化的大数据挖掘技术研究

为解决Apriori算法在大数据挖掘中存在数据负载大、挖掘效率低、冗余性高的问题,提出采用Map Reduce计算框架来优化Apriori数据挖掘算法,将计算任务划分为多个并行任务,提高数据处理效率。将改进的Apriori算法应用于网络入侵大数据挖掘中,并和传统Apriori算法进行对比。结果表明,改进的Apriori算法的数据挖掘效果优于传统Apriori算法,数据挖掘效率高,同时可以有效降低对网络入侵数据的误检率和漏检率。

Map/Reduce框架下的粗糙集空间数据挖掘改进算法

大数据时代,传统的空间数据挖掘算法在挖掘海量空间数据信息时存在计算能力和存储能力不足的瓶颈。为解决此问题,本文在研究粗糙集基本理论和Map/Reduce框架的基础上,对传统的粗糙集空间数据挖掘算法进行基于Map/Reduce的高效、廉价的并行化改进。实验表明,在处理大数据时,改进后的模糊集并行空间数据算法能有效提高算法的效率,满足人们处理海量空间数据的需求。

用于能耗数据分析的改进并行BP算法

基于Map Reduce框架的传统BP神经网络算法收敛缓慢,训练易陷入局部极小点,使迭代次数过多,极大浪费资源。为此,提出并实现改进的并行BP算法,采用动态调节学习率、动量因子调整权重修正值,提升BP网络并行训练效率,利用预处理数据和最大分类概率增强分类的准确性。实验结果表明,改进的并行算法能提高分类准确率,缩短近17/18的训练时间。

云平台下基于粗糙集的并行算法的研究

随着科技不断发展和新技术的不断涌现,数据的重要性变得越来越明显,与此同时数据也在以超出人们预期的速度快速地增长。物联网技术和云计算技术的出现给数据挖掘和知识发现等相关领域既带来了巨大挑战,也赋予了新的活力,物联网的出现和成功运用使得数据具有时间特性和空间特性,在增加数量的同时也增加了数据的维度,从而使一些传统的数据挖掘的工具和算法变得效率低下;而云计算平台提供的计算能力和简易的并行编程思想使得大量数据所带来的问题在一定程度上得到解决。粗糙集是一种成功数据发掘工具,但在面对日益增长的数据时,效率也变得不理想。借助Map/Reduce思想将传统串行运行算法成功转移到云环境中。首先简单介绍了Map/Reduce流程和粗糙集的相关理论,然后扩展云环境下编程理论和提出相应的算法,最后通过复杂度和相应实验验证了算法的有效性。