基于Map-Reduce的海量数据高效Skyline查询处理

Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性.

采用Map-Reduce模型的海量电能质量数据交换格式文件快速解析方案

针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案。通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析。Map-Reduce模型将数据集的大规模操作任务拆分成若干子任务分配给网络上的每一个计算节点(如PC机),实现多计算节点共同协调处理任务,达到提高运行效率的目的。方案采用Java和C++编写,在异构平台间具有较强的可移植性,并且可以通过增加计算节点来提高解析效率,具有较强的可扩展性。通过对海量PQDIF文件进行解析测试,结果表明该方案可以显著提高文件解析效率。

基于Map-Reduce的大数据缺失值填充算法

缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性相关性而建立起来的贝叶斯网中完成.为实现大数据处理的并行化,在Map-Reduce框架中给出这两个算法.实验部分分别验证了贝叶斯网构建方法和概率推理对分类数据处理的有效性,以及算法在hadoop中运行的并行化程度.

基于Map-Reduce模型的云资源调度方法研究

为提高Map-Reduce模型资源调度问题的求解效能,分别考虑Map和Reduce阶段的调度过程,建立带服务质量(QoS)约束的多目标资源调度模型,并提出用于模型求解的混沌多目标粒子群算法。算法采用信息熵理论来维护非支配解集,以保持解的多样性和分布均匀性;在利用Sigma方法实现快速收敛的基础上,引入混沌扰动机制,以提高种群多样性和算法全局寻优能力,避免算法陷入局部最优。实验表明,算法求解所需的迭代次数少,得到的非支配解分布均匀。Map-Reduce资源调度问题的求解过程中,在收敛性和解集的多样性方面,所提算法均明显优于传统多目标粒子群算法。

基于关联规则的网络信息内容安全事件发现及其Map-Reduce实现

针对网络中信息内容安全事件的发现问题,该文提出一种基于关联规则的多维度用户行为特征关联分析法;对于存在的虚警问题,提出了基于邦弗朗尼校正的检验准则;为满足在海量数据中的应用需求,提出了一种Map-Reduce框架下的分布式幂集Apriori算法。实验结果表明,该文提出的方法及相应算法,并行运算能力强,在低虚警率和漏检率的情况下,具有较好的检测率,且运行时间短,收敛速度快。

基于改进蛙跳策略的Map-Reduce作业调度算法

为提高智能算法在Map-Reduce作业调度问题中的求解效率,提出一种基于改进蛙跳策略的调度算法。针对蛙跳策略在Map-Reduce作业调度中的应用,算法具体设计了编码方案和进化算子;同时,为提高算法收敛性能,对蛙跳策略进行改进:结合种群多样性指标增加逆转变异操作。仿真实验结果表明,提出的改进蛙跳策略在Map-Reduce作业调度问题求解中,收敛性能、作业总完成时间和平均完成时间三个方面均优于基本蛙跳策略和已有的智能调度算法,是一种实用的Map-Reduce作业调度方案。

基于R-树索引的Map-Reduce空间连接聚集操作

空间连接聚集是一种常用并且非常耗时的空间数据库操作,特别是在面对大规模空间数据集时,单机运行环境难以满足其对时空开销的需求,如何设计高效的面向云计算环境中的分布式空间连接聚集算法越来越受到人们关注。Map-Reduce作为云计算的核心模式受限于其扁平化的串行扫描操作模型,常被用来加速非索引的空间连接操作,现有工作尚无将Map-Reduce和R-树索引结合来处理空间连接聚集。因此,提出了基于R-树索引的Map-Reduce空间连接聚集算法(RSJA-MR)来更高效地返回连接聚集结果。提出一种分布式R-树索引结构以支持大规模空间数据的索引,RSJA-MR算法利用分布式R-树生成任务集,任务集的执行满足无依赖并行计算模式,很容易在Map-Reduce框架中进行表达。文中提出一种实时缓存策略以支持索引并发访问。实验结果表明:相比非索引的Map-Reduce连接聚集算法,在空间交叠连接聚集查询上,时间性能最少提升8%,在空间包含连接聚集查询上,时间性能最少提升近35%。

异构环境下自适应的Map-Reduce调度

本文针对Hadoop自带的Map-Reduce调度器和LATE调度器的不足,提出了自适应的Map-Reduce调度方式。通过历史信息动态调整Map和Reduce任务各阶段的时间比例,以找出真正需要启动备份任务的任务。并将节点进一步分类,在快速节点上启动落后任务的备份任务,从而减小响应时间,并尽量避免节点空载,以免浪费系统资源。最后通过具体实验验证了自适应的Map-Reduce调度的有效性,从历史信息中学习的方式在实验中能减少15%左右的响应时间,综合各种技术,能够减少25%左右的响应时间。

基于Map-Reduce的XML区间编码方案

将XML文档区间编码思想和云计算相结合,提出Hadoop环境下基于Map-Reduce的并行的编码方案。该方案提出PXMR算法,解决了非同一分片内节点的区间编码。实验结果表明,相对非并行区间编码,PXMR是一种并行的快速有效的编码方案。

Map-Reduce在媒资系统数据收集中的应用

在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就是购买更高性能的服务器,然而,近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop Map-Reduce框架来实现数据收集功能,并通过实验,将数据收集工作在传统的单线程模式(传统实现模式)、Hadoop伪分布模式和全分布模式下所需时间进行比较,并对执行结果进行了分析。研究表明:使用Map-Reduce的这种云模式,确实可以缩短执行时间,以达到提高服务器端性能的目的。

基于Map-Reduce的向量空间约束连接路径查询方法

随着交通路网、社交网络等与空间位置有关的新型服务逐渐增多,向量空间数据规模正以极快速度增长和累积,传统数据处理技术在大规模向量空间数据上的执行效率及结果集优化等方面面临着巨大的挑战.本文提出一种基于Map-Reduce的向量空间约束连接路径查询算法,首先,算法在向量空间上进行等边距网格划分,以距离为阈值进行约束连接;其次,利用MapReduce框架,通过节点到单元格的筛选、节点所在约束区域的筛选、单向边集合的筛选以及节点到节点的距离筛选的四阶段筛选策略找到满足约束条件的全部备选路径,从而减少大量的文本复制和路径计算过程.实验表明,本文提出的算法具有较高的执行效率和较低的误差率.

基于Map-Reduce的大数据实体识别算法

实体识别是数据量质融合管理中的一项关键技术,对能否提高数据质量起着决定性作用.其目的在于识别出数据中表示同一对象的不同形式;以及同一形式所代表的不同对象.随着大数据研究技术的发展,大数据上的实体识别问题受到了广泛关注.因此,在大数据的信息集成背景下,给出了一个基于Map-Reduce框架的大数据实体识别算法(entity identification in big data based on Map-Reduce,EIBM).该算法首先通过属性值计算记录间的相似程度,而后基于图聚类的方法进行实体识别从而输出得到最终结果.最后,在Hadoop平台上对真实数据集和人造数据集进行了多组实验,实验结果验证了算法的并行程度和对于处理大数据的有效性与高效性.

基于Map-Reduce的FP-Growth算法研究

针对FP-Growth算法在处理海量数据时需要耗费大量系统资源无法实现快速的挖掘出关联规则,提出基于Map-Reduce框架的FP-Growth算法.通过使用Map-Reduce计算框架实现FP-Growth算法对数据的并行处理,提高算法的执行效率.最后通过实验证明所提出的算法在处理海量数据方面具有较好的性能.

云计算环境下的改进型Map-Reduce模型

Map-Reduce模型在分配输入文件时没有考虑集群中大量异构节点的计算性能,导致运行map任务时网络数据传送量增加。针对该问题,提出一种云计算环境下的改进型Map-Reduce模型。根据集群中大量节点计算性能不同的特点,采用最小化最大计算时间的目标函数进行建模,利用遗传算法求解该模型得到分配方案。仿真结果证明了该模型的有效性。

Map-Reduce计算模式的分析与探索

在互联网应用高速发展下,如何对大数据进行快速的响应和处理成为当下计算机技术所急需要解决的关键问题,研究Map-Reduce计算模型,改进和扩展其计算方式和算法,能够极大地促进和改善大数据的发展,为基于大数据基础上的各种应用奠定坚实基础。

基于云计算Map-Reduce模型的快速碰撞检测算法

针对人机交互系统中碰撞检测实时性、精确性的要求,本文提出了一种基于云计算模型的快速碰撞检测算法。1提出一种新的分裂平面构建OBB平衡包围盒树方法;2引入了标记遍历树概念,对进行碰撞检测的OBB任务树采用堆栈进行深度或广度遍历标记,减少相交检测次数;3采用Map-Reduce云模型对任务树进行划分,划分后子任务采用云模型并行执行,减少了检测时间;4对每个子任务结果进行标识,将标识后的子任务作逻辑运算,通过运算结果判断是否发生了碰撞。对比实验结果表明:与经典的I-COLLIDE、MPI及Pipelining等算法相比,该算法在效率、精确性方面具有明显优势,能够满足复杂虚拟空间人机交互的实时性和精确性的要求。

基于Map-Reduce的电视新闻场景切分方法

采用Hadoop云计算的Map-Reduce架构,对大数据电视新闻类内容进行并行的语音识别和视频分析处理,以提高效率。主要提出了基于播音员语音情节连贯性的视频段合并方法以及采用码流分析的视频场景突变检测方法。提高了新媒体生产平台自动剪切视频场景的准确性。满足用户在第一时间使用电视、平板电脑和手机等多屏终端,享受新媒体互动服务。

基于Map-Reduce的自适应双语短语挖掘系统

对于跨语言信息检索,统计翻译等应用,双语短语都是极其重要的资源.提出了基于自适应模式的双语短语挖掘算法,该算法可以自动的学习当前Web页面的翻译模式,然后利用学习到的模式抽取当前页面中的双语短语.同时,将自适应双语短语挖掘算法与Map-Reduce并行编程模型融合起来,大大提高了系统的运行效率,并且通过实验验证了该方法的有效性.

基于MAP-REDUCE的大数据不一致性解决算法

大数据时代悄然而至,数据质量也引起人们的关注。在提高数据质量方面,很重要的一部分是解决数据不一致性问题。针对大数据情况下的数据不一致问题,本文提出了在MAP-REDUCE框架下的聚类算法。本文在MAP-REDUCE框架下对K-MEDOIDS聚类算法进行了改进,增强了算法的适用性和精确性,并通过仿真实验验证了在大数据环境下该算法的并行性和有效性。

基于Map-Reduce的网络数据包解析与设计

网络数据包数量具大,运算时资源消耗过多等瓶颈问题,在网络数据包解析过程中经常遇到,有效地解决这些问题,引入在云计算环境下的Map-Reduce并行编程模型来进行解析,将会是一种很好的解决方式。通过对网络数据包解析的特点及Map-Reduce模型的原理进行分析与研究,设计了一种基于Map-Reduce的网络数据包解析方案。同时在流程设计及核心函数的功能设计方面,给出了具体的设计方案。