基于Map/Reduce的分布式搜索引擎研究

在对Map/Reduce算法进行分析的基础上,利用开源Hadoop软件设计出高容错高性能的分布式搜索引擎,以面对搜索引擎对海量数据的处理和存储问题。

基于MapReduce分布式连接算法优化技术研究

为了解决大规模数据集的并行运算问题,采用以映射与归约为主体思想的编程模型Map Reduce,以分布式QR-树索引结构与分布式并行编程模型Map Reduce为组合进行连接算法设计。研究结果表明:采用该算法使得数据分布式并行编程计算更加便捷,也解决了传统单机集群系统无法满足海量数据时空开销的迫切需求。在云计算背景下研究Map Reduce分布式空间连接算法有很大的意义和价值。

基于Map／Reduce的改进选择算法在云计算的Web数据挖掘中的研究

针对目前在搜索方面的数据量大、搜索延迟的特点,提出了基于云计算的Web挖掘的搜索模型。采用提出的基于Map/Reduce模型的改进型算法,通过仿真实验验证了该算法的可行性,在一定程度上减少了搜索的代价,提高了搜索效率。

云计算平台中分布式Hadoop数据挖掘关键技术研究（英文）

云计算环境下的大数据特征挖掘是大数据统计及分析的基础。为了提高聚类的准确度和速度,设计了一种基于分布式Hadoop平台和熵加权特征选择的数据挖掘方案。该方案首先采用无回路有向图对Hadoop平台下的Map Reduce作业流调度问题进行了分析。然后采用并行Map Reduce执行过程完成分布式计算。最后,采用熵加权聚类算法实现海量数据挖掘。仿真结果显示,提出的数据挖掘方案具有较好聚类效果和运行效率。

基于云计算的Web数据挖掘Map/Reduce算法的研究

随着互联网技术的广泛应用,网络上处理海量数据成为网络发展的关键,论文主要介绍了基于云计算的Web数据挖掘Map/Reduce算法的研究,提出了Map/Reduce算法的模型,建立体系架构,通过实验,云计算与该算法相结合,提高了数据挖掘的效率,与计算仿真平台的以及在该平台下采用虚拟化技术对子云层进行整合,为Web Service提供服务的关键技术,最大限度的发挥了其可用性、协同性、扩展性等特点。

MapReduce分布编程模型

MapReduce是分布编程模型,是Hadoop平台的核心算法。文章介绍MapReduce特点、函数式编程范式、映射函数与化简函数、MapReduce模型理论基础和应用方法等内容。

基于Hadoop云计算平台的分布式转码方案

在新媒体视频业务快速发展的今天,传统单机视频转码能力已经出现瓶颈.在Hadoop云计算平台的研究基础上,结合当前主流的音视频处理工具FFmpeg,提出了一种新的视频转码方案.该方案通过使用Hadoop两大核心:HDFS(Hadoop Distributed File System)和Map Reduce编程思想,进行分布式转码.同时,还详细地介绍和设计了分布式转码的具体流程.最后实验结果表明,该分布式转码方案在效率上有较大提高.在实验中,视频的分段大小也影响着视频转码的时间.随着分段大小从小到大,同样的视频转码时间变化却是由高降低再升高.从实验数据来看,相对于其他的分段,分段大小为32M的时候,转码时间最佳.

分布式集群环境下基于并行计算的图聚类信息高效处理方案

针对人工智能领域图聚类数据分析与处理能力无法适应于日益复杂的分布式集群环境等问题,提出一种基于并行计算的高效率图聚类信息处理方案。在分布式集群计算环境下对超大规模、超大区域范围图数据信息的稀疏化分析与处理机制上,通过对Minhash算法以Map Reduce架构理论进行改进,使其实现对数据的并行化分析处理,确保能够在日益复杂的分布式集群计算环境下高效处理图聚类数据信息。实验表明,改进方案不仅可行,而且能够对图聚类数据信息进行快速稀疏化处理,具有一定的高效性。

MapReduce在科学计算中的研究与改进

针对Haloop模型不能实现各个计算节点的通信和Twister模型出现大量的数据重叠,提出了以下的改进:在Hadoop模型中增加各个节点的通信机制和缓冲机制。具体的实施如下:首先,在Map函数中引入了一个参数M来区分科学计算中的四类算法;其次,并将经常用的函数封装成适配器;再者,静态数据声明成保护类型并存放在缓冲池中。在文章的最后利用Hadoop做的相关实验,实验表明:随着计算节点数的增多,其加速比是越来越大的。

基于Map/Reduce的外壳片段立方体并行计算方法

针对高维、维度分层的大数据集,提出一种基于Map/Reduce框架的并行外壳片段立方体构建算法。算法采用Map/Reduce框架,实现外壳片段立方体的并行构建与查询。构建算法在Map过程中,计算出各个数据分块所有可能的数据单元或层次维编码前缀;在Reduce过程中,聚合计算得到最终的外壳片段和度量索引表。实验证明,并行外壳片段立方体算法一方面结合了Map/Reduce框架的并行性和高扩展性,另一方面结合了外壳片段立方体的压缩策略和倒排索引机制,能够有效避免高维数据物化时数据量的爆炸式增长,提供快速构建和查询操作。

Map Reduce计算模型下并行关联规则挖掘算法研究

随着大数据时代的来临,数据的量呈现出了爆炸式的增长,在数据挖掘技术上面,传统的算法的弊端逐渐暴露。对于数据挖掘来说,其中最为核心就是关联规则的挖掘,大数据下对数据挖掘的要求不断增加,开发分布式以及并行的关联规则挖掘算法已经逐渐成为当下数据挖掘的重要课题,而Map Reduce就是一种现今较为流行的分布式并行的计算模型,该文就以Map Reduce计算模型进行探讨,对相关的概念进行介绍,并对未来的数据挖掘算法的走向进行展望,希望能够促进关联规则挖掘算法的发展。

一种分布式网络中轮廓推荐的有效方法

当底层数据的容量以及轮廓推荐指令个数增大时,轮廓推荐的时间代价将呈指数级增长,从而严重影响其推荐效率。为此,基于超对等分布式网络(SPA),该文提出预存储w个轮廓快照来高效处理系统中u个轮廓推荐指令的分布式网络轮廓推荐算法(EMSRDN)。EMSRDN算法充分考虑SPA网络的数据存储和通信特性,利用map/reduce分布式计算模型,通过初始快照集启发式构造来快速产生最优w个轮廓快照。理论分析和仿真实验表明,该算法具有有效性和实用性。

云计算环境下的改进型Map-Reduce模型

Map-Reduce模型在分配输入文件时没有考虑集群中大量异构节点的计算性能,导致运行map任务时网络数据传送量增加。针对该问题,提出一种云计算环境下的改进型Map-Reduce模型。根据集群中大量节点计算性能不同的特点,采用最小化最大计算时间的目标函数进行建模,利用遗传算法求解该模型得到分配方案。仿真结果证明了该模型的有效性。

基于云计算Map-Reduce模型的快速碰撞检测算法

针对人机交互系统中碰撞检测实时性、精确性的要求,本文提出了一种基于云计算模型的快速碰撞检测算法。1提出一种新的分裂平面构建OBB平衡包围盒树方法;2引入了标记遍历树概念,对进行碰撞检测的OBB任务树采用堆栈进行深度或广度遍历标记,减少相交检测次数;3采用Map-Reduce云模型对任务树进行划分,划分后子任务采用云模型并行执行,减少了检测时间;4对每个子任务结果进行标识,将标识后的子任务作逻辑运算,通过运算结果判断是否发生了碰撞。对比实验结果表明:与经典的I-COLLIDE、MPI及Pipelining等算法相比,该算法在效率、精确性方面具有明显优势,能够满足复杂虚拟空间人机交互的实时性和精确性的要求。

基于八叉树的地震数据分布式存储与计算

在参考谷歌文件系统分布式处理技术基础上,利用三维空间下八叉树结构与编码的快速空间定位机制,实现对三维地震数据的分块存储;采用中间文件形式进行子块切分与传输,减少本地时间开销;同时实现了基于地震道的一级缓存和基于子块的二级缓存,提升了数据访问效率。进一步基于分布式八叉树结构,设计实现了地震属性的分布式映射归并计算方法。研究方法为大数据背景下三维数据体的高效存储与处理分析提供了技术支持。

基于MapReduce与相关子空间的局部离群数据挖掘算法

针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密度,给出了相关子空间中的局部离群因子计算公式,有效地体现了相关子空间中数据对象不服从局部数据集分布特征的程度,并选取离群程度最大的N个数据对象定义为局部离群数据;在此基础上,采用LSH分布式策略,提出了一种Map Reduce编程模型下的局部离群数据挖掘算法;最后,采用人工数据集和恒星光谱数据集,实验验证了该算法的有效性、可扩展性和可伸缩性.

基于MapReduce的Web日志挖掘

针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Hadoop平台,利用该算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,充分利用了集群系统的分布式计算能力处理大量的Web日志文件,可以大大地提高Web数据挖掘的效率。

基于Map/Reduce的民航高价值旅客发现方法

为解决常旅客计划模型评价指标单一,不能准确识别高价值旅客的问题,提出一种将Map/Reduce并行处理与数据挖掘知识相结合的发现方法。利用Map/Reduce数据处理模型,在Hadoop分布式平台上并行处理海量PNR数据;根据改进的RFD模型,确定客户价值指标,利用AHP层次分析法将专家经验值量化为指标权重;利用聚类分析技术识别高价值旅客,采用真实的PNR数据集进行实验。实验结果表明,该方法能够有效识别民航高价值旅客,为航空公司做出有效决策提供有利依据。

基于Hadoop的分布式搜索引擎关键技术

实现了基于Hadoop的分布式搜索引擎,着重讨论了实现分布式搜索引擎涉及的3个关键性技术:索引表的建立、分词的处理和索引前的预处理。通过实验对比了集中式搜索引擎和分布式搜索引擎,结果表明了基于hadoop的分布式搜索引擎在处理数据方面强劲的优势。

基于Map/Reduce的海量视频图像检索系统设计

齐齐哈尔市公安视频监控系统中每天所产生的大量视频数据对视频图像的检索、管理及安全产生了迫切的需求,视频图像的检索存在两个急需解决的问题,一是视频检索的准确度问题,二是检索效率的问题。面对海量的视频数据库,提出了基于Map/Reduce分布式计算模型与关键帧算法结合的方法,既提高了检索效率,又提高了检索准确率。