基于MAPREDUCE并行化处理的用户地址数据规范化存储与管理系统设计

电网用户规模庞大,由于历史原因,对其地址数据进行存储和管理难度较大,目前用户地址数据规范化程度较低。针对这一问题,本次研究将基于MAPREDUCE并行处理机制,探讨用户地质数据规范化存储方法,解决其中的关键技术问题,并给出用户地质数据规范化存储管理系统的设计方案。

基于MapReduce的并行化电网运行数据处理方法研究

在大规模新能源的新型电力系统中,由于云端电力数据存在结构复杂、数据量大及多维度的特点,因此不利于发挥数据对运行的指导作用,甚至有可能危害电力系统的安全、稳定运行。针对上述问题,文中提出了一种基于MapReduce的电网数据分析方法。其将云计算应用于新型电力系统,并构建了基于MapReduce云计算模型的并行化处理算法,进而提升了系统的响应速度。通过将该方法应用于电网的数据处理结果表明,所提方法可以有效地提高电网运行数据处理的准确性和工作效率。在海量数据的工况下,其处理效率约为30 min,且随着数据量的增加仍可保持稳定性与准确性,实现了网格化的并行分析。

基于MapReduce平台的大数据查询与处理优化算法

基于MapReduce编程并行计算框架、RSJ表连接算法等软件技术,构建了混合式MapReduce并行运算处理系统,通过读取元信息管理表的数据、提取表连接属性信息,按照表数据的属性列进行完整的数据复制与存储,得到合并汇总后完整的共享信息,使用改进RSJ的分布式缓存表连接算法滤除不满足连接条件的数据。仿真实验表明,运用MapReduce并行计算框架和RSJ表连接算法进行数据处理,可减少Map端输出的数据量,缩短网络数据传输与处理时长,实现海量化大数据查询与处理的优化目标。

云计算中心的高效地震处理解释能力体系建设与工业化应用

随着云计算中心硬件环境的建立,如何充分利用云中心的计算、存储和网络基础设施环境建立高效的地震处理解释能力体系,从而实现地震处理解释新技术的大规模推广与工业化应用成为必须解决的问题。文章将重点介绍如何利用云计算中心的基础设施环境,建设高效地震处理解释能力体系。

基于MapReduce模型的并行处理优化策略

本文提出一种并行处理优化策略。结合并行MapReduce模型的工作运行机制来改变原始框架的处理性能,并运用MPI技术并行化执行Mapper和Reducer机制来实现。经过在Hadoop云计算平台进行模拟实验后结果证明,该算法既能加快文件传输速率又缩短了Reducer机制的等待时间,而且相比传统模式上有所突破,其通过降低存储耦合性来达到使计算传输效率得以提升的效果。

MapReduce框架下的朴素贝叶斯算法并行化研究

研究朴素贝叶斯算法MapReduce的并行实现方法,针对传统单点串行算法在面对大规模数据或者参与分类的属性较多时效率低甚至无力承载大规模运算,以及难以满足人们处理海量数据的需求等问题,本文在朴素贝叶斯基本理论和MapReduce框架的基础上,提出了一种基于MapReduce的高效、廉价的并行化方法.通过实验表明这种方法在面对大规模数据时能有效提高算法的效率,满足人们处理海量数据的需求.

基于MapReduce的三元N-gram算法的并行化研究

大规模语料库的训练是使用三元N-gram算法进行中文文本自动查错中一个重要的基础工作。面对新媒体平台每日高达百万篇需处理的语料信息,单一节点的三元N-gram语言模型词库的构建存在计算瓶颈。在深入研究三元N-gram算法的基础上,提出了基于MapReduce计算模型的三元N-gram并行化算法的思想。MapReduce计算模型中,将运算任务平均分配到m个节点,三元N-gram算法在Map函数部分的主要任务是计算局部字词分别与其前两个字词搭配出现的次数,Reduce函数部分的主要任务是合并Map部分统计字词搭配出现的次数,生成全局统计结果。实验结果表明,运行在Hadoop集群上的基于MapReduce的三元N-gram并行化算法具有很好的运算性和可扩展性,对于每日120亿字的训练语料数据集,集群环境下该算法得到训练结果的速率更接近于线性。

基于MapReduce的并行石漠化CA模型

针对石漠化演化模拟预测CA模型在单机上训练和运行时间较长的问题。给出了MapReduce编程模型实现的并行化石漠化CA模型,并在用普通PC搭建的Hadoop集群上进行研究实验。实验结果表明,在Hadoop集群上实现的MapReduce并行化石漠化CA模型具有较好的加速比。

基于项目属性相似和MapReduce并行化的Slope One算法

针对Slope One算法存在预测精度依赖于用户对待预测项目的评分数量的缺陷,提出了一种基于项目属性相似度和Map Reduce并行化的Slope One算法.首先计算项目间的属性相似度,并将其与Slope One算法相融合以提高预测精度,然后在Hadoop平台上对改进算法基于Map Reduce进行并行化实现.在Movie Lens数据集上的实验结果表明,相对于Slope One算法和加权Slope One算法,本文提出的改进Slope One算法具有更高的预测精度,并更适用于大规模数据集.

基于MapReduce并行处理的机电特种设备故障诊断系统设计

针对直流接地故障检测系统检测结果误差大的问题,提出了基于MapReduce并行处理的机电特种设备故障诊断系统设计;根据系统总体架构,将硬件结构分为故障检测显示单元和数据处理及传输单元;整流电流,使用二极管整流装置设计集流故障检测指示电路;采用多层差分电路获取脉冲信号,以低电平电压位置的故障检测器作为检测点,设计电流突变检测模块;使用DH08型号开关状态检测模块,具有8路交流输入,由此检测设备断电故障;选配6AU1410-0AB00-0AA0型西门子报警模块,对故障点进行报警处理;设计MapReduce执行流程,分析4个MapReduce作业训练过程,计算数据属性特征词在每个故障类中的频率值,由此完成故障诊断;以轴承故障为例,进行实验验证分析;由实验测试结果可知,该系统与实际波形差别较小,其对A相、B相C相电流短路故障诊断的时间点波形变化与实际曲线基本一致,在0A附近波动,说明该方法具有精准检测结果,能够为机电特种设备广泛应用提供设备支持。

云计算环境下Apriori算法的MapReduce并行化

借助分割数据技术优化了经典的Apriori算法,实现了对候选项集的分组统计。给出了优化Apriori算法的MapReduce编程实现模型,达到了Apriori算法并行化的目的。实验结果表明,该算法能够大量减少键/值对的产生,提高了算法的效率,并且随着挖掘频繁项目集节点数的增加,算法的加速比成线性提高。

对数似然相似度算法的MapReduce并行化实现

为提高Mahout中协同过滤算法处理大数据的能力,对云计算平台进行研究,提出一种基于MapReduce模型计算相似度的方法。通过设计4个MapReduce任务,实现对数似然相似度算法的并行化;结合算法自身的特点,采用复合键对和同现矩阵的思想将大量小键值对合并为大键值对,以减少中间计算量和通信开销。实验结果表明,和Mahout中的单机版相似度算法相比,基于Hadoop平台的对数似然相似度算法具有很好的加速比和可扩展性,能够提升推荐算法的效率。

采用MapReduce模型的甚长基线干涉测量并行处理方法

针对传统甚长基线干涉测量(very long baseline interferometry,VLBI)并行处理方法存在逻辑复杂、数据存储和计算扩展性较差等缺点,基于MapReduce模型设计了一种VLBI观测数据相关的并行处理方法。该方法采用模型周期作为数据并行处理基本单元,构建数据关联算法分割观测数据使各台站同一模型周期数据对齐到同一波前,设计实现数据相关计算的Map过程,使用Reduce对各模型周期结果进行综合处理以得到最终结果。实验结果表明:该方法在积分周期包含的模型周期数量大于节点CPU核数时性能比传统方式低25%左右,在积分周期包含的模型周期数量小于节点CPU核数时通常能提供更高的计算效率,并且能简化VLBI并行相关处理的复杂度,具有更好的数据存储和计算可扩展性。

一种网格化聚类算法的MapReduce并行化研究

面对增量式增长的聚类数据,受云计算并行化处理模式的启发,文中对一种网格化聚类算法进行了MapReduce并行化研究。该算法首先利用网格处理技术对数据进行预处理,用网格预处理后所得单元的重心点取代该单元中保存的所有点,然后在MapReduce框架下将各个单元的重心点作为聚类分析的基本数据单元,进行聚类分析。实验结果表明,该算法MapReduce并行化后部署在Hadoop集群上运行,具有与原来相同的聚类效果,并能节省聚类分析的时间和降低计算的复杂度,适合用于高纬度、增量式的海量数据的分析和挖掘。

基于MapReduce模型的电力数据并行化的异常检测

提出了基于MapReduce计算模型的电力数据异常检测的并行化设计,实现了多个计算节点对海量的电力数据进行并行化的异常发现,从而快速发现存在异常的采集点。

基于MapReduce的MIC算法并行化

MIC是一种分析变量之间可能存在的关系的方法。该方法不仅能够有效识别出变量间各种复杂类型的关系,还能够准确描述噪音数据对存在关系的影响,对探索大数据集中变量之间的关系具有重要意义。针对该方法在处理包含大量变量的数据集时性能方面的不足,首次对它进行了基于MapReduce模型的并行化。提出的并行化方法首先对原算法进行更细颗粒度的划分,然后采用一种基于Map-Reduce-Map任务链的并行模型,该模型不仅有效地增加了并行的计算单元,还大大地降低了不必要的系统开销。最后,通过理论分析和实验验证得出,改进后的算法与原算法相比,在准确率方面具有等效性,运行速度大幅度提升且具有良好的可扩展性;实验同时指出了算法性能的提升与系统资源的关系。

基于MapReduce的健康大数据并行挖掘算法研究

随着信息技术的发展,健康大数据呈指数级别剧增,但数据量过大使得较多有价值的数据被埋没,医疗服务的质量与效率难以提升。为解决上述问题,文中提出一种基于MapReduce的健康大数据并行挖掘算法。首先对健康大数据进行预处理,消除一些不利因素对数据的影响;再以预处理后的健康大数据为依据,获取初始簇中心,度量健康大数据与簇中心之间的距离,聚类处理健康大数据;最后,应用MapReduce制定健康大数据并行挖掘程序,执行制定程序即可完成健康大数据的并行挖掘。实验结果表明,所提算法的健康大数据挖掘效率最大值为94 GB/s,加速比最大值为4.5,相比于其他方法,该算法对健康大数据挖掘的性能更佳。

可重构阵列处理器上HEVC流水线并行化设计与实现

为了解决新一代高效视频编码(HEVC)标准中计算复杂度大幅增加导致的编码速度降低问题和专用硬件实现编码器灵活性差的问题,提出了一种基于可重构阵列处理器的HEVC流水线并行化实现方法。该方法将编码块的处理过程划分为不同的流水线等级,根据算法特性设计流水线并行映射方案,并基于可重构阵列处理器的握手机制设计流水线调度方式,使得同一时刻各流水级并行处理不同的编码块,从而加速视频图像的编码过程。实验结果表明:该方案与非流水线实现相比,编码时间减少了约66%;与在现场可编程门阵列(FPGA)上通过模式决策并行化实现加速的方案相比,编码时间减少了18%;与HEVC官方测试模型HM16.8相比,平均PSNR值增加了0.0219 dB。

基于MapReduce的并行化最小最大模块化支持向量机研究

最小最大模块化支持向量机(M3-SVM)是对大规模数据进行模式分类的有效方法.为了进一步提高M3-SVM算法处理大规模数据的效率.基于MapReduce的编程模型实现了M3-SVM的并行化.并行化主要分为两个部分:1)将M3-SVM中的多个任务分解进行并行化;2)将M3-SVM中用来训练基分类器SVM的序列最小优化算法(SMO)进行并行化.在多个现实数据集上的实验结果表明基于MapReduce的并行化最小最大模块化支持向量机算法不仅具有较好的可靠性,而且比传统的最小最大模块化支持向量机算法具有更好的时间效率.

基于MapReduce的大数据并行分析与处理

针对传统分布式数据库架构存储和管理企业产品相关的大数据资源效率不高等问题,研究企业产品海量数据资源处理与并行分析计算,提出在Hadoop平台基础上基于MapReduce并行架构模型的数据并行分析与数据处理方法。通过对数据的优化存储布局,在MapReduce并行框架基础上,采用多通道数据融合特征提取技术实现产品大数据信息的提取和并行分析计算,提高了数据资源管理效率。实际验证表明和标准Hadoop方案比较,多通道数据融合并行特征提取算法执行时间为其34.8%,实现了产品大数据资源高效的组织和管理。