基于Hadoop的数值预报产品服务平台设计与实现

数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明,该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。

Hadoop架构下基于模式匹配的短期电力负荷预测方法

大数据处理技术充分利用海量动态数据,能有效提升电力负荷预测精度及计算效率。采用Hadoop架构提出了一种基于模式匹配的短期电力负荷预测方法,通过度量日负荷序列相似性挖掘得出典型日负荷模式,辨识出关键影响因素构建基于并行随机森林的决策树群从而建立模式匹配规则,实现待测日负荷模式的快速准确匹配;在典型负荷模式下建立多时刻点预测模型,采用Map Reduce计算框架进行负荷计算与预测分析,从而建立大量样本下的负荷预测模型。以某地市电网全年负荷数据为例进行负荷预测分析,并通过平均误差和方均根误差等指标对比局部加权线性回归(LWLR)算法的预测效果。仿真结果表明该方法用于短期负荷预测时具有更高的预测准确性和计算效率。

Hadoop云构架的智能调度无损集群压缩技术

针对智能调度系统中的大数据集信息压缩处理问题,利用Hadoop框架和Map/Reduce分布式编程模型,提出了一种基于云架构的无损集群压缩新方法。对字典编码和统计编码的无损压缩进行了分类比较,利用云计算节点的集群网络配置方式进行调度主机和监控服务器的部署,在集群数据节点中融入无损压缩,建立调度监控信息的无损集群压缩实验环境。利用调度端的断面量测记录进行测试研究,得出:对于相同断面记录集的无损压缩,BZip2格式的集群压缩比优于Deflate和Gzip格式。对不同断面记录集的BZip2集群压缩结果表明:在断面记录超过3×106以上时,压缩比达到81.1%,相对传统无损压缩方法提高30%以上。

基于Hadoop的贝叶斯过滤MapReduce模型

传统分布式大型邮件系统对海量邮件的过滤存在编程难、效率低、前期训练耗用资源大等缺点,为此,对传统贝叶斯过滤算法进行并行化改进,利用云计算MapReduce模型在海量数据处理方面的优势,设计一种基于Hadoop开源云架构的贝叶斯邮件过滤MapReduce模型,优化邮件的训练和过滤过程。实验结果表明,与传统分布式计算模型相比,该模型在召回率、查准率和精确率方面性能较好,同时可降低邮件过滤成本,提高系统执行效率。

大数据环境下最小单调约束闭包Hadoop并行关联规则

针对传统关联规则算法存在较大规则冗余问题,提出基于最小单调约束闭包Hadoop并行化关联规则。首先,基于闭包算子约束规则等价关系集,给出了满足最小单调约束规则集,可有效地将约束规则集划分为不相交的等价规则类,降低冗余规则比率;其次针对大数据问题,采用Hadoop框架下Mapreduce并行计算模型,实现最小单调约束闭包关联规则的并行化计算,有效地提升算法对于大数据处理的可拓展性;最后通过在标准测试集上的实验对比,显示了所提算法的有效性。

基于Hadoop的微阵列数据两阶段并行K近邻基因提取

基因信息选取工作中由于数据量庞大,传统单线程运行的分类查询方法无法满足实时性与提取精度要求。为此,利用Hadoop框架设计两阶段并行计算模型。其中第1阶段用于候选基因子集并行选取,第2阶段用于并行K近邻基因信息选取,从而实现并行计算的全过程覆盖。为降低算法的计算复杂度,针对基因信息微阵列数据,定义数据筛选指标对其进行采样,在降低数据处理量的同时消除数据冗余。实验结果表明,该算法具有较高的运行效率,并且继承了Hadoop编程模型的可扩展特性,可移植性较强。

基于Hadoop与XMPP的云翻译系统的研究与实现

针对传统机器翻译系统准确性差、人工翻译成本高等缺陷,提出了一种基于Hadoop云计算框架与XMPP协议的云翻译系统解决方案,结合传统翻译技术和Hadoop云计算框架,利用XMPP在异构系统之间的互通,建立用户、译员和对象的三方互助云平台。该系统可挖掘互助沟通过程中的庞杂的语料资源,具有语料库数据量大,翻译准确、翻译效率高、智能性强等特点,解决了人工翻译成本高、机器翻译歧义性大等问题,实现了不同语种人群通过互联网进行文字即时通信时的多语无障碍沟通。

基于Hadoop的网络日志分析系统研究

查看网络日志是调查系统故障,监控系统运行状况的重要手段。管理员可以查看在某段时间内所发生的事件,也可以通过对各个日志文件进行分析获取知识。由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴含的有用信息也难以发现。分布式计算技术正好可以用来解决这一难题。阐述了syslog日志收集流程,详细介绍了Hadoop分布式计算框架,设计并实现了一套基于Hadoop的网络日志分析系统。实验证明该系统是有效而实用的。

一种基于Hadoop的语义大数据分布式推理框架

随着语义万维网(sematic Web)和关联数据集项目(linked data project)的不断发展,各领域的语义数据正在大规模扩增.同时,这些大规模语义数据之间存在着复杂的语义关联性,这些关联信息的挖掘对于研究者来说有着重要的意义.为解决传统推理引擎在进行大规模语义数据推理时存在的计算性能和可扩展性不足等问题,提出了一种基于Hadoop的语义大数据分布式推理框架,并且设计了相应的基于属性链(property chain)的原型推理系统来高效地发现海量语义数据中潜在的有价值的信息.实验主要关注于医疗和生命科学领域各本体之间的语义关联发现,实验结果表明,该推理系统取得了良好的性能———扩展性以及准确性.

Hadoop远程过程调用机制的分析和应用

为了高效快速的开发和使用Hadoop远程通信功能,对Hadoop远程过程调用(Remote Procedure Call,RPC)机制进行分析,提出独立调用Hadoop RPC实现多客户端并发通信和大数据传输的机制,既继承Hadoop PRC框架,又在通信中增加数据文件传输,并采用线程池模拟多客户线程的测试方案。通过测试发现Hadoop远程过程调用在通信数据负载量和数据传输量的大致范围,测试方案和结论可用于Hadoop RPC应用的配置和开发。

Hadoop平台下海量图像处理实现

针对Hadoop不直接支持处理海量小图像文件且不能高效管理这些小文件的问题,为让开发者在不了解Hadoop内部机制的情况下开发处理海量图像的算法,研究并实现Hadoop图像处理框架。制定图像数据在Java开发语言中的表示,使其适用于MapReduce计算模型;设计存储模型高效存储海量小文件及管理小文件;为让开发变得简单和高效,在框架中,向外提供一个适用于各种图像处理算法的编程接口,使图像处理开发人员在不用了解Hadoop内部复杂细节的情况下使用这个框架在海量图像处理中发挥杠杆作用。实验结果表明,该框架能高效处理海量图像,有很强的适用性。

基于Hadoop平台的评价系统设计与实现

在Hadoop分布式系统上,设计并实现了一个基于SSM框架的评价系统,对评价系统构建的技术路线及实现方案以及基于中介真值程度度量的评价规则进行了详细阐述。系统采用接口编程技术,对每个模块的基本功能进行抽象,可以接入并修改任意的功能模块,增强了系统的可扩展性和维护性。系统中定义了基于中介真值程度的评价规则,分别采用距离比率函数和距离比率和函数建立了单维度测度模型和多维度综合测度模型。除此之外,系统也可以自定义评价规则集,增强了系统的可用性。在学生成绩评价中的应用结果表明,基于中介真值程度的评价规则,使评价结果更为科学和合理。

基于Hadoop的海量图像处理研究

随着互联网技术的快速发展和普及,社交媒体非常活跃,形成了大量的数字图像,除此之外,医学和遥感领域每天也会产生海量数据。传统的单机图像处理方式已经不能适应时代发展的要求,所以如何挖数据信息,同时处理海量数据就成为研究热点。Hadoop是应用非常广泛的开源性大数据处理平台,在海量图像处理方面具有突出的优势。本文首先分析大数据时代下海量图像的产生和应用情况,阐述Hadoop的特征和优势,在此基础上提出海量图像处理解决方案,从数据导入、数据服务、数据请求、可视化设计功能等几个层面深入分析,优化图像处理算法并提出高效的海量图像处理框架,经过验证,该系统框架具有良好的适用性。

基于随机森林的智能电网多源数据异常检测

智能电网多源数据具有海量化与复杂化特征,导致智能电网多源数据异常检测的难度增加,为此设计基于随机森林的智能电网多源数据异常检测算法。构建随机森林应用模型,根据评估指标选取结果,计算暂态稳定裕度指标的具体数值,实现对智能电网多源数据的暂态稳定性评估。设置Hadoop检测框架,通过求解多源数据负荷特征判断异常值检测系数所属取值范围,完成算法的设计。实验结果表明,异常多源信息的最大传输速率只能达到2.36 MB/ms,而常规数据传输速率却不会受到明显影响,说明设计方法能够有效提升智能电网主机对异常数据的检测能力。

Trusted Heartbeat Framework for Cloud Computing

In cloud computing environment, as the infrastructure not owned by users, it is desirable that its security and integrity must be protected and verified time to time. In Hadoop based scalable computing setup, malfunctioning nodes generate wrong output during the run time. To detect such nodes, we create collaborative network between worker node (i.e. data node of Hadoop) and Master node (i.e. name node of Hadoop) with the help of trusted heartbeat framework (THF). We propose procedures to register node and to alter status of node based on reputation provided by other co-worker nodes.

基于Spark平台的分类算法性能比较分析

针对目前大数据与机器学习技术的快速发展,使用基于Spark平台的MLlib机器学习库实现前馈神经网络(Feedforward Artificial Neural Network)、支持向量机(Support Vector Machine)与随机森林(Random Forest)三种机器学习算法,并分析与评估三种算法在大数据平台下的运行与分类性能。实验结果表明,随着节点数的增加,三种算法在大数据平台上消耗的时间都逐步变少。当数据集小于100MB时神经网络与支持向量机算法加速比较高,数据集大于1GB时随机森林算法加速比优于其他两种算法。神经网络算法在数据集100MB时可扩展性最小,支持向量机算法在数据集500MB时可扩展性最小。随机森林算法在数据集大于1GB时规模增长性优于其他两种算法。通过对于三种分类算法的时间效率与准确性比较,支持向量机算法消耗的时间最少,但是分类准确性最低。神经网络算法消耗的时间最长,分类准确性低于随机森林算法。随机森林算法的分类准确性最高,但是算法运行时间高于支持向量机算法。集成分类算法在大数据平台上表现出较好的时间性能与分类准确性。

基于Hadoop的海量数据存储平台设计

基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。

基于Hadoop架构的国产化分布式集群平台

面对军事信息系统在大数据时代的海量数据分析及数据安全需求,传统的集中式处理平台已无法满足数据增长对存储和计算能力的要求,分布式处理平台应运而生。鉴于国产化软硬件在军事信息系统中的重要地位,大数据与国产化平台相结合成为军事信息系统发展的必然趋势。介绍了Hadoop架构的主要组成,分析了分布式计算框架和Hadoop分布式文件系统(HDFS)的实现机制,梳理了国产化软硬件发展状况,探讨了国产化分布式集群平台迁移技术,以期对大数据和国产化软硬件结合应用提供借鉴。

基于Hadoop云平台的SSM框架在线动态职称评审系统的研究与实现

本项目采用Java的SSM框架技术将传统的人工职称评审模式转为在线职称评审模式,改善现阶段职称评审过程中的人工评审的不公平性和不合理性,采用Hadoop云计算平台,有效解决现有的职称评审系统平台无法满足高性能、高响应、快速扩展等在线需求,利用Hadoop实现海量数据存储,并能快速动态完成职称和被评审人员的相关信息量的分析和建模工作,该系统经过运行测试,性能稳定,效果良好.

基于Hadoop的农产品追溯系统框架研究

农产品追溯系统是保障农产品质量安全的重要措施。无线传感技术、物联网、GIS等技术不断进步和发展,为农产品信息采集提供了可能,面对采集到的海量、多源、异构的大数据,因此研究基于Hadoop农产品追溯系统的框架和关键技术具有重要意义。首先构建了基于Hadoop的农产品追溯系统中体框架;然后系统中数据采集、分布存储、大数据建库等关键技术;最后按照“高内聚,低耦合”的原则进行系统功能划分。