期刊文献+
共找到33篇文章
< 1 2 >
每页显示 20 50 100
基于分布式微服务和Hadoop集群的系统研究
1
作者 陈泽川 宁腾飞 +2 位作者 李智 余文福 王超 《物联网技术》 2023年第1期107-108,111,共3页
近年来,微服务是较流行的系统研发方案,与单机服务架构相比,它解决了行业上的许多痛点,比如大量数据同时对服务的访问,数据量暴增导致服务崩溃的问题。以构建一个商城网站分布式微服务系统为例,对基于分布式微服务和Hadoop集群的系统进... 近年来,微服务是较流行的系统研发方案,与单机服务架构相比,它解决了行业上的许多痛点,比如大量数据同时对服务的访问,数据量暴增导致服务崩溃的问题。以构建一个商城网站分布式微服务系统为例,对基于分布式微服务和Hadoop集群的系统进行研究,利用Spring Cloud Alibaba框架将系统垂直切分为10个独立的业务服务:注册微服务、网关微服务、第三方微服务、商品微服务、会员微服务、检索微服务、库存微服务、购物车微服务、订单微服务和秒杀微服务。系统集成Nacos做服务注册发现和配置,使用Gateway做路由网关,结合Sentinel熔断机制提高了系统的容错性,并使用Docker容器快速独立部署所有微服务,实现了开发、测试、部署运维的一体化。为应对大量数据群的存储与处理,在对数据进行计算处理中,使用Hadoop集群对资源进行管理和计算,并使用聚类的协同过滤推荐算法解决网站商品与用户的智能匹配。 展开更多
关键词 微服务架构 分布式框架 hadoop 计算 聚类 推荐
下载PDF
基于Hadoop的分布式集群大数据动态存储系统设计 被引量:39
2
作者 陈磊 吴晓晖 《中国电子科学研究院学报》 北大核心 2019年第6期593-598,共6页
由于大数据计算需求逐渐增大,数据存储需求也逐渐增长,传统集成式大数据存储系统未能合理均衡存储服务器负载情况,导致系统存储效率低,易出现系统崩溃状况。针对该问题,设计基于Hadoop的分布式集群大数据动态存储系统。首先,通过中央控... 由于大数据计算需求逐渐增大,数据存储需求也逐渐增长,传统集成式大数据存储系统未能合理均衡存储服务器负载情况,导致系统存储效率低,易出现系统崩溃状况。针对该问题,设计基于Hadoop的分布式集群大数据动态存储系统。首先,通过中央控制集群获取用户需求;然后,通过高速以太网连接模块下达采集指令至大数据采集集群,大数据采集集群受中央控制集群的调度,快速采集动态数据并定期把缓存数据导入大数据永久存储集群中,实现数据定期存储更新;最后,采用改进动态负载均衡算法均衡系统存储服务器的负载情况,获取综合指标参数值,将最大参数值的服务器存储动态数据。经验证,所提设计系统的存储响应速度快、存储耗时短,负载均衡性能优。 展开更多
关键词 hadoop 分布式 大数据 动态存储 负载均衡
下载PDF
基于CentOS的Hadoop分布式集群的构建方法研究 被引量:4
3
作者 许礼捷 《沙洲职业工学院学报》 2016年第1期23-28,共6页
阐述Hadoop分布式集群的系统环境和节点规划,详细分析了主机名修改、密码验证配置、多个配置文件修改等关键步骤和技术要点,总结了基于多台Cent OS服务器部署Hadoop分布式集群的方法,并在该集群上运行单词统计的程序,测试验证了Hadoop... 阐述Hadoop分布式集群的系统环境和节点规划,详细分析了主机名修改、密码验证配置、多个配置文件修改等关键步骤和技术要点,总结了基于多台Cent OS服务器部署Hadoop分布式集群的方法,并在该集群上运行单词统计的程序,测试验证了Hadoop分布式集群下大数据处理的运行结果。 展开更多
关键词 CENTOS hadoop 分布式 部署
下载PDF
基于Hadoop的分布式索引集群的研究 被引量:3
4
作者 王伟 《电脑知识与技术(过刊)》 2011年第12X期9043-9044,共2页
在处理海量数据的系统中,分布式系统是很好的解决方案,对海量级的数据进行查询和检索建立索引是必要的。针对传统索引的创建和维护效率不高的情况,设计了一种基于Hadoop的分布式索引集群的解决方案。利用Hadoop的分布式存储和计算能力,... 在处理海量数据的系统中,分布式系统是很好的解决方案,对海量级的数据进行查询和检索建立索引是必要的。针对传统索引的创建和维护效率不高的情况,设计了一种基于Hadoop的分布式索引集群的解决方案。利用Hadoop的分布式存储和计算能力,采用基于DHT(Distributed Hash Table)的分布式索引算法,将操作分散到分布式索引集群的各个节点上进行并行处理以提高数据的查询和检索效率。 展开更多
关键词 海量数据 hadoop 分布式索引 分布式哈希表
下载PDF
基于Hadoop的分布式集群平台构建方法研究 被引量:5
5
作者 鲍彤 陈维锋 卢磊 《信息通信》 2013年第8期21-22,共2页
随着网络技术的发展,用户的数据量呈现指数级的增长,产生的海量数据单靠一台高性能的计算机存储,成本很高,不适合大部分的用户。基于Hadoop分布式集群平台,在构建低价的硬件上,成本低,应用场合广泛,能够满足海量数据存储的需求。介绍了H... 随着网络技术的发展,用户的数据量呈现指数级的增长,产生的海量数据单靠一台高性能的计算机存储,成本很高,不适合大部分的用户。基于Hadoop分布式集群平台,在构建低价的硬件上,成本低,应用场合广泛,能够满足海量数据存储的需求。介绍了Hadoop发展前景趋势和三大核心技术,详细分析了分布式集群的构建方法,成功构建分布式集群平台。 展开更多
关键词 hadoop 海量数据 分布式
下载PDF
大数据Hadoop集群下Sqoop数据传输技术研究
6
作者 周少珂 郭璇 +1 位作者 张振平 付媛冰 《河南科技》 2024年第6期25-28,共4页
【目的】Hadoop系统是大数据分布式集群系统,其开源的生态圈中有众多功能组件,通过在大数据Hadoop集群系统上部署Sqoop组件,将本地关系型Mysql数据库中的数据和Hive数据仓库中存储的数据进行快速导入导出,进一步研究数据传输性能。【方... 【目的】Hadoop系统是大数据分布式集群系统,其开源的生态圈中有众多功能组件,通过在大数据Hadoop集群系统上部署Sqoop组件,将本地关系型Mysql数据库中的数据和Hive数据仓库中存储的数据进行快速导入导出,进一步研究数据传输性能。【方法】首先在企业服务器上部署配置Hadoop分布式集群系统,其次在该集群上部署Sqoop组件并测试与Mysql数据库和Hive数据仓库的连通性,最后使用Sqoop技术测试本地Mysql数据库和Hive数据仓库之间的导入和导出。【结果】通过Sqoop技术能够更加便捷快速地从本地Mysql数据库上传到Hadoop集群系统,与传统方式下先将本地Mysql数据库中数据导出TXT文档格式后再使用Hive数据仓库的Load数据批量加载功能相比,在时间和效率方面大为提升。【结论】验证了Sqoop组件在Hadoop集群中部署运行的正确性,为大数据技术学习者提供一定程度的参考借鉴。 展开更多
关键词 大数据 hadoop 分布式 Sqoop
下载PDF
基于Hadoop分布式集群搭建方法研究 被引量:5
7
作者 罗利 《科学技术创新》 2021年第7期99-100,共2页
Hadoop是大数据分布式基础架构之一,主要解决海量数据的存储和计算。文中详细介绍了Hadoop集群搭建的环境准备、配置过程、测试使用,运行单词统计程序,该平台可以满足轻量化的学习需求。
关键词 hadoop 大数据 分布式
下载PDF
大数据Hadoop技术完全分布式集群部署 被引量:18
8
作者 周少珂 王雷 +2 位作者 崔琳 郭璇 万小舟 《工业控制计算机》 2021年第8期101-103,共3页
物联网和云计算技术发展,促进了大数据时代到来,大数据技术经过十几年的发展逐步走向稳定、成熟。基于Hadoop框架模式下对3台主机,每台同样的6个核心文档进行详细配置,最终构建成一个小型的分布式集群,通过集群测试,能够正常工作并提供... 物联网和云计算技术发展,促进了大数据时代到来,大数据技术经过十几年的发展逐步走向稳定、成熟。基于Hadoop框架模式下对3台主机,每台同样的6个核心文档进行详细配置,最终构建成一个小型的分布式集群,通过集群测试,能够正常工作并提供服务。Hadoop完全分布式集群的成功搭建为大数据工程研究提供了基础环境,为大数据下一步深层次理论研究提供技术依托。 展开更多
关键词 大数据 hadoop 分布式计算 HDFS MapReduce
下载PDF
基于hadoop的大数据分布式集群平台搭建的研究 被引量:4
9
作者 郑文青 《计算机产品与流通》 2017年第12期143-143,共1页
伴随着信息技术的高速发展,我们迎来数据大爆发的时代。在当今大数据时代中,各种来源的海量数据成为我们重要的资产。如何对大数据的进行合理有效地处理和分析成为研究的重要热点。海量、高扩展的大数据对分布式集群平台的搭建提出了新... 伴随着信息技术的高速发展,我们迎来数据大爆发的时代。在当今大数据时代中,各种来源的海量数据成为我们重要的资产。如何对大数据的进行合理有效地处理和分析成为研究的重要热点。海量、高扩展的大数据对分布式集群平台的搭建提出了新的要求。Hadoop具备方便、可扩展性等优势,成为大数据分布式集群平台搭建的主力军。本文首先概述了hadoop核心技术,接着介绍了基于hadoop的大数据分布式集群平台搭建过程,然后阐述了搭建过程出现的问题并提出了解决方案,最后对全文进行了总结和展望。 展开更多
关键词 大数据 hadoop 分布式平台
下载PDF
一种基于HIVE和分布式集群的大量数据高效处理方法研究 被引量:33
10
作者 侯晓芳 王欢 李瑛 《中国电子科学研究院学报》 北大核心 2018年第3期315-320,共6页
为了对海量电子日志数据进行有效处理,提出一种基于HIVE和分布式集群的综合解决方案。首先,从需求分析出发,阐述了分布式集群搭建、虚拟机的Flume配置和HIVE数据处理;然后,进行数据采集和清洗、业务逻辑处理及优化、数据合并与查询。实... 为了对海量电子日志数据进行有效处理,提出一种基于HIVE和分布式集群的综合解决方案。首先,从需求分析出发,阐述了分布式集群搭建、虚拟机的Flume配置和HIVE数据处理;然后,进行数据采集和清洗、业务逻辑处理及优化、数据合并与查询。实验以统计分析网站访问排名为例,对具体的表结构和实施过程进行描述,并验证其可行性。结果表明:与其他框架相比,所提大数据综合处理方法在数据采集和日志处理方面更效率,且省去了处理业务逻辑的大量Java代码,可用性更佳。 展开更多
关键词 分布式 虚拟机 日志数据 HIVE hadoop 大数据
下载PDF
基于Hadoop的分布式主题网络爬虫的设计与实现 被引量:2
11
作者 施磊磊 施化吉 +1 位作者 宋玉平 束长波 《信息技术》 2015年第7期109-112,共4页
随着大数据时代的来临,传统的单机式或多线程式的主题爬虫已经很难满足海量数据的爬取任务。为此,首先采用向量空间模型来提高下载网页的主题相关度,然后引入MapReduce分布式计算模型以达到高效率的分布式海量爬取,同时利用基于HDFS的HB... 随着大数据时代的来临,传统的单机式或多线程式的主题爬虫已经很难满足海量数据的爬取任务。为此,首先采用向量空间模型来提高下载网页的主题相关度,然后引入MapReduce分布式计算模型以达到高效率的分布式海量爬取,同时利用基于HDFS的HBase分布式数据库达到高效率的分布式海量存储,最后通过实验结果数据验证设计的主题爬虫模型的高效性、扩展性、可靠性和稳定性。 展开更多
关键词 主题爬虫 hadoop 分布式
下载PDF
基于Linux的Hadoop集群搭建的探索与实现 被引量:7
12
作者 吴建 《物联网技术》 2023年第7期134-137,141,共5页
大数据时代,数据的存储与挖掘至关重要,Hadoop作为分布式计算平台,能够处理海量数据,并对数据进行分析。基于Hadoop集群的特征,文中主要介绍了Hadoop三大核心组件—分布式存储系统HDFS、分布式计算框架MapReduce和资源管理平台YARN,阐述... 大数据时代,数据的存储与挖掘至关重要,Hadoop作为分布式计算平台,能够处理海量数据,并对数据进行分析。基于Hadoop集群的特征,文中主要介绍了Hadoop三大核心组件—分布式存储系统HDFS、分布式计算框架MapReduce和资源管理平台YARN,阐述了Hadoop集群搭建的详细过程,并以单词词频统计为例进行了Hadoop集群的实际运用,验证了Hadoop集群的正确性与可行性,给深度学习Hadoop打下坚实的基础。 展开更多
关键词 大数据 hadoop HDFS MAPREDUCE 分布式 SSH免密
下载PDF
基于Linux的Hadoop数据集群平台教学实践 被引量:1
13
作者 杜啸楠 银莉 《集成电路应用》 2023年第7期416-417,共2页
阐述Hadoop系统中的MapReduce框架已经无法完全满足数据处理的需求,而Spark在数据处理方面更加高效。Spark的运行需要依托于分布式计算平台,因此Hadoop平台中的HDFS分布式文件系统,以及集群资源管理器Yarn,为其运行提供了不可或缺的基... 阐述Hadoop系统中的MapReduce框架已经无法完全满足数据处理的需求,而Spark在数据处理方面更加高效。Spark的运行需要依托于分布式计算平台,因此Hadoop平台中的HDFS分布式文件系统,以及集群资源管理器Yarn,为其运行提供了不可或缺的基础。探讨Hadoop大数据平台的创建与课程教学实践相融合,从而使大数据平台的应用更加完善。 展开更多
关键词 计算机系统 大数据技术 hadoop MAPREDUCE 分布式 资源管理
下载PDF
基于Docker技术的Hadoop集群实验环境设计与实现
14
作者 许新刚 吕国庆 王梦婷 《信息与电脑》 2023年第19期38-42,131,共6页
针对大数据教学实训环境存在成本高、维护难的问题,提出基于Docker技术在个人计算机上搭建Hadoop集群实验环境的方案。该方案在不改动计算机原有软件环境的情况下,在Windows操作系统中创建一台虚拟机,并在该台虚拟机内创建3个Docker容... 针对大数据教学实训环境存在成本高、维护难的问题,提出基于Docker技术在个人计算机上搭建Hadoop集群实验环境的方案。该方案在不改动计算机原有软件环境的情况下,在Windows操作系统中创建一台虚拟机,并在该台虚拟机内创建3个Docker容器搭建完全分布式的Hadoop集群实验环境。该方案简单、易实现,能够为教师和学生的大数据实践提供基础平台环境。 展开更多
关键词 Docker容器 大数据技术 hadoop 分布式环境
下载PDF
基于Hadoop的分布式并行增量爬虫技术研究 被引量:4
15
作者 刘芳云 张志勇 李玉祥 《计算机测量与控制》 2018年第10期269-275,308,共8页
面对多媒体社交网络中在线视频的爆炸式增长,使用单机模式下爬虫提取新视频页面的效率低下,为此,提出一种基于Map/Reduce的并行算法,大大提高了爬虫的效率;但是为了进一步改善数据冗余问题,减少过时页面的更新,改进了一种精度感知增量... 面对多媒体社交网络中在线视频的爆炸式增长,使用单机模式下爬虫提取新视频页面的效率低下,为此,提出一种基于Map/Reduce的并行算法,大大提高了爬虫的效率;但是为了进一步改善数据冗余问题,减少过时页面的更新,改进了一种精度感知增量更新算法,利用监控技术监控网页变化情况,分析网页更新模式,增加新鲜度评估和降维处理,使用混合整数二次规划方法为发生更改的网页制定最优的刷新策略;实验证明,相比单机模式下定期频繁的刷新策略,该并行增量方法以原刷新代价的36.7%获得了79%的信息精确度,爬虫效率提高了167倍。 展开更多
关键词 hadoop 分布式爬虫 并行爬虫 增量爬虫 刷新策略
下载PDF
基于Redis和Hadoop的分布式水文模型并行率定研究
16
作者 陈平 张德健 何原荣 《南宁师范大学学报(自然科学版)》 2019年第4期50-56,共7页
针对分布式水文模型的率定过程海量计算难题,本研究提出了基于Hadoop和Redis集群的泛化似然不确定估计(GLUE)率定算法——HR-GLUE。该方法通过Redis缓存模型输入,利用MapReduce算法实现的GLUE率定方法并行计算。研究以典型分布式水文模... 针对分布式水文模型的率定过程海量计算难题,本研究提出了基于Hadoop和Redis集群的泛化似然不确定估计(GLUE)率定算法——HR-GLUE。该方法通过Redis缓存模型输入,利用MapReduce算法实现的GLUE率定方法并行计算。研究以典型分布式水文模型——SWAT(Soil and Water Assessment Tool)的并行率定为例对该方法的计算效率和效果进行了验证。结果表明HR-GLUE可以显著堤高模型的率定速度,在14个作业节点的Hadoop集群满负荷工作时,可将模型的速度提高28.9倍,且利用其速度优势,可获得更优的率定效果。 展开更多
关键词 hadoop HR-GLUE算法 Redis 分布式水文模型
下载PDF
基于Hadoop的分布式海量话单计费的设计与实现 被引量:1
17
作者 李建林 武小波 《中国新通信》 2020年第19期53-54,共2页
本文主要探索运营商对于用户的海量话单,使用Hadoop的分布式技术快速进行计费计算和计费出账,利用集群节点实现对用户消费记录的准确、完整计费,解决话单快速增长带来的计费性能下降问题。
关键词 hadoop 分布式 计费
下载PDF
基于Hadoop集群的日志分析系统的设计与实现 被引量:2
18
作者 陈森博 陈张杰 《电脑知识与技术》 2013年第12期7647-7650,7655,共5页
当前Internet上存在着海量的日志数据,他们中蕴藏着大量可用的信息。对海量数据的存储和分析都是一个艰巨而复杂的任务,单一主机已经无法满足要求,使用分布式存储和分布式计算来分析数据已经成为了必然的趋势。分布式计算框架Hadoop... 当前Internet上存在着海量的日志数据,他们中蕴藏着大量可用的信息。对海量数据的存储和分析都是一个艰巨而复杂的任务,单一主机已经无法满足要求,使用分布式存储和分布式计算来分析数据已经成为了必然的趋势。分布式计算框架Hadoop已经日趋成熟,被广泛的应用于很多领域。该文描述了一个针对大日志分析的分布式集群的构建与实现过程。介绍了日志分析的现状,使用vmware虚拟机搭建了Hadoop集群和日志分析系统的构建方法,并对实验结果进行了分析。 展开更多
关键词 分布式计算 日志分析 hadoop VMWARE
下载PDF
虚拟环境下搭建Hadoop集群方法研究 被引量:3
19
作者 高丽 《现代信息科技》 2021年第11期21-23,共3页
Hadoop是当前最为流行的云计算平台实现方式之一,作为一个开源的、分布式文件系统,用于海量数据的存储与计算分析。文章在Vmware虚拟环境下,通过合理的配置创建Linux系统上的Hadoop集群。文章详细介绍了搭建Hadoop集群的准备工作、配置... Hadoop是当前最为流行的云计算平台实现方式之一,作为一个开源的、分布式文件系统,用于海量数据的存储与计算分析。文章在Vmware虚拟环境下,通过合理的配置创建Linux系统上的Hadoop集群。文章详细介绍了搭建Hadoop集群的准备工作、配置过程及测试,显示该集群正常运行。该集群实现方法、过程简单易行,对课程教学提供了可借鉴的方法,为后续的学习奠定了基础。 展开更多
关键词 虚拟环境 hadoop 分布式系统
下载PDF
一种流程工业的分布式海量报警管理系统 被引量:1
20
作者 胡静泓 李德文 +1 位作者 黄文君 杨奇泽 《上海交通大学学报》 EI CAS CSCD 北大核心 2015年第11期1660-1664,1669,共6页
提出了一种应用于流程工业的分布式海量报警管理系统,利用Hadoop平台的分布式可扩展特性实现了海量报警数据的可靠存储和高效处理.在数据存储层,通过合理的列式存储结构设计,实现了海量报警数据的分布式集群存储;在信息查询层,实现了类M... 提出了一种应用于流程工业的分布式海量报警管理系统,利用Hadoop平台的分布式可扩展特性实现了海量报警数据的可靠存储和高效处理.在数据存储层,通过合理的列式存储结构设计,实现了海量报警数据的分布式集群存储;在信息查询层,实现了类MapReduce过程的报警管理系统分布式并行查询模型;在功能应用层,根据业务需求实现了基本的报警管理功能模块.测试结果表明,面对海量报警数据的应用场景,基于Hadoop平台的分布式海量报警管理系统比传统报警管理系统具有更为出色的性能. 展开更多
关键词 海量报警管理 流程工业 hadoop 列式存储结构设计 分布式存储 分布式并行查询模型
下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部