Hadoop集群服务监控预警系统的实现

介绍了一种用于Hadoop集群自动化监控、预警系统的实现。通过获取集群节点的内存、CPU、磁盘信息统计节点系统信息,同时统计集群各类Hadoop基础服务的基础信息,如服务的内存使用、存活状态等。系统对收集的信息做异常信息处理与告警,自动推送给系统运维,极大提高了运维的响应速度,缩短问题定位、解决周期。

基于分布式微服务和Hadoop集群的系统研究

近年来,微服务是较流行的系统研发方案,与单机服务架构相比,它解决了行业上的许多痛点,比如大量数据同时对服务的访问,数据量暴增导致服务崩溃的问题。以构建一个商城网站分布式微服务系统为例,对基于分布式微服务和Hadoop集群的系统进行研究,利用Spring Cloud Alibaba框架将系统垂直切分为10个独立的业务服务:注册微服务、网关微服务、第三方微服务、商品微服务、会员微服务、检索微服务、库存微服务、购物车微服务、订单微服务和秒杀微服务。系统集成Nacos做服务注册发现和配置,使用Gateway做路由网关,结合Sentinel熔断机制提高了系统的容错性,并使用Docker容器快速独立部署所有微服务,实现了开发、测试、部署运维的一体化。为应对大量数据群的存储与处理,在对数据进行计算处理中,使用Hadoop集群对资源进行管理和计算,并使用聚类的协同过滤推荐算法解决网站商品与用户的智能匹配。

基于Docker技术的Hadoop集群实验环境设计与实现

针对大数据教学实训环境存在成本高、维护难的问题,提出基于Docker技术在个人计算机上搭建Hadoop集群实验环境的方案。该方案在不改动计算机原有软件环境的情况下,在Windows操作系统中创建一台虚拟机,并在该台虚拟机内创建3个Docker容器搭建完全分布式的Hadoop集群实验环境。该方案简单、易实现,能够为教师和学生的大数据实践提供基础平台环境。

基于节点能力的Hadoop集群任务自适应调度方法

针对当前Hadoop集群固有的任务级调度分配方法在运行中存在的负载分布不均的现象,着重对集群节点的执行能力进行了分析与研究.提出了一种基于节点能力的任务自适应调度分配方法.该方法根据节点历史和当前的负载状态,以节点性能、任务特征、节点失效率等作为节点任务量调度分配的依据,并使各节点能自适应地对运行的任务量进行调整.实验结果表明集群的总任务完成时间明显地缩减,各节点的负载更加均衡,节点资源的利用更为合理.

Hadoop集群性能参数自动调优信息库系统构建

为了使Hadoop集群系统能够应对多变的任务及系统本身节点差异对集群性能带来的影响,采用TaskConfigure服务器构建Hadoop集群参数信息库系统实现对集群参数的自动调优配置.通过对集群节点及任务的分类,提出集群按类分配配置参数及采用节点资源利用效率生成集群系统参数的优化配置值.实验结果表明,参数信息库系统的自动调优保证了集群工作性能的充分发挥,有效地缩短了集群执行任务的工作时间,使集群具有良好的稳定性和扩展性.

异构Hadoop集群下自适应平衡数据存储的大数据放置策略

Hadoop是一种处理和存储大数据的平台,针对异构Hadoop集群下采用均等数据分配方法易降低系统计算性能的问题,提出一种自适应平衡数据存储的大数据放置策略。根据异构集群中各节点的计算能力比例,将数据分配到节点中。在任务处理过程中,根据反馈的任务完成时间信息,动态更新节点的能力比例,自适应调整数据分配,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间的数据移动量,提高了节点利用率。实验结果表明,该策略能够有效缩减任务完成时间,提高了系统的整体性能。

一种Hadoop集群下的行为异常检测方法

随着分布式计算技术的发展,Hadoop成为大规模数据处理领域的典型代表,由于安全机制相对薄弱,缺少用户行为活动的监控,容易受到隐藏的安全威胁,如数据泄露等。结合主成分分析计算的特点,基于MapReduce对其做并行化处理,克服了传统主成分分析计算的缺点,提高了模型训练效率。提出了一种基于并行化主成分分析的异常行为检测方法,即比较当前用户的行为模式是否与历史行为模式相匹配作为判定用户行为异常与否的度量标准。实验表明该方法能够较好地发现用户的异常行为。

基于异构Hadoop集群的负载均衡策略研究

异构Hadoop环境中,每个节点的处理能力各不相同,且集群中的节点会不断增加和删除,随着作业量的增大,负载倾斜会越来越明显。显然,负载均衡也成为影响Hadoop集群性能的重要因素之一。针对异构Hadoop环境中MapReduce任务调度,提出了一种新的负载均衡算法。该算法充分利用节点性能和当前的计算资源,根据集群负载平衡度量值进行任务分配,将任务分配给适合的节点,使集群负载逐渐趋于平衡,以提高集群节点利用率。由于Hadoop集群中各节点通过网络连接,以节省网络传输代价,因此在负载均衡调度时,根据数据分布特点,优先考虑数据的本地性,以缩短任务执行时间。仿真实验结果表明,所提出的负载均衡算法能明显改善系统性能,有效缩短MapReduce作业执行时间。

基于Hadoop集群的多表并行关联算法及应用

针对因特网环境下并行数据库实现多个大数据表关联存在的计算瓶颈,基于Hadoop集群设计了一个并行关联多个大数据表的简便算法MR_Join。以商业网站凡客诚品的销售数据为例进行实验,验证算法的可行性并做出应用实例。实验结果表明,MR_Join算法可以有效地实现大数据表的快速关联,具有显著的并行效率。

Hadoop集群性能优化技术研究

Hadoop技术已经在互联网领域得到广泛的应用,同时也得到了学术界的普遍关注。该文介绍了Hadoop作为基础数据处理平台仍然存在的问题,阐明了Hadoop性能优化技术研究的必然性,并介绍了当前Hadoop优化的三个主要思路：从应用程序角度进行优化、对Hadoop系统参数进行优化和对Hadoop作业调度算法进行优化。Hadoop集群优化对于提高系统性能和执行效率具有重大的意义。

虚拟机环境下Hadoop集群部署与简化配置的研究与实现

Hadoop集群是学习与研究大数据不可或缺的操作平台。部署Hadoop集群需要多台计算机,在具体实践上有一定难度,也给用户带来不小的经济负担。从降低经济压力和简化Hadoop集群的部署方法着手,在低配电脑上实现Hadoop集群虚拟机的安装与优化配置。通过VMware和CentOS在单机环境下,搭建分布式Hadoop集群的方法,并给出了详细的搭建步骤。通过节点网络的配置,实现节点之间的免密登录。最后,作者简要介绍了Hadoop在安装和配置过程中常见的问题和解决方案。

虚拟环境下搭建Hadoop集群方法研究

Hadoop是当前最为流行的云计算平台实现方式之一,作为一个开源的、分布式文件系统,用于海量数据的存储与计算分析。文章在Vmware虚拟环境下,通过合理的配置创建Linux系统上的Hadoop集群。文章详细介绍了搭建Hadoop集群的准备工作、配置过程及测试,显示该集群正常运行。该集群实现方法、过程简单易行,对课程教学提供了可借鉴的方法,为后续的学习奠定了基础。

基于混合蚁群遗传算法的Hadoop集群作业调度

提出了一种基于蚁群与遗传算法融合的自适应作业调度机制,将遗传算法全局收敛、快速搜索的优点与蚁群算法正反馈、高求精率的优势相结合,以变异策略来加快局部寻优,提高收敛速度.实验结果表明本文算法可快速找到最适合当前作业的节点,有效提高Hadoop集群作业调度的效率.

探究基于节点能力的Hadoop集群任务自适应调度方法

Hadoop特有的集群任务,在真正运行之中,常会凸显不均衡态势下的负载情况。本文辨识了集群节点表现出来的执行特性、节点执行能力。建构在节点能力根基之上的多重任务,含有自适应调度这一配置方式。这类调度路径,按照节点特有的历程、现存负载状态、节点特性及关联的失效率,调整着各时段的运行总量。测验出来的数值表明,集群任务耗费的完成时段被显著缩减,节点荷载的总负荷均衡,资源调配适当。

减少Hadoop集群中网络队头阻塞的调度算法

大数据分析系统的用户希望任务的执行时间尽可能短。然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈。通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模式之间切换;2)子任务的调度应当充分考虑将来可能到达的新任务,而不能仅考虑当前已经提交的任务。基于上述观察,设计并实现了全新的任务调度系统Duopoly,其由感知计算资源的网络调度器cans与感知网络资源的子任务调度器nats两部分组成。通过小规模物理集群与大规模仿真实验对Duopoly的效果进行评估,实验结果表明,与现有工作相比,Duopoly可以将平均任务完成时间缩短37.30%~76.16%。

Hadoop集群异常节点实时检测与诊断算法

针对Hadoop集群节点增加导致任务运行效率降低,以及异常节点会拖慢整体作业进度的问题,提出了一种Hadoop集群异常节点实时检测与诊断算法。首先基于正常状态下节点性能相似性原理,使用Logstash工具收集Hadoop集群节点运行日志中的任务状态信息;其次,发现异常节点后,通过Perf性能分析工具收集体系结构性能信息,再利用异常节点诊断算法诊断导致该节点异常的原因。通过实时流计算框架Spark Streaming构建了异常节点实时检测与诊断模型,并设计了一系列的实验验证了本算法的有效性。

Hadoop集群中影响应用性能的因素分析

针对Hadoop集群中应用执行的低效率、高成本问题,首先,通过对Hadoop分布式存储技术和并行编程模型的分析,发现数据集采用单文件还是多文件方式,以及数据块划分的大小是影响其性能的主要因素.其次,设计实验探讨了不同规模集群环境下,两类数据集以及不同大小的数据块对应用性能的影响程度.最后,综合实验结果发现,在数据量一定的情况下,随着数据块的增大,map任务数的变化导致大文件数据集的执行效率越来越高于小文件数据集的执行效率;另外,两类数据集在小规模集群(1个Slave)上的执行效率大约均是大规模集群(10个Slave)下的2倍.故此,在Hadoop集群环境中为了提高应用性能,应通过增大数据块等方法来减少map任务数,而不应盲目增大集群规模.该结论可对Hadoop集群环境下应用效率的优化提供参考.

面向Hadoop集群并行处理的复杂交通环境监控视频中运动目标检测方法

复杂交通环境视频中运动目标的自动检测是智能视频犯罪侦查系统的关键技术之一。本文提出了一种在Hadoop集群上对复杂交通环境视频中的运动目标进行检测的方法——OHMOFD方法,该方法是对帧差法进行改进,有效地克服了传统帧差法检测运动物体时容易出现孔洞的缺点并适合Hadoop集群并行处理。OHMOFD方法在Hadoop集群上实现了一层次并行运动目标检测。实验表明,车辆行人运动目标检测效果较好,检测效率也比运行在PC单机上的串行检测算法效率有明显提高。

关于Hadoop集群作业调度算法的探讨

随着信息和数据爆炸式增长,Hadoop等海量数据处理平台日益重要,作业调度算法是Hadoop集群的核心,本文对Hadoop集群默认的三种作业调度算法以及异构集群环境下的作业调度算法进行了系统的研究和对比,并提出了今后相关科研工作的重点。

基于Hadoop集群的大数据新闻可视化平台的设计

本文设计了一种基于Hadoop高可用集群的大数据新闻可视化平台。搭建Hadoop高可用集群并部署相关服务之后采用分布式爬虫采集数据,通过SparkStreaming完成对实时流数据的处理,最后使用百度Sugar实现了热点新闻数据的可视化,经测试系统稳定,能够在较短时间内处理海量新闻数据。以此为基础还构建了一个新闻语料库,可以为日后的机器学习、语料库研究提供数据支撑。