虚拟机环境下Hadoop集群部署与简化配置的研究与实现

Hadoop集群是学习与研究大数据不可或缺的操作平台。部署Hadoop集群需要多台计算机,在具体实践上有一定难度,也给用户带来不小的经济负担。从降低经济压力和简化Hadoop集群的部署方法着手,在低配电脑上实现Hadoop集群虚拟机的安装与优化配置。通过VMware和CentOS在单机环境下,搭建分布式Hadoop集群的方法,并给出了详细的搭建步骤。通过节点网络的配置,实现节点之间的免密登录。最后,作者简要介绍了Hadoop在安装和配置过程中常见的问题和解决方案。

面向可扩展集群环境的快速虚拟机迁移方法

在集群环境下,为了提高虚拟机Xen的迁移效率,提出了一种面向可扩展集群环境的快速可靠的虚拟机迁移方法.通过在分布式文件系统GlusterFS中增加Heartbeat监测模块,实时监测集群环境中物理机节点的加入与退出,动态创建或修改GlusterFS文件系统的配置文件.为了使GlusterFS文件系统能够自动管理节点,设计实现了基于gSOAP的内部角色通信,比传统方法增加了动态挂(卸)载集群环境中物理机节点的功能,达到了实时更新文件存储的拓扑结构的目的,在保证迁移性能和文件可靠性的同时提高了系统的扩展能力.实验结果表明,该方法能够在虚拟机迁移过程中自动分配资源,在充分利用集群资源和保证文件完整性的前提下,提高了迁移效率.

云环境下虚拟机集群系统动态负载均衡机制

针对传统的物理集群系统无法灵活应对大型互联网应用的问题,提出一种云环境下虚拟机集群的综合负载均衡机制。该方法首先定期地采集集群中虚拟机节点的CPU、内存、连接数、响应时间,以及所在物理主机的负载状况等指标信息,然后加权计算节点的综合负载并得出其权值,最后通过调度器进行任务请求的合理分配,从而解决了传统集群系统负载不均且不能适应多变的网络环境等诸多问题。实验结果表明,与加权轮询法(WRR)和加权最少连接法(WLC)调度方案相比,该机制能够在并发量较大时维持较低的响应时间,并能够根据集群中综合负载的状态实时地增加或减少虚拟机数量,通常在5 s之内达到整体集群的负载均衡。

云计算环境下基于负载平衡的数字图书馆虚拟机集群资源调度策略

为了解决云计算环境下,数字图书馆云数据中心虚拟机集群资源负载不平衡的问题,本文提出了一种云计算环境下,基于负载平衡的数字图书馆虚拟机集群资源调度策略。该策略可减少云计算环境下数字图书馆虚拟机的迁移数量,并改善云数字图书馆的用户服务质量。

Hyper_v虚拟机集群管理系统的设计与实现

随着Hyper_v虚拟机的应用普及,虚拟机资源的远程管理成为困扰企业的一个问题,主要包括:启动、停止、重启、快照、暂停、继续、保存、恢复、运行状态监测、机器信息采集等功能。本文针对上述问题展开研究,设计面向Web应用服务平台的Hyper_v虚拟机集群管理系统,介绍虚拟机集群资源管理的相关工作和阐述系统架构、功能模块特点、部署方式和优点。

FlatVC:云环境下虚拟机集群的扁平化版本控制

IaaS的发展使得云服务能够快速地部署虚拟机集群。然而,在部署过程中虚拟机群的版本控制效率不高。目前的版本控制方法存在网络负载大、操作速度慢的问题。提出一种新颖的虚拟机集群版本控制方法,叫做FlatVC。FlatVC在计算节点增量地生成虚拟机版本,以避免将版本数据传输至存储节点,并在虚拟机版本恢复时按需传输版本数据,因此减小了网络传输负载并加速了版本控制过程。通过使用缓存树结构来共享网络传输数据,FlatVC减小了根节点数据传输压力。此外,我们针对增量版本所构成的版本链进行了I/O优化,避免了版本链导致的性能下降。实验结果显示,FlatVC能有效地实施虚拟机集群版本控制,加速版本生成以及恢复过程。

虚拟环境下搭建Hadoop集群方法研究

Hadoop是当前最为流行的云计算平台实现方式之一,作为一个开源的、分布式文件系统,用于海量数据的存储与计算分析。文章在Vmware虚拟环境下,通过合理的配置创建Linux系统上的Hadoop集群。文章详细介绍了搭建Hadoop集群的准备工作、配置过程及测试,显示该集群正常运行。该集群实现方法、过程简单易行,对课程教学提供了可借鉴的方法,为后续的学习奠定了基础。

基于遗传算法的集群虚拟机资源调度研究

针对集群虚拟机的调度问题,提出了一种基于遗传算法的调度方法.此方法根据虚拟机调度问题的具体情况构造染色体和初始种群,进而根据选择、交叉、变异操作衍生种群.在适应度函数构建过程中,充分考虑了虚拟机调度中对CPU、内存、带宽的资源利用率要求、调度时间需求和服务费用需求.实验结果表明,本文调度方法获得的调度结果在资源利用率和执行时间方面都具有明显的优势.

浅谈在普通机房搭建服务器集群实验环境——基于虚拟机技术运用

在普通机房中利用虚拟机技术搭建服务器集群实验环境,使用VMware Workstation创建集群虚拟硬件环境的基本方法包括选择其支持集群的底层硬件环境处VMware Workstationr的配置。

一种基于虚拟机的高可用终端集群方案说明

本文选择了Ubuntu Linux宿主操作系统+Virtual Box虚拟机实现了集群管理层,增加了各类虚拟设备包括软件定义串口、软件定义声卡、软件定义CAN口和软件定义显示,修复了客户机3D加速缺陷,重写了网络虚拟设备以支持万兆网,基本达到了实用程度,在各种场景下掉电测试可用性约为99%。

基于负荷感知的虚拟机集群部署方法

传统的部署算法会受部署资源关系的影响导致部署时间过长,为此设计一个基于负荷感知的虚拟机集群部署方法。通过基于SVD(Singular Value Decomposition,奇异值分解)的系统性能预测模型判断和预测虚拟机资源的性能,根据资源性能的描述,以降低成本和减少资源浪费为目标,合理选择虚拟机。计算物理主机与虚拟机的相关系数,同时采用负荷感知法结合虚拟机内存与宽带之间关联性,通过加权处理计算资源权重和对主机排序,进而完成物理主机与虚拟机之间资源匹配,实现基于负荷感知的虚拟机集群部署。实验将部署时间与部署的失败次数作为对比指标,结果表明论文方法在短时间内就能够完成集群部署,并且失败次数较少,满足方法设计的需求。

关于集群虚拟机资源调度专利申请分析

随着互联网的快速发展和大数据的来临,基于数据密集型应用的集群计算框架不断涌现,计算框架都只面向某一类特定领域的应用.基于这一特点,互联网公司往往需要部署和运行多个计算框架,从而为每个应用选择最优的计算框架.集群资源统一管理和调度系统需要同时支持多种不同计算框架,如何管理集群计算资源和不同计算框架间的资源公平分配成为关键技术难点.本文从专利角度出发,对集群虚拟机资源调度领域专利申请状况进行了梳理.

一种用于虚拟集群的镜像按需分发框架

虚拟集群部署过程中,大量的镜像数据传输导致启动时间过长,可扩展性和效率受到影响。提出了镜像按需分发框架,根据虚拟机启动和运行过程中只对有限数据块访问的特性,仅传输虚拟机启动和运行所需数据块,避免了存储节点和网络瓶颈问题。进一步,提出了差异化的数据块划分方法,兼顾了镜像读写性能和分发效率：去冗余处理采用大数据块,提升管理效率和存取性能;采用小数据块划分启动区数据,提高传输效率。对于50个镜像的分发实验表明,相比于全镜像分发,按需分发速度可以提升13~22倍。

一个集群文件系统的虚拟化支持平台研究与实现

在分布式数据管理中,服务器的虚拟化是一项重要工作,将网络中的多个服务器进行虚拟集成,可以快速完成一些大型的计算任务,并且减少硬件花费,减少空间和能量消耗。多数服务器虚拟化产品具有动态迁移的特点,动态迁移技术可以使虚拟服务器在运行时从一台机器转移到另一台机器,避免因硬件维护所产生的暂时或长时间服务中断。动态迁移需要共享存储器,其性能随虚拟服务器数量增加,成为整个系统的瓶颈。提出和实现了一个基于Lustre集群文件系统的、建立在开源虚拟机解决方案KVM之上的服务器虚拟环境。实验结果证实,虚拟环境提升了虚拟服务器的输入输出性能,同时使得创建KVM用户的耗费时间明显缩短。

基于VMware vSphere环境下虚拟服务器集群的构建

大数据处理时代的来临,使得虚拟服务器集群在为企业在电力和能源成本上带来巨大的经济与社会效益的同时,也在更好地利用现有资源、提供更多可管理的应用、改进数据中心的灾难恢复方式和提高稳定性的前提下降低维护的复杂性等方面给予了巨大的提升空间.而且,寻求经济、高效的NoSQL存储和分布式存储用以支持虚拟服务器集群的海量数据存储方案也渐渐成为应对爆炸式数据增长的研究方向与应用主流.本文基于VMware vSphere环境,使用企业级的开源集群存储Openfiler,为企业级、高可用的虚拟服务器集群的构建提供了一种较为经济可行的解决方案.

一种数据挖掘算法在Hadoop集群上的研究与实现

近年来,采集和处理大容量数据,从大量数据中提取出有价值数据的技术在不断提升。用户对庞大的数据迅速获取、发掘和分析处理,洞察有价值的数据、获得商业价值、帮助用户识别、实时决策、预测趋势并做出响应是数据挖掘的本质。根据用户的网络行为确定用户的品位与爱好,推荐给用户可能感兴趣的物品、新闻或好友,向企业提供实时状态更新的依据等,是数据挖掘的目标。协同过滤算法是数据挖掘的案例,也是最为热门的机器学习算法。阐述了基于物品的协同过滤算法在虚拟机Hadoop集群上的实现,探讨大数据挖掘技术的实现过程。

基于状态转移图的虚拟集群节点可用性分析

针对虚拟集群节点的可用性评价,提出了一种基于状态转移图的虚拟集群节点可用性模型。首先,通过分析虚拟集群节点的部署方式和运行过程,确立了虚拟集群节点的5种生命周期状态,并阐明了5种生命周期状态之间的转移关系;然后,对于无备用节点和有备用节点两种情况下的虚拟集群节点,分别给出了相应的状态转移图,并建立了一系列的可用性模型。根据实际虚拟集群系统的运行日志,设定所提出的虚拟集群节点可用性模型的参数值,然后进行了多次数值模拟实验。实验结果表明,所提出的虚拟集群节点可用性模型的分析结果与实际可用性水平一致,能够正确地反映虚拟集群节点的可用性规律。

TDDS:基于虚拟集群系统的任务部署与调度

利用虚拟机的灵活性和快速部署能力,设计并实现了任务部署与调度系统(task deployment and dispatch system,TDDS).TDDS能够根据用户的需求,为用户的计算任务提供可以进行资源配置的集群计算环境,满足了用户对不同操作系统、不同应用程序和不同计算资源的需求.TDDS还使用了负载均衡策略,以提高物理集群资源的利用率.提出了两种虚拟机部署策略,用以加快虚拟集群部署的速度.TDDS尽量控制虚拟机系统镜像的大小和访问频率,以提高部署的效率.实验表明,TDDS系统能够快速灵活地部署用户所需要的计算环境和计算资源,负载均衡的调度策略也切实提高了物理集群处理任务的能力,提高了集群的使用率.

集群系统进程迁移机制研究

进程迁移是提高集群系统整体性的基础机制之一。作者在本文中首先详细地论述了进程迁移机制的关键技术 ,然后描述了在集群系统中PVM迁移原理 ,接着重点分析了在Linux集群中进程迁移算法的设计 ,最后对集群系统中与进程迁移机制相关的技术做了讨论。

可能量感知的虚拟Web集群系统设计

传统的静态资源配置方式在动态、突发性负载环境下导致了集群系统、数据中心等大规模系统中极低的资源利用率和极高的能量消耗.本文提出并设计了一个应对突发性负载的可能量感知的自适应Web集群系统.相对于传统的资源监测方式,本文提出了轻量级的基于Web访问连接数的敏感因子以实现对系统负载的实时捕捉,并以虚拟机为粒度实现系统的自适应配置,同时将系统中闲置的节点转入低能耗状态以降低整个系统的能耗.另外,本文还提出并实现了利用滞回控制来处理负载在短时间内出现的乒乓波动效应.实验结果表明该系统灵敏度高,稳定,而且在突发性负载情况下的节能效果明显.