基于Docker集群的弹性任务调度模型构建

针对Docker集群访问量具有随机性和不确定性的问题,在提出基于多指标灰色负载预测基础上,通过增加或减少应用容器的方式,实现集群任务的弹性调度,实现集群应用性能和负载均衡。实验结果表明,所提出的基于多指标灰色负载预测算法的弹性任务调度策略,可适应web应用的动态变化,保证高负载状态下应用可即时响应,低负载状态下集群的资源利用率最高。

基于Docker技术的Hadoop集群实验环境设计与实现

针对大数据教学实训环境存在成本高、维护难的问题,提出基于Docker技术在个人计算机上搭建Hadoop集群实验环境的方案。该方案在不改动计算机原有软件环境的情况下,在Windows操作系统中创建一台虚拟机,并在该台虚拟机内创建3个Docker容器搭建完全分布式的Hadoop集群实验环境。该方案简单、易实现,能够为教师和学生的大数据实践提供基础平台环境。

边缘计算中支持分簇编排的应用缓存方法研究

移动边缘计算通过在距离终端更近的位置提供计算存储服务来提供更优的任务处理表现.为减少系统通信链路压力,进一步优化任务处理时延和能耗,本文首先提出了一种支持位置更新的分布式分簇编排策略,对通信区域进行分簇和簇头选取,簇头作为编排节点进行簇内管理,当有卸载任务时寻找最佳执行设备进行处理;然后基于Docker容器提出应用程序协作缓存算法,通过在存储资源丰富的设备中提前部署高频拉取的应用程序来降低任务部署延迟,从而进一步降低任务处理延迟;最后应用多接入边缘计算仿真平台进行对比实验,结果表明提出的分簇编排策略和协作缓存算法可以有效降低网络和CPU占用率,获得超低任务部署和完成时延,显著提高服务质量,并显示出强可扩展性.

利用Docker容器技术构建大数据实验室

目前大数据人才培养在国内外高校开始普及,但大数据实验室的几种常用建设方法都存在着诸多问题。针对大数据实验环境的特点,提出一种利用Docker容器技术在单台普通计算机上构建Hadoop集群的方法,并详述了Hadoop镜像制作、Docker环境部署、容器运行、Hadoop集群测试、Eclipse开发环境配置、镜像迁移等实验室建设细节。实践表明,新方法无需额外购置设备,节省实验室资金,同时未增加机房维护工作量,提高机房可复用性,新方法实验教学效果良好,为高校的大数据实验室建设提供参考。

基于Docker集群的公文管理信息研究及实践

在烟草公文管理信息系统应用中,传统的主从模式的分布式数据库资源运用已经存在较多的瓶颈问题。Docker容器作为底层云平台虚拟化技术,对集群性能进行实时监控和资源实时合理调度,构建弹性集群,保证各种云服务平台低成本、高效、稳定的运营,大大提高云平台的资源利用率,更加有效的应对网络峰值,提供高吞吐率和低延迟的服务。我们致力于研究以Docker技术的云技术在我国烟草行业内使用。

基于Docker Swarm集群的调度策略优化

轻量级虚拟化技术Docker及Docker集群管理工具Swarm的出现,为基于Linux平台的集群资源虚拟化提供了一套简单高效的解决方案。但是,能否充分发挥一个集群的整体性能,一个好的调度策略至关重要。目前Swarm工具内置的调度策略都无法很好地实现Docker集群的负载均衡,并且对集群资源的利用率不高,造成了很大的资源浪费。针对以上问题,文中利用权值调度算法对Docker Swarm集群的调度策略进行了优化,最终很好地实现了集群的负载均衡,充分发挥出了集群中每一个节点的性能,并提高了集群的整体性能。

基于Docker容器的Web集群设计与实现

针对完全虚拟化技术不能快速部署Web集群及自适应动态扩容的问题。本文提出了一种基于Docker容器组建Web集群的设计方案。该方案主要采用了Docker容器引擎打包Web应用环境镜像生成应用容器,并利用Nginx对业务流量进行负载均衡的方法。系统设计完成后,通过Ruby On Rails框架生成的Web应用打印容器IP地址的方式验证集群是否正常工作。实验结果表明,通过Docker容器部署Web集群系统开销小,能有效的满足Web集群的部署和扩容需求。

基于分布式Docker群集的招聘网站职位数据持续爬取和分析

许多大型在线求职平台由于招聘信息不统一,求职者难以在丰富冗余的求职信息中找到合适精准的信息。利用网页爬虫技术,设计实现了分布式Docker容器群集架构下招聘网站的职位数据持续爬取和分析展示。首先,利用Swarm容器管理工具构建多台物理主机的Docker群集;然后,利用Python的Scarpy框架对主流招聘网站的非结构化职位信息进行持续性分布式网络爬虫,涉及URL地址去重、数据采集、提取和清洗等,产生招聘职位的MYSQL数据库;最后,对求职数据库进行分析挖掘,生成职位数量分布热力图、岗位技能画像和可视化展示的统计图表,可为求职者提供直观的职位信息参考。

基于Docker和Kubernetes的ELK日志分析系统的研究与实现

分析Web日志对溯源用户访问情况、监控Web服务运行状态十分重要。大数据环境下,日志处理的效率更加值得关注和研究。探讨ELK架构及工作原理,并基于Docker和Kubernetes环境部署ELK系统,建立相应的针对Nginx服务器日志收集、存储、处理以及可视化展示平台,实现对日志的实时采集与显示。实验结果验证了该方案的可行性,在提高日志分析系统的简便性、可扩展性、实时性、可读性等方面具有一定优势,能有效改善运维效率,减轻运维压力。

基于Docker的跨主机容器集群宿主机调度策略研究

在实际环境中,为了应对不可预知的负载需求,需要快速增加集群中的服务器数量来应对额外负载,同时在流量下降时,停止空闲服务器以降低成本,因此实现集群中服务器数量的自动伸缩显得尤为重要。此外,根据Docker容器技术相比于传统虚拟机的优势,构建基于Docker的容器集群将大大提高资源利用率和部署调用速度等。在实现跨主机容器集群的自动伸缩功能基础上,为了解决随着时间增长,容器集群各宿主机资源分布不均匀的问题,分别针对自动扩展和自动收缩情况下的宿主机资源调度策略进行研究。实验结果表明该宿主机调度策略能有效地实现容器集群中各宿主机资源的均匀分布。

基于Docker容器技术的Linux在线实验环境设计

基于Docker容器的虚拟技术在云计算、大数据环境中被大规模的使用,针对Linux操作系统实验环境使用受限的问题,设计了基于Docker容器技术的在线实验环境,描述了实验环境构建的大致过程,对服务器端Docker容器的创建方法进行了分类分析和服务器压力测试,结果表明,所设计的Linux在线实验环境能够满足线上及线下教学的需要,提高了教学效果和效率。

基于Docker swarm集群的动态加权调度策略

针对目前的Docker swarm内置的调度策略无法很好地实现Docker集群的负载均衡并且对集群资源的使用率不高的问题,提出了一种动态加权调度算法。所提算法对资源设置权重系数,引入参数bias针对不同服务对资源权重进行动态调整,根据各个节点的实际资源利用情况,对节点资源按照权重进行加权计算,用权值反映节点负载,并将此作为调度依据。在和Docker原始调度策略以及无参数调整的加权调度策略的对比实验中,该算法使得集群中各个节点上的各项资源利用率更加均衡;同时,在集群负载比较高的情况下,该算法实现了更快的服务运行速度。

基于Docker Swarm集群的调度策略优化算法

Swarm是一种对集群中Docker镜像和容器进行管理的工具,其在计算节点权值时可能会得到若干个相同权值的节点.现有的Swarm调度策略只是将这些节点随机分配,由于相同权值节点的资源负载情况并不相同,所以将会造成节点负载不均衡.针对上述问题,本文提出一种动态调度算法对Swarm调度策略进行优化.通过实验,证明增加动态调度算法能够使集群中节点负载更加均衡,同时提高集群的整体资源利用率.

基于Docker的云资源弹性调度策略

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综合负载的资源调度优化模型;最后,将Ceph集群和Docker容器的特点相结合,利用Docker Swarm实现了既考虑数据存储、又考虑集群负载的应用容器部署算法和应用在线迁移算法。实验结果表明,与一些调度策略相比,该调度策略对集群资源进行了更细粒度的划分,实现了云平台资源的弹性调度,并在保证应用性能的同时,达到了合理利用云平台资源和降低数据中心运营成本的目的。

基于ELK自动化收集Docker容器日志的分析系统

针对Docker容器集群中日志的收集和集中处理的问题。本文采用Docker Swarm和Etcd实现容器的管理、服务发现以及调度,并为分布式系统提供支撑。使用主流的开源日志收集系统ELK,并结合分布式消息队列redis部署实时消息自动化系统,能够快速、实时地收集应用日志,提高运维人员的工作效率。详细介绍了Docker、ELK、Docker Swarm和Etcd的功能及原理,最后通过使用容器编排工具docker-compose,一键式构建基于Docker容器的ELK日志收集系统的实验环境,证明了本系统收集Docker容器日志的实时性、稳定性和高可用性。

基于Docker Swarm集群的容器迁移策略的实现

随着轻量级虚拟化技术Docker的迅速发展及其Docker集群管理工具Swarm的出现,Docker在集群中的应用越来越广泛。但是目前Docker容器还无法在Swarm集群中进行迁移,为Docker在集群中的使用带来很多不便。文中提出了利用Docker私有仓库进行容器迁移的技术在一定程度上解决了这种需求,一方面实现了集群各节点之间的负载均衡,另一方面也提高了Swarm集群的可用性。

Docker容器弹性集群资源调度算法研究

对Docker弹性集群的设计和优化进行了研究,通过自顶向下的设计思路,完成了集群的整体设计过程,然后从容器访问的原理出发,联系传统方法中跨主机弹性集群中单个主机在小规模应用中的伸缩方法,提出弹性伸缩组在自动服务中的功能优化,并且为了改善集群的性能,提出资源均衡分配的调度思路,基于此思路建立了弹性调度的设定、计算和处理的详细流程,包括初步的筛选、进一步的优选,以及基于阈值判断与统计学分析的综合处理策略。仿真实验结果表明本文提出的Docker容器弹性集群资源调度算法具有优越的性能。

基于Docker swarm集群的云资源动态负载均衡调度方法研究

为有效解决当前Docker swarm内置调度策略不能够满足D0cker集群负载均衡的问题,引进基于云资源动态的加权调度算法,该算法首先针对权重系数进行重新设置,另一方面引入了bias参数,通过对各类服务的分析调整相应的资源权重,并按照相应的权重对节点资源进行计算,节点负载主要通过权值反映,经过对比实验,可以得出动态加权调度算法能够确保不同节点不同资源利用效率处于均衡状态,且达到提升了对集群资源的利用效率,促进了服务运行速度的提升。

Docker容器逃逸防护技术研究

Docker的使用越来越普及,但是对于影响Docker安全的容器逃逸问题缺少对应的防护措施.为降低Docker容器逃逸问题所带来的危害,提出CFMAC(containers based on fuzzy mandatory access control)模型对Docker容器进行安全加固.该模型使用强制访问控制限制逃逸后可疑进程的访问,同时为解决强制访问控制中实体安全级别难确定和主观性较强问题,采用模糊聚类分析与风险矩阵分析法相结合,将主客体分为secret,general,public这3个等级,利用LSM(Linux security model)进行安全校验.测试结果表明:该模型可成功限制可疑进程对文件的访问.

基于Docker的MPI和OpenMP混合编程

针对当前搭建集群并行系统复杂且耗时等问题,提出基于Docker搭建并行系统。介绍轻量级虚拟化技术Docker的核心概念和基本架构,并基于Docker技术在Linux平台上搭建集群并行开发环境。简要阐述并行计算的思想,叙述MPI和OpenMP并行计算的基本概念和特点,针对矩阵并行乘法的算法建立MPI和OpenMP的混合编程模型,并给出混合编程模型与MPI并行编程模型以及OpenMP并行编程模型的性能对比,分析出现差异的原因。基于该混合编程模型比较Docker与传统物理机两者搭建的并行系统的并行效率。