基于Docker Swarm集群的调度策略优化

轻量级虚拟化技术Docker及Docker集群管理工具Swarm的出现,为基于Linux平台的集群资源虚拟化提供了一套简单高效的解决方案。但是,能否充分发挥一个集群的整体性能,一个好的调度策略至关重要。目前Swarm工具内置的调度策略都无法很好地实现Docker集群的负载均衡,并且对集群资源的利用率不高,造成了很大的资源浪费。针对以上问题,文中利用权值调度算法对Docker Swarm集群的调度策略进行了优化,最终很好地实现了集群的负载均衡,充分发挥出了集群中每一个节点的性能,并提高了集群的整体性能。

基于Docker swarm集群的云资源动态负载均衡调度方法研究

为有效解决当前Docker swarm内置调度策略不能够满足D0cker集群负载均衡的问题,引进基于云资源动态的加权调度算法,该算法首先针对权重系数进行重新设置,另一方面引入了bias参数,通过对各类服务的分析调整相应的资源权重,并按照相应的权重对节点资源进行计算,节点负载主要通过权值反映,经过对比实验,可以得出动态加权调度算法能够确保不同节点不同资源利用效率处于均衡状态,且达到提升了对集群资源的利用效率,促进了服务运行速度的提升。

基于Docker Swarm的台站分布式系统设计的技术可行性分析

本文主要是在技术层面对基于Docker Swarm的台站分布式系统设计进行可行性分析,作为广西广播电视无线发射台站站内自动化和远程控制系统未来实现分布式化部署的一个技术储备。通过Docker Swarm开源引擎,将站内服务器、通用计算机和嵌入式计算机组成云化集群,每个终端都作为一个集群节点。自动化和远程监控程序以多个容器副本的形式运行在集群中,Docker Swarm通过负载均衡机制,将每个程序的副本均衡部署在集群节点中,实现站内控制程序的分布式化部署,从而提高了台站端自动化和远程监控系统的稳定型和可靠性,更好地保障广播电视的播出安全。

基于Docker swarm集群的动态加权调度策略

针对目前的Docker swarm内置的调度策略无法很好地实现Docker集群的负载均衡并且对集群资源的使用率不高的问题,提出了一种动态加权调度算法。所提算法对资源设置权重系数,引入参数bias针对不同服务对资源权重进行动态调整,根据各个节点的实际资源利用情况,对节点资源按照权重进行加权计算,用权值反映节点负载,并将此作为调度依据。在和Docker原始调度策略以及无参数调整的加权调度策略的对比实验中,该算法使得集群中各个节点上的各项资源利用率更加均衡;同时,在集群负载比较高的情况下,该算法实现了更快的服务运行速度。

基于Docker Swarm集群的调度策略优化算法

Swarm是一种对集群中Docker镜像和容器进行管理的工具,其在计算节点权值时可能会得到若干个相同权值的节点.现有的Swarm调度策略只是将这些节点随机分配,由于相同权值节点的资源负载情况并不相同,所以将会造成节点负载不均衡.针对上述问题,本文提出一种动态调度算法对Swarm调度策略进行优化.通过实验,证明增加动态调度算法能够使集群中节点负载更加均衡,同时提高集群的整体资源利用率.

一种适用于Docker Swarm集群的调度策略和算法

Swarm是基于Docker容器的集群管理工具。通过分析研究Swarm整体架构和调度策略,针对集群的资源碎片问题和负载均衡问题,提出一种静态平衡和动态预测相结合的容器调度算法。通过测试,该算法能够减少集群的静态资源碎片,提高集群资源的利用率,并能维持集群的负载均衡。

基于Docker Swarm集群的容器迁移策略的实现

随着轻量级虚拟化技术Docker的迅速发展及其Docker集群管理工具Swarm的出现,Docker在集群中的应用越来越广泛。但是目前Docker容器还无法在Swarm集群中进行迁移,为Docker在集群中的使用带来很多不便。文中提出了利用Docker私有仓库进行容器迁移的技术在一定程度上解决了这种需求,一方面实现了集群各节点之间的负载均衡,另一方面也提高了Swarm集群的可用性。

基于Docker Swarm集群的药物基因组解读及用药指导软件设计

本研究基于Docker Swarm集群开发了一种药物基因组解读及用药指导软件,实现了药物基因位点的高效解读及辅助指导临床安全用药。针对甲氨蝶呤药物,经过本软件药物基因解读及指导用药后,患者均未发生骨髓抑制和白细胞减少的不良反应,与已报道的未经用药指导而直接用药的结果进行比较,骨髓抑制和白细胞减少两种不良反应差异均具有统计学意义(P<0.05);此外,Swarm集群架构采用了基于IPVS的动态负载均衡算法,有效缓解了软件高并发压力,响应时间较单主机架构的软件缩短了约一半,且极大提高了吞吐量。

基于分布式Docker群集的招聘网站职位数据持续爬取和分析

许多大型在线求职平台由于招聘信息不统一,求职者难以在丰富冗余的求职信息中找到合适精准的信息。利用网页爬虫技术,设计实现了分布式Docker容器群集架构下招聘网站的职位数据持续爬取和分析展示。首先,利用Swarm容器管理工具构建多台物理主机的Docker群集;然后,利用Python的Scarpy框架对主流招聘网站的非结构化职位信息进行持续性分布式网络爬虫,涉及URL地址去重、数据采集、提取和清洗等,产生招聘职位的MYSQL数据库;最后,对求职数据库进行分析挖掘,生成职位数量分布热力图、岗位技能画像和可视化展示的统计图表,可为求职者提供直观的职位信息参考。

地区城商银行国产分布式数据库应用实践与探索

随着互联网金融的发展,金融业务对银行核心数据存储提出越来越高的要求,但目前集中式的存储结构无法解决地区城市商业银行的多业务并发、资源分配不均、运行成本高昂等问题。基于此,文章结合分布式数据存储的相对优势,介绍了在浙江民泰商业银行应用国产分布式数据库的实践关键技术,并针对分布式数据库在地区城市商业银行业务场景下多容器数据协同服务的效率瓶颈问题,结合群体智能算法进行了深入探究和讨论,以期提高分布式数据库的数据响应效率。

基于Docker的云资源弹性调度策略

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综合负载的资源调度优化模型;最后,将Ceph集群和Docker容器的特点相结合,利用Docker Swarm实现了既考虑数据存储、又考虑集群负载的应用容器部署算法和应用在线迁移算法。实验结果表明,与一些调度策略相比,该调度策略对集群资源进行了更细粒度的划分,实现了云平台资源的弹性调度,并在保证应用性能的同时,达到了合理利用云平台资源和降低数据中心运营成本的目的。

基于ELK自动化收集Docker容器日志的分析系统

针对Docker容器集群中日志的收集和集中处理的问题。本文采用Docker Swarm和Etcd实现容器的管理、服务发现以及调度,并为分布式系统提供支撑。使用主流的开源日志收集系统ELK,并结合分布式消息队列redis部署实时消息自动化系统,能够快速、实时地收集应用日志,提高运维人员的工作效率。详细介绍了Docker、ELK、Docker Swarm和Etcd的功能及原理,最后通过使用容器编排工具docker-compose,一键式构建基于Docker容器的ELK日志收集系统的实验环境,证明了本系统收集Docker容器日志的实时性、稳定性和高可用性。

基于Gazebo和Docker的群体机器人仿真系统设计

对群体机器人仿真系统进行了研究,分析了目前群体机器人仿真系统所存在的不足,设计和实现了一种基于Gazebo和Docker容器的群体机器人仿真系统。使用Gazebo对机器人平台和所处环境进行逼真和精细建模仿真,使用Docker容器对机器人的控制软件进行打包和隔离,Docker容器和Gazebo之间基于DDS通信传输控制指令与机器人的状态数据。仿真通过后,Docker容器中的机器人控制软件即可直接用于真实的机器人中。仿真实验表明,所设计的群体机器人仿真系统能够对群体机器人的机器人控制软件进行有效仿真验证。

Docker环境下容器编排工具的选择

容器技术作为云平台的核心,要想更好的使用容器,我们需要优秀的容器管理工具。和其他任何组件一样,容器需要监控和控制,用户需要一个编排框架来调度和管理容器。目前的三个主流选择是Kubernetes、Mesosphere和Docker Swarm,虽然它们有不同的特性,但它们都支持容器监控、管理。Docker swarm mode内嵌在Docker engine中,简单易用是它的优势,是大多数企业值得尝试的容器集群管理和编排技术。

容器编排工具中部署工作节点的资源优化

随着云计算飞速发展,以Docker为代表的容器技术逐渐被重视.目前,3种常见的容器编排工具有Kubernetes、Docker Swarm和Rancher.然而,现有的容器编排工具在所有工作节点的总容量超标时,将会有响应时间长和资源占用较多等问题.因此,本文设计LSD(least space unused)算法以及LRU-SD(least recently used and space unused)算法,并应用于3种编排工具中.当总容量超出上限时,则选择删除不工作的节点并且增加新的工作节点.做法上,LSD算法是删除剩余空间最少的工作节点,LRU-SD算法先考虑删除最久未使用的节点,当有多个符合要求的节点时,则删除剩余空间最少的工作节点.实验部分,分析与比较使用不同算法对3种容器编排工具的影响,包含响应时间、CPU和内存.实验结果发现,LSD算法、LRU-SD算法和LRU算法不仅能够提高编排工具的响应时间,还可以增加资源的使用率.同时,在提升CPU的使用率方面,LRU-SD算法的效果最好.

一种基于二次移动平均法的容器云伸缩策略

容器云作为一种高效、易维护和低成本的云环境解决方案,弥补了传统基于虚拟机的云环境构建方式的不足,受到国内外软件服务提供商的广泛关注。针对容器云基于阈值的响应式伸缩策略存在时间滞后性、难以及时响应服务资源请求的问题,提出一种基于二次移动平均法的预测式容器云伸缩方法。该方法在检测实时工作负载的同时通过二次移动平均法对未来工作负载进行预测,然后基于实时负载值和预测负载值利用响应式伸缩策略进行容器云伸缩决策。与原来基于阈值的响应式伸缩策略相比,在Docker swarm集群环境并施加周期性负载的实验条件下,提出的优化方法能够提前预测负载变化并调整集群规模,有效应对负载波动,服务响应时间波动幅度降低了约42.9%,保证了容器云中应用服务的质量和稳定性。

基于网络动态调整的应用滚动更新的优化

为保证云计算服务的持续运行,云计算平台需要支持动态更新技术。针对过去主流的动态更新技术如滚动更新存在多版本混合的问题,文中提出了基于网络动态调整的优化方案。通过将更新后的服务实例与待更新的服务实例在网络上隔离,使旧版本服务无法访问有兼容性问题的新版本服务,从而解决了多版本混合问题,并且在Docker Swarm的基础上设计并实现了原型系统,通过实验验证了该方案的有效性。

基于模拟退火算法的粒子群优化算法在容器调度中的应用

随着互联网产业的发展,虚拟机创建速度慢、不易扩展、灵活性不足等缺点越来越凸显,容器技术的出现为这些问题提出了一种新的解决思路;而现有的调度算法仅考虑容器云集群中工作节点的内存、CPU等物理资源,没有考虑对容器云调度后的镜像分发过程有明显影响的网络负载率,导致容器调度任务等待时间过长,造成数据中心的资源浪费;鉴于粒子群优化算法在局部开采能力和全局探测方面有较强的优势,提出了一种基于模拟退火算法的粒子群优化算法(SA-PSO,simulated annealing particle swarm optimization algorithm)的容器调度算法,通过使用模拟退火优化粒子群算法使其在算法初期跳出局部最优情况,提升算法性能;在Kubernetes平台实验过程中,SA-PSO调度算法相比Kubernetes的BalancedQosPriority算法,提升了整体节点资源利用率,显著减少任务最少等待时间;同时与标准PSO算法以及动态惯性权重PSO算法进行对比,不仅收敛能力有显著提升,并且相较标准PSO算法全局最优节点命中率提升近60%。