SlurmX:基于Slurm使用面向对象设计方法重构的任务调度系统

目前使用较为广泛的Slurm任务调度系统存在代码臃肿、新功能开发效率低和难以维护的问题,在参考目前较为成熟的任务调度系统(如Slurm和HTCondor)的优缺点的基础上,设计了一个性能优异、可扩展性好和维护方便的高性能任务及资源调度系统SlurmX。讨论了通过使用面向对象的手段,对Slurm内部的组件从上至下进行了功能级别的重新抽象和组织,并从系统架构设计和组件内部设计等方面,简述了该调度系统如何在保障性能的情况下,提供高可扩展性和内部模块之间的低耦合性。

基于流量控制的Docker容器网络带宽控制机制

针对Docker容器缺乏对网络带宽资源进行限制的能力的问题,提出了一种基于流量控制(TC)的Docker容器网络带宽控制机制。首先,基于CGroups文件系统的实时监测机制,利用Linux内核的虚拟文件系统(VFS)作为媒介,将Docker容器创建时设置的网络控制参数传递给Linux内核流量控制器TC;然后,通过引入IFB模块实现上下行带宽控制,并使用rate、ceil及prio参数进行空闲带宽共享及容器优先级控制;最后,控制TC执行具体的网络限制,以实现容器之间灵活的网络资源控制。实验结果表明,该机制在容器独占带宽场景下可有效地将实际容器带宽限制在2%的波动范围内,而在共享空闲带宽场景下可在平均误差0.5%的范围内精准限制容器带宽,同时该机制能够基于优先级弹性地管理资源。该机制具有提供更为原生的接口且无需额外工具配合的优势,可为基于Docker的云平台的细粒度弹性网络资源控制提供便捷有效的解决思路。

一种适于Docker容器资源控制的分类预测方法

Docker容器虚拟化技术被云平台广泛使用,为了确保容器的服务质量,需要对容器资源进行有效的控制。通过研究cgroups技术对容器资源的控制方式,提出了分类预测算法。该算法结合了谱聚类算法和支持向量机算法,对容器资源使用情况进行分析和预测,从而使得cgroups对容器资源的控制更加有效。实验结果表明,该分类预测算法的可用性良好。

On the Optimization of Real Time Performance of Software Defined Radio on Linux OS

With the evolution of the communication standards, Software Defined Radio (SDR) is faced with an increasingly important problem to balance more and more complex wireless communication algorithms against relatively limited processing capability of hardware. And, the competition for computing resources exacerbates the problem and increases time-delay of SDR system. This paper presents an integrated optimization method for the real-time performance of SDR on Linux OS (operating system). The method is composed of three parts: real-time scheduling policy which ensures higher priority for SDR tasks, CGROUPS used to manage and redistribute the computing resources, and fine-grade system timer which makes the process preemption more accurate. According to the experiments, the round-trip data transfer latency decreases low enough to meet the requirement for TD-SCDMA via the application of the method.

混搭型大数据平台的统一资源管控

针对目前通信行业大数据平台普遍存在的混搭型结构,建立统一资源管控体系,在Hadoop生态圈系统以及ShareNothing MPP数据库方面分别设计并实现了基于Yarn以及CGroup技术的资源隔离管控机制,保证集群的最大资源利用率。

浅析Docker的资源隔离和限制

简要介绍了docker容器的核心技术namespace和cgroup，以及实现容器隔离的方法。

IP资源池架构及容器技术在其中的应用

Docker是最近云计算领域出现的新技术,利用Docker微服务技术搭建服务平台以适应电视机构新媒体发展的案例较少。本文以广东广播电视台资源池系统为切入点,对系统结构及容器技术的部署进行介绍,说明Docker机制在项目中的应用,为行业提供参考案例。