高性能云原生大数据平台设计与实现

传统大数据平台软件历经十余年发展,已日趋成熟。近年来,以容器化为主要特征的云原生架构成为基础设施建设的首选方案。尤其在高性能计算技术融入云原生环境的趋势下,新一代大数据平台设计也面临着不同的挑战。这些挑战涉及云原生环境下的作业调度、高性能网络的容器化适配、存算分离架构下的存储管理等。针对这些问题,提出一组高性能云原生大数据平台关键技术,包括多模式负载容器化调度技术、容器化RDMA数据交换技术、云原生存算分离架构等,并在此基础上研发了OMBD大数据平台。OMBD能够有效适配高性能云原生环境的特点,以体系化的技术方案使得多模式大数据作业在带有高性能网卡的容器化集群中实现有效调度和高效执行。实验数据和真实应用效果证明,OMBD是一款具有实用性和高效性的生产级大数据平台。

浅谈四级环境监测站档案管理工作

简述了环境监测档案在环境保护、生态建设、社会经济发展中的重要价值,分析了当前四级环境监测档案管理中人员培养、信息化建设、保密管理等存在问题,提出,应完善档案管理设备,引进档案管理专业人才,落实档案管理职责,制定相关制度,加强档案密级管理,加快档案信息化建设。

多云容器集群服务的设计与实现

容器技术是支撑现代云原生应用的基础,容器集群云服务是主流的容器供给模式,使用多云环境中的容器集群服务已成为当今企业的普遍做法。构建该类容器集群服务的关键在于多云环境的适配,需要解决宿主环境异构性、多集群间网络访问约束和容器负载多样性等问题。针对以上问题,提出OMCC云容器服务系统。该系统是将容器系统多云化的实践,其通过自举式容器集群创建、代理网关与内网穿透、统一负载抽象等机制,有效解决了多云环境下容器集群服务的诸多适配性问题。OMCC的应用经验为多云场景下容器集群服务的研发提供了一种通用指导思路。

深度学习云服务适配问题研究

深度学习技术是支撑众多人工智能应用的基础,云服务是当今主流的计算能力供给模式。以云服务方式提供深度学习能力广受关注,构建这类服务的关键在于深度学习业务向云服务模式适配,具体涉及作业调度、存储接入和资源管理等方面的兼容性问题与适配型特性研发。OMAI深度学习平台将深度学习业务云服务化,通过作业调度中间层抽象、异构存储容器内挂载、资源表达式匹配等机制,有效解决了深度学习业务的云服务适配问题。OMAI为人工智能云服务研发提供指导思路。