面向高性能计算环境的多维自适应授权访问策略

高性能计算能力是国家综合实力和创新能力的重要体现,是支撑我国科技持续发展的关键技术之一。随着高性能计算的发展,越来越多领域的科研人员开始关注并使用高性能计算环境。高性能计算环境目前面临资源有限、用户数目增多等挑战。为保证环境的安全性、提高环境资源的利用率,需设置一定的授权访问策略来约束用户的访问行为。本文针对高性能计算环境服务对象用户和应用社区或业务平台,基于机器学习算法对用户行为进行分析获取相关属性,设计并实现了一种多维自适应授权访问策略(MAAC)。实验表明,MAAC可实现对环境资源有效和灵活访问控制,同时该策略的决策时间可控制在1 ms内,与策略响应时间相比可忽略不计。

国家高性能计算环境运行状态诊断系统

【目的】本文介绍了一种在大规模分布式运行环境中建立运行状态诊断系统的方法。【应用背景】为保障高性能计算环境的稳定运行,分析日志等环境数据是一种获取环境状态侧写和发现异常的重要途经。然而分析结果通常是文本和数字,对运维人员来讲缺乏直观印象,不利于快速理解。【方法】我们建设了国家高性能计算环境运行状态诊断系统,它是一种对于目标计算环境的运行状态进行量化和可视化评判的系统,通过对于目标环境的信息收集、整理,进行不同角度的分项分析。【结果】各分析结果被集成为统一的环境运行状态分值,并采用可视化方法将其立体地表现出来,以便相关运维人员能够直观地获取环境信息和快速定位问题。【结论】整个环节绝大部分处理分析工作是由程序自动完成,环境运行状态诊断系统极大减少了人工操作量,为运维工作起到有效的支撑作用。

基于CRIU的高性能计算容器检查点技术研究

容错一直是高性能计算领域的热点和难点问题。检查点是解决容错问题的一种常用技术手段,它能够将运行进程的状态转储成文件并恢复。容器具有较强的资源隔离能力,可以为检查点技术提供更理想的运行环境与载体,避免迁移后任务在节点变更的情况下由于环境与资源变化而出现异常。因此,容器和检查点相结合能够更好地支撑任务迁移的研究与实现。文中围绕基于CRIU(Checkpoint/Restore In Userspace)的Singularity容器检查点方案的设计和优化展开,根据检查点技术在高性能计算容器应用中的特点,在CRIU安全使用、迁移性能优化、保持网络状态方面给出了有效的解决方案,基于这些方案拓展了Singularity容器检查点功能,并且实现了原型工具Migrator来验证容器迁移性能。期望本工作能为后续实现高性能计算任务迁移提供有效的支撑。

高性能计算检查点技术发展与应用综述

随着高性能计算系统的规模不断扩大,复杂度不断提升,应用的容错能力成为E级计算面临的重要挑战之一。检查点技术是实现应用程序的容错能力的主要手段之一,通过定期保存应用的执行状态来实现故障恢复。文中针对高性能计算检查点技术的发展和应用情况展开综述。首先,整理了高性能计算领域中检查点技术的发展;其次,根据运行层次的不同,分别阐述了系统层检查点和应用层检查点的工作,包括主流的工具软件、可用的检查点技术、使用的应用场景等;然后,讨论了检查点技术在并行计算的容错与弹性、HPC的调度与迁移、FPGA的调试、深度学习中的容错与忠实重放这4个方面的应用;最后,对检查点技术在高性能计算领域的下一步研究方向进行了展望。

基于Portlet的高性能计算Portal

提出基于Portlet的高性能计算Portal——HPCP,提供一个简单、通用、安全、可定制的Web作业管理系统,支持作业提交、查询、终止、目录列表及文件内容实时查看、大文件的数据流无缓存下载等功能。理论分析和实际测试表明,HPCP具有类似桌面应用程序的用户友好、交互性等特点,且有良好的可扩展性和安全性。

基于RMI的高性能计算网格二次开发模型

根据高性能计算和网格的特点,提出一种网格二次开发模型(GRM)。结合RMI和SSL/TLS技术,该模型提供了访问中间件的一致性接口,屏蔽了通过网络访问网格的繁杂问题,解决了敏感数据在不安全的广域网中传输的问题。以科学计算网格的中间件为基础,实现了GRM。多个基于GRM的用户接口开发经历和实验结果表明,GRM为开发人员提供了一个简单易用和功能全面的开发模型,而且具有良好的性能和可移植性。

高性能计算环境通用计算平台

随着高性能计算环境的持续运行,用户的计算需求快速增长,对资源的需求不断上升.环境急需扩充资源以提供更强大的计算能力,满足不同应用领域的计算需求,同时也对环境扩展性、易用性和可靠性提出更高要求.高性能计算环境通用平台从底层设计到上层页面实现了全新的蜕变,从用户角度出发设计了相关的功能模块,为用户提供更加优质的服务.本文围绕国家高性能计算环境通用计算平台展开叙述,重点介绍平台的整体结构、采用的关键技术、相关模块以及实现过程和最终效果.通过部署测试表明通用计算平台可满足现有用户的需求并将进一步扩大高性能计算环境的用户群,推动高性能计算在更多领域的发展,提高国家高性能计算环境影响力.

面向高性能计算环境的作业优化调度模型的设计与实现

高性能计算环境聚合了多个分布在不同地域、不同组织机构的高性能计算资源,面向用户提供统一的访问入口和使用方式,由系统中间件根据用户作业请求匹配合适的高性能计算资源。随着环境应用编程接口的开放以及作业请求数量的大幅增加,面对高并发作业提交请求时,目前采用的即时调度模型会由于网络等原因导致一定数量的请求处理失败,同时缺乏灵活性。针对此问题,优化了环境作业调度模型,引入作业环境队列,细化了作业系统层状态,增加了作业调度策略可配置性,并基于环境中间件SCE实现了系统原型。经测试,在单核心服务每分钟处理近200个作业提交请求的工作负载下,无因系统和网络原因引起的作业提交出错现象;在共计1 000个作业中,近500个作业提交命令请求在0.3s以内完成,800余个作业提交命令请求在0.5s以内完成。

面向科学计算的网格环境

为了充分整合分布的高性能计算资源,本文提出一种面向科学计算的网格环境,旨在形成一个可统一管理和运行维护的虚拟的超级计算机资源,面向用户提供统一、易用、可靠的科学计算服务。面向科学计算的网格环境通过轻量级网格中间件SCE汇聚资源,支持作业的全局调度、数据的统一管理视图,面向用户提供命令行和网格门户两种使用方式,并提供编程接口供专业社区和学科平台二次开发使用,满足不同层次的用户需求。目前,面向科学计算的网格环境已经在中国科学院超级计算环境(ScGrid)中得到应用和用户认可。

基于命令行客户端的网格软件SCE设计与实现

如何高效和方便的使用计算资源是网格计算里迫切需要解决的问题之一。为了解决该问题,本文基于Linux命令行,开发一种超级计算环境(SCE)。在SCE中,用户可以完成作业的提交、编译、查询和文件下载等工作。SCE的部署配置操作简单,并具备高度可扩展的特性。通过屏蔽底层计算节点的异构性,使得其在网格计算中适用环境更加广泛。

容器技术在高性能计算环境中的应用

【应用背景】高性能计算环境中间件SCE部署在多个前端服务器,科学计算应用软件需要在多个超算系统安装,软件与基础编译环境间的适配问题亟需解决。【目的】解决高性能计算环境中SCE中间件与前端服务器、应用软件与超级计算系统之间的兼容性问题,简化软件部署流程。【方法】本文利用Docker技术构建了中间件SCE的容器,利用Singularity技术实现了应用软件的容器化,并在高性能计算环境中多个结点进行了部署验证。【结果】SCE容器能够在环境中正常提供服务,应用软件容器与宿主机性能相当,其中LAMMPS容器运行时间与宿主机误差不超过2.63%。【结论】利用容器技术实现了中间件及应用软件的容器化封装,解决了软件与部署环境的适配问题,降低了软件部署的复杂度,提高了软件管理及运维效率。

对于大规模系统日志的日志模式提炼算法的优化

LARGE框架是部署在中国科学院超级计算环境中的日志分析系统,通过日志收集、集中分析、结果反馈等步骤对环境中的各种日志文件进行监控和分析。在对环境中系统日志的监控过程中,系统维护人员需要通过日志模式提炼算法将大量的过往系统日志记录缩减为少量的日志模式集合。然而随着日志规模的增长以及messages日志文件的特殊性,原有的日志模式提炼算法已经难以满足对大规模日志快速处理的需要。介绍了一种对于日志模式提炼算法的优化方法,通过引入MapReduce机制实现在存在多个日志输入文件的情况下对日志处理和模式提炼的流程进行加速。实验表明,当输入文件较多时,该优化方法能够显著提高词汇一致率算法的运行速度,大幅减少运行时间。此外,还对使用词汇转换函数时的算法运行时间和提炼效果进行了验证。

高性能计算环境多源用户认证方法研究与实现

高性能计算(HPC)环境屏蔽了作业管理系统、接入方式、管理制度等方面的异构性,为科研人员提供了具有统一访问入口、统一使用方法和用户技术支持的高水平高性能计算应用服务。随着环境的发展,接入的超算中心以及应用社区和业务平台越来越多,希望超算中心以及社区和业务平台用户能够以原有账号登录高性能计算环境使用资源。现有的高性能计算环境仅支持通过LDAP认证的网格账号登录,应用社区和业务平台都有自己的用户且认证方式各不相同。为使环境提供一个统一的认证中心,研究了多源用户认证技术并开发实现了多源用户认证与授权系统。目前,高性能计算环境的认证中心已支持部分超算中心集群账号。“高性能计算”专项中的各大社区和业务平台通过多源用户认证技术也实现了与国家高性能计算环境的对接,且对接后社区和平台用户与环境网格用户可互登录并使用相关资源。

高性能计算服务环境应用编程接口

高性能计算服务环境主要面向用户、科研团队提供高性能计算服务.随着环境接入的超算中心以及应用社区和业务平台越来越多,超算中心以及社区和业务平台的用户希望能够使用原有账号登录高性能计算环境使用资源.高性能计算服务环境目前提供的应用编程接口仅支持通过LDAP认证的网格账号.为使得应用社区和业务平台用户使用自己原有的登录方式认证通过后就可访问高性能计算服务环境,我们重新设计开发了高性能计算服务环境应用编程接口.本文着重介绍新版应用编程接口的结构与部署实现,并通过用例来说明如何调用新版接口.新版接口为社区和业务平台接入高性能计算环境提供了更方便且安全地支撑.

基于高性能计算环境的HPC算力编程模式

【目的】随着云计算、大数据、人工智能等技术的兴起和广泛应用,促进了基于多元算力的融合计算发展。在国家“东数西算”战略的指引下,充分发挥HPC算力优势,提供新型HPC算力编程模式,是新一代计算基础设施可编程能力的重要变革。【方法】分析了高性能计算环境服务模式发展和现有计算环境下不同的编程模式,提出了基于高性能计算环境的HPC算力编程模式HPC as a function,定义了HPC算力和任务模式的基本抽象,以及HPC算力编程模式的参考体系结构。【结果】HPC算力编程模式可支持科研业务中融合计算对HPC算力的基本需求,可将适用于HPC的计算任务分发到合适的计算资源执行并有效管理,相比传统的工作流系统提供了更大的灵活性和可编程性。【结论】HPC算力编程模式可望有效提高“东数西算”计算基础设施的可编程性。

国家高性能计算环境事件流系统的设计

国家高性能计算环境是由中国众多国家级计算中心和高校的计算集群聚合而成的大型高性能计算环境,为国内研究人员提供优质计算资源。出于维护环境正常稳定运行的目的,环境管理人员需要获取环境内部所发生的各种事件信息,以确保及时迅速地对环境产生的问题进行处理。针对这种需求,设计了国家高性能计算环境事件流处理与分发系统,用于对环境各类事件进行收集和按类型分类,最终提供给对事件有需求的环境应用。在该系统中,事件工厂模块负责对环境的各种事件进行格式解析以及初步过滤和处理等加工工作,然后将加工过的事件封装为统一的接口格式对外发布。初步实现了事件流系统的各部分功能,将其部署到国家高性能计算环境中,并对该系统的事件处理延时进行测试。实验结果表明事件处理过程的延时很低,可以满足对事件时效性的要求。

鲁棒线性规划在预测控制中的应用

研究了在稳态模型不确定情况下有约束的多变量预测控制系统的稳态目标计算问题。根据统计学的原理考虑模型参数的变化 ,确定出系统稳态益阵可能变化的最大范围 ,将原来的线性规划问题转化成鲁棒线性规划问题 ,并利用求解二次锥规划问题的方法解决新的规划问题。在Shell塔模型上的仿真实验证明 ,稳态目标计算采用鲁棒线性规划的控制系统更加稳定可靠 。

分布式消息系统研究综述

随着大数据时代的到来,各类软硬件系统的高并发访问、海量数据处理等需求越来越多,系统的高可用、易伸缩、可扩展成为系统研发的首要目标,分布式系统应运而生,提供了满足高性能需求的解决方案。然而,系统分布式地部署在不同的计算机上,使得系统间的消息通信成为重要问题。文章综述了4种流行的开源分布式消息系统,对比分析了RabbitMQ,Kafka,ActiveMQ和RocketMQ的架构及性能,为科研人员和系统开发者选择分布式消息系统提供了参考意见。

多节点系统异常日志流量模式检测方法

随着国家高性能计算环境各个节点产生日志数量的不断增加,采用传统的人工方式进行异常日志分析已不能满足日常的分析需求.提出一种异常日志流量模式的定义方法:同一节点相同时间片内日志类型的有序排列代表了一种日志流量模式,并以该方法为出发点,实现了一个异常日志流量模式检测方法,用来自动挖掘异常日志流量模式.该方法从系统日志入手,根据日志内容的文本相似度进行自动分类.然后将相同时间片内日志各个类型出现的次数作为输入特征,基于主成分分析的异常检测方法对该输入进行异常检测,得到大量异常的日志类型序列.之后,使用基于最长公共子序列的距离度量对这些序列进行层次聚类,并将聚类结果进行自适应K项集算法,以得出不同异常日志流量模式的序列代表.将国家高性能计算环境半年产生的日志根据不同时间段(早、晚、夜)使用上述方法进行分析,得出了不同时间段的异常日志流量模式和相互关系.该方法也可以推广到其他分布式系统的系统日志中.

面向高性能计算环境的微服务运维平台设计与实现

国家高性能计算环境为提高应用服务的持续交付能力逐步引进微服务架构。针对国家高性能计算环境由传统单体架构向微服务架构转变引入的新的运维问题,设计并实现了面向高性能计算环境的微服务运维平台,拟面向开发运维人员,降低开发难度,提升运维效率。重点研究并实现了微服务运维平台中的服务部署及管理、服务运行监控和服务弹性伸缩特色功能,通过应用化封装技术对服务部署及管理过程进行封装,同时设计用户权限管理机制,利用EFK和Prometheus分别完善高性能计算环境的日志收集功能和监控告警功能,通过Horizontal Pod Autoscaler资源对象实现基于CPU、内存等核心指标以及QPS等自定义指标的服务规模弹性伸缩技术。测试结果表明,微服务运维平台可以实现高性能计算环境中以项目为划分依据的一键式服务部署、更新、删除等操作,提供交互性更好的可视化运行监控方案,应对流量高峰场景,增强应用服务可靠性。