基于高性能计算环境的科学应用平台工作流设计与实现

【目的】为了有效解决领域科学应用计算中的复杂多步计算及高通量计算流程繁琐、低效的问题,本文研究科学应用平台工作流的关键技术。【应用背景】本文将基于高性能计算环境的科学应用平台与工作流的理念相结合,同时适用于多领域、多体系的科学计算软件,为相关高性能计算应用的科学研究与工程研发提供有力支撑。【方法】针对不同领域应用需求,本文设计实现了多任务连用工作流和高通量应用计算工作流。多任务连用工作流不仅在服务端和客户端设计了一套通用自定义工作流的逻辑方案,让用户能够自主设计多任务连用,还在高性能计算环境中封装领域特色工作流,满足更特殊专有的需求;高通量应用计算工作流在任务间相互独立的情况下,采用多进程并发以及异步上传文件流的方法提高并发程度,在任务间相互关联的情况下,编写脚本生成批量文件后仅与高性能计算环境交互一次,在申请的计算资源下采用了两层主从模式的负载均衡方案实现子任务间的协同并发。【结果】相较于平台普通提交任务方式,多任务连用工作流可以使用户节省接近10倍的时间,高通量应用计算工作流可以在耗时、易用性和自动化程度等方面展现出显著优势。【结论】本文设计实现的科学应用平台工作流能够更加高效、自动化地解决众多复杂的应用需求,为广大科研人员带来更优质的高性能计算应用服务。

科学工作流管理平台TotemSWF的设计与实现

本文提出以数据库管理系统(DBMS)为中心的科学工作流管理架构,基于对象代理数据库Totem,实现了科学工作流管理平台TotemSWF。该平台采用对象代理模型对工作流建模,工作流被定义为数据库模式及数据库规则与触发器。在Totem中,通过数据管理操作实现工作流管理,对象间的双向指针实现高效数据跟踪。

基于科学工作流的通用卫星数据处理调度系统

天文卫星产生的海量观测数据下传至地面后,需要经过一系列的处理流程生成可供科学研究人员的数据产品。传统数据处理方式需要耗费大量的时间和人力成本,同时存在缺乏灵活性、任务管理困难及执行效率低下等缺陷。基于上述问题,为实现卫星数据产品生成的自动化和规范化,该文研究并设计了一种基于科学工作流的通用卫星数据处理调度系统。通过封装卫星数据处理算法,结合科学工作流、可视化编辑等相关技术,实现卫星数据处理的自动化和可配置,用户更新需求时无需修改代码,只需重新配置参数;利用可拔插组件设计机制实现系统的通用性,满足不断扩增的卫星的不同数据处理需求。根据已有卫星的数据处理需求进行应用测试,应用实例表明,该系统能够实现卫星数据的自动化处理,并且能够极大地提高处理流程的灵活性、可维护性和执行效率,有利于科学研究人员根据自己的需求获取卫星数据产品。

混合云环境面向安全科学工作流数据布局策略

为解决混合云环境下科学工作流数据布局问题,在考虑数据的安全需求的前提下,以优化跨数据中心传输时延为目标,提出了一种混合云环境下面向安全的科学工作流布局策略。分析数据集的安全需求以及数据中心所能提供的安全服务,提出安全等级分级规则;设计并提出基于遗传算法和模拟退火算法的自适应粒子群优化算法(adaptive particle swarm optimization algorithm based on SA and GA,SAGA-PSO),避免算法陷入局部极值,有效提高种群多样性;与其它经典布局算法对比,基于SAGA-PSO的数据布局策略在满足数据安全需求的同时能够大大降低传输时延。

科学工作流技术研究综述

科学工作流管理系统(Scientific Workflow Management Systems,SWfMS)为科学家提供一个管理大规模复杂科学计算的有效平台,通过管理复杂应用程序对海量科学数据进行管理、分析、仿真和可视化以帮助科学家进行科学发现。本文首先对科学工作流(Scientific Workflow,SWF)的关键技术和研究现状进行全面综述,包括SWF模型、表示、语言、组合、验证、调度、数据来源管理以及系统的容错性与安全性等;然后对近两年的最新研究进行分析,并在此基础上指出该领域目前存在的不足和未来发展方向;最后对我国目前的研究现状进行分析并给出建议。

云环境下优化科学工作流执行性能的两阶段数据放置与任务调度策略

云环境中跨数据中心科学工作流的高效执行通常面临数据交互量大的问题.文中给出基于相关度的两阶段高效数据放置策略和任务调度策略:即在工作流建立阶段根据数据依赖关系图把关系紧密型数据集尽可能放置到同一数据中心;而后任务调度策略在运行阶段将任务调度到数据依赖最大的数据中心执行,并将新产生数据集放置到相关度最高的数据中心.实验表明,该策略能有效减少跨数据中心科学工作流执行时的数据传输量,从而能有效提升科学工作流的执行效率,并能减少资源的租赁费用.

超算环境科学工作流应用平台的引擎设计和资源调度

围绕超算资源的易用性和多类软件的集成以及协作需求,开发了超算环境下的科学工作流应用平台,设计了异步并发的流程执行引擎,采取调度算法和调度器、引擎相分离的设计策略,给出了资源调度方案。提出了局部资源池化技术和资源预约算法,并比较分析了五种常用调度算法的性能,给出了算法选择的建议。实际应用表明设计的引擎能够支撑复杂工作流的灵活执行方式,给出的资源调度方案能够满足超算环境下工作流应用的高效执行。

集成对象代理数据库的科学工作流服务框架中的数据跟踪

文中提出了一个集成数据库的科学工作流服务框架,它采用对象代理模型描述一系列科学任务的执行过程,使得工作流管理操作以类似于传统数据库管理操作的方式来完成.同时,基于对象代理数据库中的双向指针机制,文中提出了一种新的数据跟踪方法,该方法能提供比注释或反向方法更高的性能,不仅节省了大量的存储空间,而且减少了额外的计算代价,为了进一步提高数据跟踪的高效性,文中也提出了一种部分物化中间数据模式,实验显示它具有较好的系统性能.

基于科学工作流的铁路行车安全评价系统研究

针对铁路运输中列车安全评价的实际需求,依据科学工作流理论,提出一种基于开源软件Kepler的评价系统,从而有效实现行车安全预警并提供辅助决策依据。该系统主要通过扩展Kepler构建:一方面,实现多源监测数据的自动收集和共享融合;另一方面,增加Kepler的流程管控能力和个性化Web界面。在此基础上,针对列车运行特点,建立模糊综合评价的Kepler流程,对状态不良列车进行跟踪和综合评价,将数据和计算过程灵活组合成一套可配置的、自动化的科学计算流程。以部分现实数据为例,使系统的有效性得到验证。本系统不但能够有效解决行车安全评价问题,而且适用面广,也可应用于其他领域的评价问题。

云环境下基于多目标的多科学工作流调度算法

针对现有云环境下的多科学工作流调度算法中存在的未考虑安全调度问题,提出了多科学工作流安全-时间约束费用优化算法MSW-SDCOA(multi-scientific workflows security-deadline constraint cost optimization algorithm).首先,MSW-SDCOA基于数据依赖关系压缩科学工作流,减少任务节点数从而节省了调度开销;并通过改进HEFT(heterogeneous earliest-finish-time)算法形成调度序列,以实现全局多目标优化调度;最后,通过优化ACO(ant colony optimization)中信息素更新策略和启发式信息,进一步改善费用优化效果.仿真实验表明,MSW-SDCOA算法在费用优化效果上比MW-DBS算法提高了约14%.

超算环境科学工作流应用的容错

超算环境中科学工作流技术广泛应用于科学研究和工程仿真领域。复杂多物理过程数值模拟、多阶段数据处理等应用往往需要使用多种应用软件相互协作,构建业务流程自动执行来提升工作效率。然而在超算环境中执行科学工作流应用面临着资源失效、任务配置错误等异常情况,造成工作流执行中断,严重影响完成效率,故容错功能对超算工作流应用的稳定持续运行有重要意义。介绍了科学工作流的容错设计分类,并对典型工作流系统的容错设计进行分析评述;提出了基于决策树的事件-条件-动作容错模型,设计了非侵入式可扩展的容错架构,并针对自主研发的部署在超算环境下的科学工作流应用平台HSWAP,实现了运行时可配置的容错策略。在实际的工程仿真任务中,基于所提出模型和架构实现的容错机制为提高工作流执行效率发挥了重要作用。

面向科学过程的工作流技术研究现状与趋势

介绍了科学工作流技术的起源及发展,分析了科学工作流全生命周期组成及关键技术,主要包括流程建模与描述、流程映射、流程执行与调度以及数据起源管理这四个方面的发展状况,从科学工作流管理系统框架、协同技术和应用现状等方面分析了科学工作流技术的研究现状,分析了目前科学工作流技术中存在的不足,并对其未来发展趋势给出了建议。

云环境下基于聚簇的科学工作流执行优化策略

基于云环境下的科学工作流,以提高处理机利用率、降低费用为目标,提出了一种基于聚簇的执行优化策略。该策略首先基于合理的任务复制和分簇,以实现关键任务的尽早调度;在此基础上,对任务簇再次进行聚集,以充分利用任务簇中任务间可能的空闲时间。实验表明,该策略能够提高任务的并行度,提前工作流的最早完成时间,并且在提高处理机的利用率和降低科学工作流的执行费用方面有显著效果。

面向数据发布的科学工作流数据溯源方法研究

越来越多的科学家使用工作流系统设计和运行科学实验。工作流执行的结果数据集可能需要与报告或论文一起发布,以为其他科学实验的输入重复使用。此时,数据的正确性需要被验证,要求科学家在发布数据的同时发布其溯源元数据,包括数据的演变历史、起源和所有权。为协助科学家完成这一任务,文章建立了一个工作流实例,在此基础上,探讨工作流管理系统运行时溯源信息的收集,指出原始溯源信息在支持数据发布任务时的缺陷,提出了一种提纯溯源的方法来获得适合于数据发布任务的溯源信息。

云环境下科学工作流的溯源数据收集和查询框架研究

在大数据时代,科学研究第四范式已经成为一种根本研究范式,云计算可以解决数据密集型科学研究中数据的存储、管理、注解和共享等,但仍然存在一些全新的挑战。文章提出云计算环境下科学工作流的数据溯源基本框架,详细阐述了该框架模型中溯源数据的收集、存储、查询的设计。这个溯源框架对科学工作流本身的性能无显著影响,具有最小入侵性;同时,允许用户指定从3个不同层级收集和查询溯源信息,来保证溯源的保真度,提高数据溯源的灵活性。

一种科学工作流的云数据布局与任务调度策略

云计算环境下,数据密集型科学工作流的数据文件在多数据中心间的合理布局,对科学工作流的执行效率具有很大的影响。根据科学工作流各数据集之间的依赖关系,并聚焦于运行科学工作流的各数据中心的处理能力差异和网络性能差异,提出一种可提高科学工作流执行性能的数据布局以及数据布局敏感的任务调度策略。分析和实验表明,上述策略可有效减少科学工作流运行时跨数据中心的数据传输,降低科学工作流的运行时间,从而提高科学工作流整体运行效率。

云计算环境下科学工作流两阶段任务调度策略

经过对云环境下科学工作流现有的任务调度策略进行分析研究,针对异态最早结束时间(HEFT)算法及其改进算法SHEFT在任务执行过程中出现的资源闲置现象,结合云计算的特点,在SHEFT算法的基础上提出了一种两阶段任务调度策略。该策略在完成时间最少的情况下能够对资源的闲置时间进行尽可能的利用。经过对该算法进行实验和性能分析,表明该策略在完成时间和资源利用方面都有很大改进。

基于平衡定价和成本梯度的科学工作流调度策略

科学工作流调度在自治网格和竞争市场环境下变得极具挑战性.为了兼顾科学用户和服务提供者的需要,提出效用网格环境下市场驱动的科学工作流调度框架:使用平衡定价机制推导出多个资源约束情况下的服务价格,最大化服务提供者的利润和实现资源的最优分配;成本优化映射策略引入成本梯度因子作为服务选择的标准,提高调度算法的优化能力和优化速度.性能模拟表明该框架不仅实现了较高的资源节点收益和资源利用率,还可在保证用户QoS要求的前提下优化不同类型科学工作流的执行成本.

面向科学工作流的应用集成框架

在分析科学工作流的概念和特点的基础上,针对科学工作流中应用集成的需求,提出一个应用集成的统一框架。基于各种应用抽象出统一的模型,在该模型上提出的框架能有效地集成各种应用。基于该模型实现一个科学工作流管理系统。图像处理应用验证了该框架的可行性。

多云环境下基于代价驱动的科学工作流调度策略

针对多云环境下带截止日期约束的科学工作流调度问题,引入局部关键路径算法思想,提出基于代价驱动的科学工作流调度策略,目的是在满足科学工作流截止日期约束的同时,尽可能降低执行代价.该策略充分考虑多云环境和科学工作流的独有特性,首先根据工作流自身结构合并存在有向割边的相邻任务;再基于关键父任务迭代机制寻找带局部截止日期的局部关键路径;最后为局部关键路径分配最适合实例,并执行所有任务.实验表明,文中策略有效提高现有真实科学工作流的执行效率,并大幅减少执行代价.