基于异构硬件的LSTM训练系统

在大数据时代,以LSTM为代表的深度神经网络模型具有处理海量数据的能力,在语言处理、语音识别、时序数据预测等领域表现优异。随着模型复杂度的提高,训练成本大幅提升。现有的LSTM训练系统使用了算子融合、多流等加速手段,但忽略了训练算子内部计算的可并行性,导致计算资源的利用率低,整体耗时长。为此,设计了基于细粒度模型划分和多流并行调度方法的LSTM训练系统TurboLSTM,在英伟达GPU和国产昇腾NPU这两种异构硬件上构建的全新底层训练算子实现了任务对计算资源的合理利用。与已有训练系统相比,在GPU上TurboLSTM的单算子训练时间缩短了23%,模型的整体训练时间缩短了17%,在NPU上TurboLSTM的单算子训练时间缩短了15%,且对计算资源的利用率显著提高。这表明提出的加速方案是高效的,具有良好的泛化能力。

大数据技术前瞻

世界主要国家高度重视大数据发展,我国也将发展大数据作为国家战略,发展大数据技术具有重要意义。大数据技术涉及从采集、传输到管理、处理、分析、应用的全生命周期以及生命周期各阶段的数据治理。选取数据生命周期中的管理、处理和分析技术以及大数据治理技术来梳理国内外技术发展现状,特别是研判我国大数据技术发展与国际先进技术之间的差距。另外,在大数据应用需求的驱动下,计算技术体系正面临重构,从“以计算为中心”向“以数据为中心”转型,在新的计算技术体系下,一系列基础理论和核心技术问题亟待破解,新型大数据系统技术成为重要发展方向。在计算体系重构的背景下,提出大数据技术发展的四大技术挑战和十大发展趋势。

通用网格容错框架研究

针对网格计算可靠性需求,提出一套网格计算容错框架,该容错框架包括两个方面网格错误检测与网格错误处理.本容错框架通过提供一种层次式错误检测方式以及基于策略的通用错误处理方式来保证网格计算的可靠性.错误检测服务按照层次方式组织,最底层是本地错误检测器,它负责收集被检测对象的信息,发送到中间层的数据收集器,中间层数据收集器按照列表方式发送被检测对象的信息到顶层数据收集器.当错误检测器检测到运行错误时,按照决策分析的方法来提供灵活的错误处理方式.对系统的性能评测表明提出的通用网格容错框架具有很好的扩展性、高效性以及较低的额外开销.

自适应网格错误检测框架研究

针对网格计算可靠性需求提出了一种自适应的网格错误检测框架,该错误检测框架包括两个重要算法:单进程间错误检测算法以及错误检测器管理算法.该错误检测框架借鉴分布式不可靠错误检测服务研究以及关系型网格监控架构的思想,按照层次是方式组织错误检测服务.错误检测框架能够根据系统的运行状况以及用户需求动态调整系统参数以及系统部署结构,最后给出了系统的性能数学分析以及实验评测,结果显示系统具有良好的可扩展性和使用灵活性.

有服务质量保证的数据密集型网格应用管理研究

在网格中数据密集型应用的管理由于需要综合考虑多种资源属性而变得非常复杂,本文针对该问题提出了一种有服务质量保证的数据密集型网格应用管理方法,该方法通过两个方面来保证服务质量,首先是通过基于数据可靠性的副本管理策略提高数据的可用性,其次采用基于任务截至期限的任务调度策略来动态调度任务。最后,给出模拟试验测试以及实际网格平台与实际应用的测试,测试结果表明本文提出的方法较其它方法有很大提高。

面向网格的协作式网络计算平台

互联网资源的利用率无论在时间上 ,还是空间上都存在极度的不均 .在不干扰用户工作的前提下 ,充分利用互联网上闲置的资源 ,解决大规模的科学计算 ,具有极其重要的意义 .文章在前期HowU网格平台的网络计算组件的基础上 ,结合当前流行的网格技术和P2P技术 ,提出了一种协作式的网络计算平台 ,支持包括集群和单机两种类型的资源管理器和注册资源 ,通过资源管理器之间的协作和资源共享 ,实现了全球空闲资源管理的容错和负载平衡 .该文提出了两种简单实用的协作式算法 :空闲管理器申请应用算法以及过载管理器申请资源算法 。

一种能耗感知的虚拟集群CPU资源自动再配置方法

系统虚拟化技术可以动态再配置应用环境的计算资源.当前动态资源配置方法主要关注于保证具有动态负载应用的服务质量.这些方法受应用性能驱动并常常增加资源控制系统的响应延迟.针对上述问题提出了以资源使用状态为驱动的资源再配置方法(resource-use-status-drivenresource reconfigurationscheme,RUSiC),自动适应动态负载变化来满足应用性能的资源需求.RUSiC被设计成2层架构的资源再配置模型,基于实时的资源使用状态,及时用较小的开销为应用调整合适的资源配置.同时,RUSiC也考虑到电能的有效使用,在资源的新配置中通过尽可能减少激活物理节点的数量避免大量不必要的电能消耗及相关的冷却费用.实验数据表明,在应用负载变化时,RUSiC能快速监测并响应变化的资源需求,并在保证应用性能的前提下,使用较小数量的激活物理节点.

多核环境下虚拟机VCPU调度研究：问题与挑战

虚拟机VCPU调度策略和机制是影响虚拟机系统性能的关键因素.由于虚拟机系统改变了传统的软件栈结构,简单地将传统操作系统中所采用的调度策略和算法移植到虚拟机监视器层用于虚拟机VCPU的调度,会导致虚拟机系统性能的偏离甚至严重下降,虚拟机系统下层的物理处理器采用多核结构更增加了虚拟机VCPU调度的复杂性.详细介绍并分析了虚拟机系统的架构及虚拟机系统两层调度框架的特点,指出了虚拟机客户操作系统与虚拟机监视器之间的语义缝隙、多处理器操作系统的同步机制、多核处理器的共享cache结构以及新出现的不对称多核结构是虚拟机VCPU调度所面临的主要问题和挑战,深入剖析了目前已提出的针对上述问题和挑战的各种解决方法和机制,指出了它们的特点及局限性,为未来进一步的研究工作提出了建议.

HowU网格自适应调度模型

随着互联网的迅速发展 ,基于异构分布式网络的高性能计算平台——计算网格 ,成为了一种新型的计算模式 .介绍了基于 Globus的 How U网格的实现技术 ,通过资源请求代理进行网格作业提交 .为了有效利用网格资源 ,以“参数考察”任务为例 ,提出了一种自适应网格任务调度模型 ,该模型充分考虑了任务的实时容错需求 .最后比较分析了该模型与 Globus协作分配策略和 Gr

一种面向服务网格的通用框架及服务访问模型

网格资源的表示、组织、部署、发现、创建、使用和撤销是网格计算的重要研究问题,随着Webservices技术和服务网格理念的逐步成熟,以“服务”的方式来包装网格资源已经成为了一种趋势,并得到了网格界的一致认同。由于网格资源的“充足性”及“共享性”,采用池的方式来组织网格资源,以及把网格资源包装成服务,是一种很合理的方式。用户对网格的一次访问过程包括访问场景的创建,访问的实施,以及实施完成后的撤销,具有生命期的特征,而这正是虚拟组织所具有的功能,基于虚拟组织来设计服务访问模型是很合理的。基于物理资源池、服务池以及虚拟组织的思想,文章提出了面向服务网格的通用框架模型及服务访问模型VSP,VSP模型被用于指导HowU信息处理平台的设计。

基于分布式信任管理机制的网格授权研究

针对现有的网格安全机制不能满足虚拟组织的动态、自治、可扩展等需求的不足,提出了基于分布式信任管理机制的网格分布式授权模型,模型定义了网格实体之间的命名关系、授权代理关系.命名关系的定义可以在满足全局命名定义的前提下,表示局部的命名关系;授权代理关系可以实现网格实体之间自治的、动态的授权委托,并且具有良好的可扩展性.基于此授权模型实现了HowU网格授权系统.并且,还对网格授权系统的授权关系的存储和发现机制进行了阐述.

网格数据管理互操作机制研究

针对不同网格之间数据管理互操作存在的问题,分析了数据网格中间件SRB(Storage Resource Bro-ker)和ChinaGrid中的数据管理模型,同时讨论了SRB和ChinaGrid两者之间实现数据互操作存在的难点,提出了一套基于接口的网格数据互操作机制,并建立了相应的接口模型.该模型采用接口映射和副本管理策略,有效屏蔽了不同网格的数据操作接口,为用户提供了统一的逻辑数据视图和操作模式,保证了数据文件的有效性和一致性.该接口模型具有灵活性高、兼容性强和扩展性好等优点;通过这套接口机制可以实现China-Grid和采用SRB的数据网格之间的互操作.

资源代理在异构网格互操作中的应用

提出了一种基于Agent服务的网格资源代理方法,用以实现目前国内最大的教育科研网格CGSP与CNGrid的互操作.网格资源代理通过对Agent服务的部署和控制来进行用户身份认证以及网格服务共享等任务,从而实现异构网格中间件系统的用户单点登录、资源共享与服务的互操作.本方法具有通用、灵活,结构简单且易扩展的特点.

一种基于逃逸时间算法生成分形图象的加速算法

提出加速逃逸时间算法生成分形图象的算法—屏幕分割算法,根据逃逸时间算法生成分形图象的特点,将屏幕区域进行矩形分割,检测每个矩形区域内是否有受控点,若没有,用背景色填充,反之则利用逃逸时间算法绘制图象。利用屏幕分割法,图象生成速度明显提高。

基于带权有向图的网格工作流数据传输策略

针对网格中数据传输忽略网络状况的问题,提出了一种基于带权有向图的网格工作流数据传输策略.该策略针对不同数据处理率的网格工作流作业,首先根据网格内各结点之间的带宽,然后选择合适的数据传输方式,计算出两点之间的权重从而生成一个带权有向图.最后从图中选出最佳的传输路径进行数据传输,从而提高了工作流的执行性能.实验证明了在网络结构及传输速度一定时,该策略的数据传输性能优于传统的利用GridFTP直接传送的数据传输方法.

面向依赖关系的网格服务维护机制研究

在复杂的大规模分布式网格环境下,网格服务组件的维护是一个不容忽视的问题,不恰当的维护操作可能会带来不可预料的灾难.本文关注由服务间的依赖关系引起的网格维护期间系统可用性问题,提出了一种网格服务维护机制,针对网格服务组件提供了多种粒度(服务级,容器级和节点级)的维护.在使用了该机制后,网格管理员可以在运行时更安全地执行维护任务并保持较高的系统可用性.测试结果显示,我们提出的面向依赖关系的服务维护机制使得网格的管理变得更加自动和高效.

新型的网格应用——重点学科网格

为了改善传统的重点学科建设在资源共享范围和使用程度上都处于较低水平的状况,为更好地组织和管理学科资源,提出了一个新型的网格应用———重点学科网格.重点学科网格通过调用网格中间件的相关应用接口对资源进行整合,从而更深入地实现学科内信息、数据、软件及设备的共享和协同,为重点学科发展提供了一个更有效的虚拟科研环境.

深度学习中的内存管理问题研究综述

近年来,深度学习已经在多个领域取得了巨大的成功。深度神经网络向着更深更广的方向发展,训练和部署深度神经网络模型都将面对巨大的内存压力。加速设备有限的内存空间已经成为限制神经网络模型快速发展的重要因素,如何在深度学习中实现高效的内存管理成为深度学习发展的关键问题。为此,介绍了深度神经网络的基本特征;分析了深度学习训练过程中的内存瓶颈;对一些代表性的研究工作进行了分类阐述,并对其优缺点进行了分析;对深度学习中内存管理技术的未来发展趋势进行了探索。

基于插件的网格作业管理互操作策略

针对现有异构网格中间件的资源不能互相访问的难题,提出了一种基于插件机制的网格作业管理互操作策略PBIS(Plugin-Based Interoperation Strategy).PBIS策略屏蔽了底层网格中间件作业管理部件的异构性,为上层用户和应用开发人员提供统一的作业管理访问接口.PBIS策略在CSGrid网格互操作工程研究中被采用,证明了其可行性.

分布式数据处理系统内存对象管理问题分析

通过从程序语言的特性、垃圾回收机制、内存对象的序列化机制到基于区域的内存管理机制分析了内存对象的管理存在的问题,并分析了内存对象的生命周期在内存对象管理中能发挥的作用。提出了基于内存对象的生命周期对内存进行区域化管理的思路,可以从根本上解决垃圾回收问题。