一种适应数据与计算密集型任务的私有云系统实现研究

与公有云计算相比,针对数据与计算双重密集型任务的私有云计算系统对计算效率和系统管理效率提出了更高的要求,目前的公有云计算系统显得过于复杂和繁琐,因此需要一种简便易用的能够适应数据与计算密集型任务的私有云计算系统实现。借鉴公有云计算的相关理论和实现方法,提出了一种针对数据与计算双重密集型任务的私有云计算系统实现方案。该方案通过作业文件描述用户的计算任务,确定计算任务的计算模型和计算的输入输出文件;针对私有云的特点,简化Google云计算系统的MapReduce并行处理框架,得到更加直观的数据计算模型;自动连接计算数据流,使该方案更加精简和适应处理数据与计算双重密集型任务。实验结果表明:该方案能够减少额外的计算消耗,处理速度能得到显著提升,有很高的实用性。

数据和计算密集混合元任务的网格调度算法

网格计算技术是继Internet计算之后出现的新兴研究领域。网格系统由异构的资源组成,一个好的任务调度方法可以充分利用网格系统的处理能力,减少任务的完成时间。根据目前网格系统的使用模式,提出了符合实际的用户任务形式,即任务由数据传输和计算两部分组成,计算在获得所有输入之后开始执行。多个这样的独立任务组成元任务,作为调度程序的最小执行单位。在实际应用中,元任务应该由数据密集型和计算密集型任务混合组成。考虑到数据传输和计算的比例关系对元任务完成的影响,提出一种新的调度算法TCR,通过提高计算资源的利用率以及任务间的并行度,减少元任务的完成时间。详细介绍了该算法,并通过模拟结果的对比验证了该算法的良好性能。

云环境下面向数据密集型应用的数据选择策略研究

云环境下独立任务包数据密集型应用已出现在多个领域。鉴于多数据中心环境和"按需付费"的资源使用模式,这类应用在数据选择方面面临着新的挑战,主要表现为如何从内容相同但位置和访问成本均不同的数据集中选择合适的数据资源作为应用的输入。针对该问题,首先构建云环境和数据选择问题模型。在此基础上,将成本最小化的数据选择过程抽象为带权重集合的覆盖问题,提出一种新的数据选择策略,以在执行效率和经济成本间取得平衡。实验结果显示,提出的数据选择策略在保证成本优化的同时兼顾了执行效率,综合性能良好。

数据层可配置任务生成方法及其应用研究

为提高数据层的任务处理性能,提出一种可配置任务生成方法。通过分析数据库运行日志和跟踪信息,按照负载时空特性生成数据层任务处理脚本,并获取对应的资源消耗模式和关键任务处理性能。测试结果表明,该方法可以模拟实际应用系统的执行情况,由此获得服务器资源占用率,该资源占用率与实际资源占用率之间的误差可线性消除,为数据库服务器容量规划、存储结构设计、关键功能设计、性能优化,以及云计算平台资源实现和计算能力按需优化配置提供依据。

用于多个MapReduce作业的任务调度算法

提出了一个可用于工作流服务的,包含多个MapReduce作业的调度机制.工作流应用程序具有优先级依赖约束(可以用有向无环图DAG表示).同时,对于带宽有限的低数据传输成本,数据依赖限制应该在调度系统中.该调度机制能够提供:调度带有优先级约束的MapReduce任务;在网络上保存数据时,通过考虑了数据依赖限制的数据预放置策略来减少传输成本.

70年代:双重任务

1970年IAEA 成立核保障委员会,目的是就 IAEA 在3月生效的 NPT 下承担的义务向其提出建议。5月,IAEA 开始与参加的成员国一起运行文献题录数据库——国际核信息系统(INIS),即发行"原子能索引"、计算机磁带及缩微胶片。IAEA 理事会于1969年2月核准建立该系统,但附加了旨在控制增长和费用的限制条件(1972年取消)。到这个年代中期,已有35个国家同意参加 INIS,从而确保该系统至少涵盖世界核出版物资源的90%。