基于磁盘I/O性能的Hadoop任务选择策略

最大化利用本地磁盘的I/O资源是提升计算集群性能的关键,但Hadoop系统中多数调度算法未考虑此项因素。为此,引入磁盘负载作为Map任务选择的权衡参数,任务调度时参照磁盘负载程度选择合适的任务,以保证数据节点上各磁盘的负载相对均衡,并据此设计新的任务选择模块集成到Hadoop的调度器中。同时为进一步提升Hadoop系统的性能,实现Map作业的近似完全本地化执行。实验结果表明,该任务选择策略能够充分利用数据节点本地磁盘的I/O资源,可使节点的I/O Wait平均降低5%,CPU利用率平均上升15%,作业的执行时间缩短20%。

一种智能网络磁盘(IND)存储系统结构

针对当前计算机存储系统结构中存在的若干问题,文中提出了一种新型的智能网络磁盘(Intelligent Network Disk,IND)存储系统结构.分别给出了IND内部数据的读/写控制、容错处理、负载平衡等智能控制算法,已经构建了一个IND结构的模拟原型IND存储系统.IND存储系统中各个IND都是直接与网络连接,若干个IND组成一个集群存储系统,给用户提供了一个虚拟化的海量存储系统.另外,由于各IND都具有一定的智能度,所以它是一种灵活可变的智能型网络存储器系统.

并发流媒体负载下磁盘阵列性能的研究

通过仿真试验对磁盘阵列在并发流媒体负载下的性能进行了定量的研究,对访问请求响应时间的分布进行了统计和分析,得到了磁盘阵列为流媒体应用提供的服务质量随并发流媒体应用数量增加的变化曲线,确定了满足QoS需求的并发流媒体应用数量的阈值。

智能网络磁盘集群存储技术研究与实现

智能网络磁盘(IND)集群是一种海量存储的新方案,为了实现其功能,组建了IND局域网平台,深入探索了实施的关键技术,采用集中管理,分散服务,备份支援,实时监控的策略,有效控制了并发,自动调整负载平衡,批量传送文件更安全更方便,保证了系统的正常运行.大量测试数据表明,智能控制是成功的,智能算法是正确的,符合设计初衷.IND集群是一种可用性好、易扩展、安全、简便、灵活、价廉的海量存储系统.

一种基于I/O密集型工作负载的智能磁盘架构的研究

嵌入式处理器或智能磁盘与它们的网络接口控制器实际上被视为磁盘上的存储和二级存储的处理单元,当今较大的I/O密集型工作负载的数据大小和访问模式要求其处理与存储容量增加功率表的架构。基于这一问题,研究探讨了智能磁盘的分布式存储架构。实验结果显示,分布式智能磁盘系统具有理想的可扩展性,而且能够有效地处理I/O密集型工作负载。