高性能计算环境下基于远程I/O负载平衡调度算法

在高性能计算环境中数据和应用程序往往分散在不同的节点,远程I/O的效率成为影响高性能计算性能的一个重要因素。为了提高系统的I/O效率,引入了一种基于远程I/O负载平衡调度算法。该算法采用了一种预约机制,可以对节点I/O负载进行动态调整、更好地利用网络带宽。详细介绍了该算法的实现过程,并且在一个模拟环境下对该算法的效果进行了评测。

网络存储环境下的I/O负载

网络存储改变主机系统与存储设备间的连接关系 ,利用存储设备的计算能力直接向网络用户提供存储服务。这种结构的改变使系统存储处理模式相应发生变化 ,导致存储设备I/O负载特征发生变化。本文提出存储系统负载不仅与应用环境相关 ,还与系统存储处理模式相关的观点 ,并据此分析了传统存储系统和网络存储系统的I/O负载特征。

一种基于I/O密集型工作负载的智能磁盘架构的研究

嵌入式处理器或智能磁盘与它们的网络接口控制器实际上被视为磁盘上的存储和二级存储的处理单元,当今较大的I/O密集型工作负载的数据大小和访问模式要求其处理与存储容量增加功率表的架构。基于这一问题,研究探讨了智能磁盘的分布式存储架构。实验结果显示,分布式智能磁盘系统具有理想的可扩展性,而且能够有效地处理I/O密集型工作负载。

DMStone:一个分级存储系统性能测试工具

对分级存储系统的性能测试,需要提供真实的系统状态和有代表性的访问负载.已有的分级存储系统测试方法通过播放一段时间的文件访问请求来生成系统状态.因为彻底忽略了近期未被访问的文件而与分级存储的真实场景不符,使得测试结果没有说服力.提出了一种分级存储系统性能测试工具DMStone,它使用文件系统快照生成某一时刻的系统状态,并根据后续的相邻快照之间的差异提取访问负载特征,进而生成有代表性的I/O负载.DMStone能够提供某一时刻真实的文件系统状态,涵盖了近期访问过的和长期不用的所有文件.而且,它能够保证后续文件访问的特征与真实应用场景相符合.

对象存储系统中一种高效的分层对象布局算法

在对象存储系统中,如何有效地在对象存储设备上分布对象是其面临的重大挑战.需要一个能够常数时间内定位对象,同时能公平地分布对象以及自适应存储规模变化的对象布局算法.目前大部分布局算法只能适应单层模式,少数的多层模式对设备配置有严格的要求,而且无法在常数时间内定位对象,自适应性较差.提出了一种新的分层对象布局算法,首先使用最大最小聚类算法将设备集合进行分类,支持灵活的设备配置.然后使用提出的EFAH Hashing算法在集群间和集群内分布对象.理论和实验证明,新的分层对象布局算法可以在常数时间内定位对象,从而减轻元数据服务器的计算量.同时可以在设备之间较公平地分布对象,达到I/O负载均衡的目的.而且在设备集合变化时,迁移较少的对象数以满足对象再次分布的公平性.

一种存储系统性能模型的提取方法及模型应用

存储系统性能模型的获取对于存储系统设计、系统管理以及系统性能评价等相关领域的理论研究和工程实践均具有极为重要的意义.相对于常规的分析建模方法,本文提出了一种基于运行时特征的存储系统性能模型提取方法,该方法依据I/O负载的运行时特征和系统性能,借助多元回归分析理论,在线提取系统的性能模型.实验结果表明文中方法所获取性能模型具有较高的精确度,同时还实验证实了所提取性能模型在存储管理领域性能预测和what-if分析两个重要问题场景下的实用性和有效性.

一种可扩展机群文件系统的设计与实现

介绍了可扩展机群文件系统 TH- Clu FS的设计与实现 .TH- Clu FS基于共享文件模型 ,采用无服务器的对等体系结构 .同时 ,为了有效利用机群系统累积的资源 ,TH- Clu FS采用了复制与分布相结合的元数据分布管理策略、文件粒度的数据分布存储机制 ,以及一种自治的 I/ O负载平衡方法 .实验结果表明 ,TH - Clu FS很好地统一了机群文件系统在单一系统映像。

处理器与音视频外设之间的连接

数字信号处理器以需要大量I／O负载的应用为目标，通常为开发人员提供各种集成接口一某些是标准接口，另外一些则是专用接口。例如，美国模拟器件公司（ADI）的Blackfin系列处理器是会聚处理器，这意味着它们在一个芯片上集成了DSP与MCU功能，这些处理器拥有与音频应用相关的两种主要类型的串行接口。