GVDS:面向广域高性能计算环境的虚拟数据空间

广域高性能计算环境是支撑科技创新和社会经济发展的核心信息基础设施。然而,在广域高性能计算环境中,异构存储资源在地理位置上的分散分布导致无法发挥广域存储资源的聚合效应,难以满足对广域分布数据的统一管理和高效访问需求。为此,提出了虚拟数据空间构建方法及数据访问性能优化方法,并实现了一个面向广域高性能计算环境的全局虚拟数据空间(GVDS)。GVDS可聚合广域分布的异构存储资源,形成统一的虚拟数据空间,有效支撑用户以统一访问模式高效访问广域分散的异构存储资源,实现广域环境中分布数据的跨域共享和协同处理。测试结果表明,与国际领先的面向广域高性能计算环境的OneData、GFFS等存储系统相比,GVDS实现了相当的功能,且数据访问性能明显提升。

面向大数据处理应用的广域存算协同调度系统

以我国研发的高性能计算虚拟数据空间系统为基础,针对大数据处理应用如何统筹利用广域存储和计算资源的问题,设计并实现了一套面向大数据处理应用的广域存算协同调度系统。该系统可依据应用的计算特征和数据布局,通过存算协同、负载均衡、数据局部性感知等策略,在广域环境中协同调度应用数据和计算任务,统筹利用广域计算和存储资源,有效提升大数据处理应用的运行性能。在国家高性能计算环境中实际测试的结果表明,提出的调度方法可有效地支撑大数据处理应用,跨域目标协同识别、分子对接等典型应用的运行效率可提升3~4倍。

广域虚拟数据空间中边缘缓存系统的研究与实现

针对广域虚拟数据空间系统中边缘客户端访问和共享远程数据时,数据冗余传输造成大量网络带宽浪费的问题,通过研究广域虚拟数据空间系统中的缓存技术,提出边缘缓存机制优化数据访问通路,将数据以文件粒度缓存在靠近边缘客户端的位置,从而提升上层应用访问和共享数据的性能。测试结果表明,作为虚拟数据空间系统的补充,提出的边缘缓存系统可提升广域数据共享的性能。