分布式内存文件系统的发展

随着动态随机存储器集成技术的快速发展,基于内存的数据存储已经成为缓解磁盘I/O性能瓶颈的重要方式之一。分布式内存文件系统适用于非结构化数据存储,具有文件语义,能够兼容传统应用。从缓解磁盘I/O性能瓶颈的角度入手,介绍了单机内存文件系统、并行内存文件系统和分布式内存文件系统的发展,提出了未来的主要研究方向。

一种面向低延迟的内存HDFS数据存储策略

从底层存储介质的选择和上层分布式文件系统效率的角度出发,提出基于HDFS的内存分布式文件系统架构Mem-HDFS,同时利用集群DataNode的内存和磁盘存储数据,以提高基于HDFS应用的读取性能.并对其进行性能优化,提出一种适应的同分布数据存储策略以及并行读取访问算法.对比实验表明:提出的算法能够较好地降低读取访问延迟.

计算存储融合:从高性能计算到大数据

随着军事信息化建设,物联网广泛应用于战场感知、智能控制等军事领域,产生了海量的半结构化、非结构化的数据,受到I/O性能尤其是网络传输、硬盘读写的限制,传统的计算系统难以满足海量数据处理的应用需求。因此,提出了一种计算存储融合方法,通过扩展Linux内核,将集群内所有节点上的内存、处理器等计算存储资源在系统空间映射成一个统一的资源池,实现了单一进程空间和单一内存空间,并在内存空间内建立一个分布式内存文件系统。计算时可将数据完全加载到内存中,计算过程中仅与内存文件系统交互,避免了硬盘读写对系统性能的影响;另外,通过进程迁移,避免了节点之间的大量数据传输。实验结果表明,该方法对数据密集型计算是有效的,能够大幅提升系统的计算性能。

基于新型存储技术的大数据管理分析

阐述新型存储技术的特点,提出基于新型存储的大数据存储管理方法。探讨相变存储器PCM能够直接被CPU(中央处理器)按位存取,且具有极强的存取性能,可以实现数据持久存储。