分布内存系统中节点间软流水优化技术

Maximize parallelism and minimize communication overheads are important issues for distributed memory systems. Communication and data redistribution cannot be avoided even when considering global optimization of data distribution and computation decomposition. A new approach based on loop fusion is presented exploiting pipelining parallelism, thus communication overhead can be hidden and data redistribution can be avoided. This technique exploits pipelining from complex loop structures, which distinguishes itself from traditional pipelining techniques. Ex-periments show that the technique is superior to other optimizations.

分布式内存文件系统的发展

随着动态随机存储器集成技术的快速发展,基于内存的数据存储已经成为缓解磁盘I/O性能瓶颈的重要方式之一。分布式内存文件系统适用于非结构化数据存储,具有文件语义,能够兼容传统应用。从缓解磁盘I/O性能瓶颈的角度入手,介绍了单机内存文件系统、并行内存文件系统和分布式内存文件系统的发展,提出了未来的主要研究方向。

一种面向低延迟的内存HDFS数据存储策略

从底层存储介质的选择和上层分布式文件系统效率的角度出发,提出基于HDFS的内存分布式文件系统架构Mem-HDFS,同时利用集群DataNode的内存和磁盘存储数据,以提高基于HDFS应用的读取性能.并对其进行性能优化,提出一种适应的同分布数据存储策略以及并行读取访问算法.对比实验表明:提出的算法能够较好地降低读取访问延迟.

计算存储融合:从高性能计算到大数据

随着军事信息化建设,物联网广泛应用于战场感知、智能控制等军事领域,产生了海量的半结构化、非结构化的数据,受到I/O性能尤其是网络传输、硬盘读写的限制,传统的计算系统难以满足海量数据处理的应用需求。因此,提出了一种计算存储融合方法,通过扩展Linux内核,将集群内所有节点上的内存、处理器等计算存储资源在系统空间映射成一个统一的资源池,实现了单一进程空间和单一内存空间,并在内存空间内建立一个分布式内存文件系统。计算时可将数据完全加载到内存中,计算过程中仅与内存文件系统交互,避免了硬盘读写对系统性能的影响;另外,通过进程迁移,避免了节点之间的大量数据传输。实验结果表明,该方法对数据密集型计算是有效的,能够大幅提升系统的计算性能。

基于VOPP并行编程环境的最大频繁项集生成方法

频繁项集挖掘是关联规则挖掘的核心内容,提出了一种挖掘最大频繁项集的并行算法CDTR。它对CD(counting distribution)算法进行了改进,根据一种新的分布式共享内存环境下面向视图并行编程思想,将数据库划分成视图。为了实现动态任务分配,对数据库进行了预处理。实验结果显示CDTR能够高效地生成最大频繁项集,大大提高了分布式共享内存系统的效率。

Alluxio数据随机访问方法的研究

为保证系统的可扩展性和容错性,Alluxio简化了文件系统实现,不支持数据随机访问,但在实际情况中仍有许多应用需要数据随机访问。Alluxio原生Java接口灵活性较差,不支持传统应用,不能完全发挥内存的高速性能。因此在深入分析Alluxio数据读写原理后,提出了新式数据随机访问方法,其核心思想是改变原有数据访问和缓存时机,将对Alluxio中的文件读写转化为对本地内存文件系统的文件读写,从而实现对数据的随机访问。在此基础上,还可以使用内存映射技术进一步提高本地文件的读写性能。测试结果表明,该方法的数据读取性能提升了14.5%,写入性能提升了1.4倍以上。在实际应用场景中合理使用Alluxio及新式数据随机访问方法,可获得数倍至数十倍的性能提升。

基于新型存储技术的大数据管理分析

阐述新型存储技术的特点,提出基于新型存储的大数据存储管理方法。探讨相变存储器PCM能够直接被CPU(中央处理器)按位存取,且具有极强的存取性能,可以实现数据持久存储。