面向云端Key/Value存储系统的开销敏感的数据迁移方法

Key/Value存储系统在大规模、高性能云应用支撑方面扮演了重要的角色,对云端Key/Value存储系统而言,数据迁移是实现节点动态扩展与弹性负载均衡的关键技术.如何降低迁移开销,是云服务提供商需着力解决的问题.已有研究工作大多针对非虚拟化环境下的数据迁移问题,这些方法对于云端Key/Value存储系统而言往往并不适用.为应对上述挑战,将数据迁移问题纳入负载均衡场景解决.提出一种基于面积的迁移开销模型,该模型可以有效感知底层VM性能干扰状况,权衡迁移时间与性能衰减值.进一步提出一种开销敏感的数据迁移算法,该算法基于开销模型与均衡度制订数据迁移计划,选取最优的迁移操作.基于雅虎的云服务基准测试工具YCSB验证了该方法的有效性.

数字图书馆数据存储系统性能优化

数字图书馆的数据信息种类繁多,形式复杂多样,数据的重要性程度不一,数据访问方式各异,因而不同的数据类型则对读写性能等方面有不同的要求。为此,本文提出了适用于数字图书馆应用环境的存储系统性能优化方法 KVCache,包括key-Value原子更新策略和数据分布与置换策略等内容。KVCache利用SSD闪存设备和keyValue技术实现缓存数据的缓存持久化存储,并且利用多级存储下的两段更新事务原子性管理,保证多级存储数据一致性和可靠性。通过模拟实验表明KVCache有效的增加了存储系统中的数据在顺序读写、随机读写下的性能,并且使其随机读写性能接近本地内存读写性能。

面向分布式GIS空间数据的Key-value缓存

设计了一种基于Key-value结构的缓存KV-cache,旨在简化数据结构,高效管理缓存数据。KV-cache由Mem-cache和F-cache构成。其中,Mem-cache为第一级缓存,并采用缓存回写机制以异步方式将数据写入F-cache进行持久化存储。F-cache使用大文件存储数据,并构建了基于B树的缓存索引以加快检索速度。数据写入F-cache的位置由基于B树的空闲空间管理器进行分配。在100 Mbps局域网内测试KV-cache读写性能。实验表明,KV-cache读写性能优于传统文件目录方式的缓存,能够安全、高效地管理所缓存的各种空间数据。

云计算技术及其应用

云计算主要基于资源虚拟和分布式并行架构两大核心技术。在虚拟化技术方面,文章探讨了物理资源的池化、资源池的管理与使用、集群的故障定位与维护、资源池的分组与异构等技术,以及异构的虚拟化云计算平台的建设和应用。在分布式技术方面,文章探讨了分布式文件系统和Key/Value存储引擎技术。对于分布式文件系统,提出主机"瓶颈"解决方案及存储接口标准化的想法;对于Key/Value存储引擎,提出目录化存储的解决方案。

基于MapRedue的大规模矢量空间数据选择查询处理

为高效地处理大规模矢量空间数据,基于Hadoop的并行计算框架MapRedue,实现了一种分布式的矢量空间数据选择查询处理方法。首先,分析OGC简单要素标准与Hadoop的Key/Value数据模型,设计了可存储于Hadoop HDFS的矢量文件格式;其次,根据两阶段的过滤-精炼策略,对Map输入数据分片、选择查询处理过程及Reduce结果合并等关键步骤进行了详细阐述;最后,基于上述技术,利用Hadoop集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率。

一种面向FPGA异构计算的高效能KV加速器

网络功能虚拟化等新兴应用的蓬勃发展对Key-Value查询的能效提出了更高要求。传统的解决方法要么采用基于软件Hash表,要么采用专用的三态内容可寻址存储器(TCAM)芯片进行加速。其中,软件方法实现成本低,但是在数据冲突较高时会导致查表性能急速下降;硬件TCAM方法具有优良的时间特性,但其价格昂贵、耗能巨大。目前,随着基于现场可编程门阵列FPGA的异构计算技术的高速发展,利用系统已经提供的FPGA资源对基于软件实现的Hash表结构进行加速成为一种性价比更佳的解决方案。探讨如何利用FPGA上的RAM资源来实现一种具有高扩展性和高能效比的TCAM逻辑。与传统的TCAM结构不同,提出的架构支持查表范围的动态缩放,从而可以有效减少查表功耗。为了验证方案的有效性,利用Virtex-7系列FPGA对本文方案进行实现和评估,并与软件查表的性能进行详细比较。实验表明,本文方案吞吐量可达到234 Mpps,查表延迟为25.56ns。相比软件的方法,吞吐量提高780倍,延迟降低240倍。

数据库与MapReduce融合的大数据管理技术探索

大数据管理是随着时代和技术发展而提出和演化的命题。随着大数据从传统的结构化数据向无结构化数据的转移,Key/value存储、NoSQL、MapReduce等技术成为数据库技术之外大数据管理的多样化手段。MapReduce以其开放性成为当前大数据的代表技术,在大数据应用中,如何让MapReduce与数据库高效协同,发挥各自的技术优势和平台优势,提供高性能、高可扩展性、高可用性的大数据服务平台成为重要的研究课题。本文讨论在大数据存储、管理与服务主题上的观点和技术路线,探索将MapReduce作为数据库新的应用与开发平台的可行性。