面向云端Key/Value存储系统的开销敏感的数据迁移方法

Key/Value存储系统在大规模、高性能云应用支撑方面扮演了重要的角色,对云端Key/Value存储系统而言,数据迁移是实现节点动态扩展与弹性负载均衡的关键技术.如何降低迁移开销,是云服务提供商需着力解决的问题.已有研究工作大多针对非虚拟化环境下的数据迁移问题,这些方法对于云端Key/Value存储系统而言往往并不适用.为应对上述挑战,将数据迁移问题纳入负载均衡场景解决.提出一种基于面积的迁移开销模型,该模型可以有效感知底层VM性能干扰状况,权衡迁移时间与性能衰减值.进一步提出一种开销敏感的数据迁移算法,该算法基于开销模型与均衡度制订数据迁移计划,选取最优的迁移操作.基于雅虎的云服务基准测试工具YCSB验证了该方法的有效性.

云计算技术及其应用

云计算主要基于资源虚拟和分布式并行架构两大核心技术。在虚拟化技术方面,文章探讨了物理资源的池化、资源池的管理与使用、集群的故障定位与维护、资源池的分组与异构等技术,以及异构的虚拟化云计算平台的建设和应用。在分布式技术方面,文章探讨了分布式文件系统和Key/Value存储引擎技术。对于分布式文件系统,提出主机"瓶颈"解决方案及存储接口标准化的想法;对于Key/Value存储引擎,提出目录化存储的解决方案。

面向分布式GIS空间数据的Key-value缓存

设计了一种基于Key-value结构的缓存KV-cache,旨在简化数据结构,高效管理缓存数据。KV-cache由Mem-cache和F-cache构成。其中,Mem-cache为第一级缓存,并采用缓存回写机制以异步方式将数据写入F-cache进行持久化存储。F-cache使用大文件存储数据,并构建了基于B树的缓存索引以加快检索速度。数据写入F-cache的位置由基于B树的空闲空间管理器进行分配。在100 Mbps局域网内测试KV-cache读写性能。实验表明,KV-cache读写性能优于传统文件目录方式的缓存,能够安全、高效地管理所缓存的各种空间数据。

数据库与MapReduce融合的大数据管理技术探索

大数据管理是随着时代和技术发展而提出和演化的命题。随着大数据从传统的结构化数据向无结构化数据的转移,Key/value存储、NoSQL、MapReduce等技术成为数据库技术之外大数据管理的多样化手段。MapReduce以其开放性成为当前大数据的代表技术,在大数据应用中,如何让MapReduce与数据库高效协同,发挥各自的技术优势和平台优势,提供高性能、高可扩展性、高可用性的大数据服务平台成为重要的研究课题。本文讨论在大数据存储、管理与服务主题上的观点和技术路线,探索将MapReduce作为数据库新的应用与开发平台的可行性。