云计算环境下SaaS服务可伸缩性评估方法研究

针对云计算环境下Saa S服务可伸缩性的分析评估问题,通过分析Saa S服务伸缩性需求和特点,给出其可伸缩性定义,并且提出一种新的可伸缩性评估模型和度量指标,具体包括:资源利用率、资源生产率、收敛性。最后,基于亚马逊EC2云计算平台,对评估模型和方法进行实例验证。

海量小文件系统的可移植操作系统接口兼容技术

基于Hadoop分布式文件系统（HDFS）研发的海量小文件系统（SMDFS）遗留了HDFS不兼容可移植操作系统接口（POSIX）约束的问题，为解决SMDFS的这一问题，提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先，通过设置数据暂存区来实现读写模式文件流的重定向，然后建立异步线程池模型，实现数据暂存区镜像文件的同步，从而完成用户层到存储层的所有POSIX相关的文件操作。此外，借助跳表结构的元数据缓存实现List目录等元数据操作效率优化。测试表明，相较于HDFS的Linux客户端，基于技术成果实现的SMDFS3．0的随机读性能有10倍以上的性能提升，顺序读和顺序写性能有约3～4倍的提升，随机写性能可以达到本地文件系统的20％，基于目录的元数据缓存的设计使目录的List操作效率提升近10倍。但是，由于用户空间文件系统（FUSE）挂栽的客户端会引入额外的内核态和用户态切换等带来的开销，因此SMDFS3．0的Linux客户端相对于系统的Java接口会有大约50％的性能损耗。

海量文件系统中基于特征实现文件多维度浏览

SMDFS可以高效地管理百亿级数量文件。然而针对照片、音乐等海量数据,往往需要从多个维度快速浏览文件,基于目录结构管理海量文件的传统文件组织方式很难满足这一要求。在SMDFS文件系统基础之上,为文件引入特征属性,并提出基于特征的海量小文件倒排索引技术和分布索引技术,使SMDFS可根据多个特征快速浏览文件。实验数据表明,支持特征的SMDFS能为海量小文件提供高效管理和多维度快速浏览能力,同时基于文件目录结构访问海量小文件的性能并没有明显下降。

海量小文件系统中基于聚合单元的空间回收机制

由于开源分布式文件系统HDFS不支持随机读写,基于HDFS实现的分布海量小文件系统SMDFS只支持聚合空间的删除,但不支持文件粒度的删除。在分析SMDFS文件删除行为基础上,采用元数据实时删除和事后存储空间碎片整理结合的删除思路。由于SMDFS不支持从数据文件获取其中的未删除小文件,提出聚合单元的概念,每个数据文件对应一个聚合单元,借此可获得数据文件中所有的未删除的小文件和存储空间碎片。通过迁移未删除小文件和删除整个数据文件,实现存储空间碎片整理。设计了Master-Worker分布式空间回收程序框架,实现了SMDFS的文件删除功能。测试表明,支持文件删除的海量小文件系统SMDFS2. 1与原有的SMDFS2. 0相比,文件的读写性能没有明显下降;碎片整理时系统写性能降低30%,系统读性能降低18%。