副本协作预取中文件相关性查询机制

副本协作预取是一种网格副本复制策略,旨在通过获取隐性高价值文件进一步降低数据访问延迟.副本协作预取的关键在于隐性高价值文件的确定和获取,因此,提高隐性高价值文件获取的速度能够大幅度提升副本协作预取的性能.利用DHT(distributed hash table)组织网格节点,以快速定位隐性高价值文件查询所必需的文件相关性信息.针对隐性高价值文件的特殊查询模式,提出基于预取规则树的文件相关性信息存储结构及其查询机制,以提高查询效率.基于真实网格作业运行记录的实验,验证了所提出方法的有效性和高效性.

基于文件相关性的云存储缓存策略

分析云存储数据访问的长尾现象,设计一种基于文件相关性的缓存策略MSU(mostsimilarunit).该策略通过判断文件之间的相关性完成大容量缓存中的文件预取与替换.首先,MSU选择文件的多个访问特征作为计算余弦距离值的输入,从而得到文件相关性的度量.然后,MSU将缓存中的文件作为替换待选集合,将一段时间内从缓存中替换出来的文件作为预取待选集合.当出现文件不命中时,从替换待选集合中取得缺失文件的k-非近邻作为替换文件,从预取待选集合中取得缺失文件的1-近邻作为预取文件.仿真实验表明MSU在命中率和字节命中率方面优于LRU(最近最少使用策略)、ARC(自适应替换策略)和GDS(多参数贪心策略)算法.

一种面向HDFS中海量小文件的存取优化方法

为了解决HDFS(Hadoop distributed file system)在存储海量小文件时遇到的NameNode内存瓶颈等问题,提高HDFS处理海量小文件的效率,提出一种基于小文件合并与预取的存取优化方案。首先通过分析大量小文件历史访问日志,得到小文件之间的关联关系,然后根据文件相关性将相关联的小文件合并成大文件后再存储到HDFS。从HDFS中读取数据时,根据文件之间的相关性,对接下来用户最有可能访问的文件进行预取,减少了客户端对NameNode节点的访问次数,提高了文件命中率和处理速度。实验结果证明,该方法有效提升了Hadoop对小文件的存取效率,降低了NameNode节点的内存占用率。

Web服务器集群中的文件优化分配

在现代的网络研究中,高性能集群服务器越来越显示其重要的作用,而在集群中分布地存储着大量的文件。文章在研究了集群服务器性能和文件的访问概率及连接数的基础上,推算出了文件在服务器上的拷贝数,并根据文件间的相关性将文件集合成文件簇,最后提出了一种基于文件簇的文件优化分配策略,提高了服务器的效率和稳定性。

一种改进的PageRank算法

研究了现有的基于链接结构的PageRank算法。结合网页链接分析和网页内容相关性分析提出了一种改进的PageRank算法,从分析网页内容相关性的角度解决相关性需求,从网页链接分析的角度解决权威性需求,并且实验证明,改进的PageRank算法优于传统的PageRank算法的排序结果。