期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
基于纠删码和动态副本策略的HDFS改进系统 被引量:10
1
作者 李晓恺 代翔 +1 位作者 李文杰 崔喆 《计算机应用》 CSCD 北大核心 2012年第8期2150-2153,2158,共5页
为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机... 为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。 展开更多
关键词 HADOOP分布式文件系统 分布式存储 数据容灾 负载均衡 动态副本
下载PDF
远程数据复制系统的性能优化策略 被引量:1
2
作者 牟虹燕 李战怀 王泽林 《微处理机》 2009年第3期108-111,共4页
远程数据复制技术是容灾系统中最关键的技术,在实现灾难恢复中起着重要的作用。出于通用性和扩展性的考虑,提出了一种基于windows操作系统的数据复制系统,阐述了系统的基本结构和工作流程。在保证主端视图一致性和从端数据一致性的基础... 远程数据复制技术是容灾系统中最关键的技术,在实现灾难恢复中起着重要的作用。出于通用性和扩展性的考虑,提出了一种基于windows操作系统的数据复制系统,阐述了系统的基本结构和工作流程。在保证主端视图一致性和从端数据一致性的基础上,提出了提高主端IO效率的并行IO策略和减少数据传输过程中网络带宽占用的请求合并策略。实验分析表明,所提出的方案具有较高的有效性和实用性。 展开更多
关键词 数据复制 数据一致性 并行10 请求合并
下载PDF
One Method for Improving RAID5 Performance
3
作者 Chen Qiong, Zhang Jiang-ling, Feng Dan School of Computer Science and Engineering, Huazhong University of Science and T echnology, Wuhan 430074, China 《Wuhan University Journal of Natural Sciences》 EI CAS 2000年第3期289-292,共4页
As a kind of parallel storage system, RAID5 has been becoming a popular solution for providing better performance at low cost and without sacrificing much redundant data, its main disadvantage is poor performance. It ... As a kind of parallel storage system, RAID5 has been becoming a popular solution for providing better performance at low cost and without sacrificing much redundant data, its main disadvantage is poor performance. It is a general method to improve RAID5 performance by using cache. However, it often happens that the data is not hit in cache, in this case, the RAID5 performance also will be very poor. The method based on combination of disk I/O operations has been proposed for impriving the I/O response time through reducing the number of low-level operations. According to theoretic analysis and experimental test, we find that RAID5 access time and data transfer rate could be largely improved than conventional method. 展开更多
关键词 key words RAID I/O combination access time response time data transfer rate
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部