基于分布式索引和目录聚合的海量小文件存储研究

针对海量小文件访问问题的挑战，提出了用基于分布式索引和目录聚合的分布式文件系统——超虚拟文件系统（HVFS）来管理数十亿个小文件的方法，以支持高并发、高吞吐、低延迟的访问。重点讨论了目录索引、目录存储问题，提出了利用可扩展哈希索引来降低延迟、提高扩展性，利用日志结构和列存储的目录聚合来提高吞吐率的方法。测试结果表明，HVFS的存储性能能够线性扩展，82节点上峰值创建速度接近百万每秒，与GIGA＋相比有200％以上的提升，小文件I／O性能与OrangeFS相比有60倍以上的提升，充分验证了分布式索引和目录聚合方法的有效性。

美国政府开放数据的元数据标准及其启示:目录聚合的视角

[目的/意义]归纳总结美国政府开放数据的元数据标准及其在数据目录聚合上的应用成果,以期为我国制定开放政府数据的元数据标准和建设国家统一的开放数据平台提供有益的参考。[方法/过程]以M-13-13指令对各联邦机构的"企业数据清单"和"公开数据清单"的要求为主线,以Data.Gov的目录聚合功能为分析对象,研究元数据标准的组成、模型、模式定义和映射,及在目录聚合上的应用等。[结果/结论]美国已形成了较为完备的元数据标准体系,基于"元数据采集"的目录聚合是一种简单、高效的方法。对我国而言,应在元数据标准基础上建立目录自动聚合机制,实现元数据的全生命周期管理,关注元数据的质量等。

英国政府开放数据的目录聚合机制及对我国的启示

随着开放政府数据的发展,出现了众多的数据目录网站。通过"目录聚合"形成"一站式"开放数据平台,是提高数据可发现性的必由之路。英国已形成较为完善的目录聚合机制,对我国建设统一的开放数据平台具有借鉴和参考价值。文章采用网络调查和文献分析方法,系统介绍英国政府开放数据目录聚合的模式与流程、数据标准和溯源元数据。对我国而言,应在标准规范的基础上建设目录聚合机制,重视政府间的协作机制,及为数据平台提供完善的元数据API。

基于元数据的开放数据目录聚合机制研究

基于元数据的目录聚合可有效支撑开放数据资源的一站式获取与浏览。为此,本文参考DCAT设计了我国政府开放数据目录体系和元数据方案,并详细阐述了基于元数据的开放数据目录聚合过程及优势,以期为我国在未来构建一体化的垂直分级、融合互通的国家级数据开放平台提供一定的借鉴与参考。