期刊文献+

基于h5py和mpi4py的HDF5数据并行处理的探索 被引量:1

下载PDF
导出
摘要 随着层次性数据格式的不断发展,HDF5已经成为一种研究数据存储的通用格式之一。然而受限于HDF5数据文件通常包含大量的数据集这一现状,普通串行处理的方式逐渐不能满足数据处理的要求。本文通过介绍HDF5数据和并行计算的基础,结合目前流行的数据处理语言Python以及广泛应用于并行计算和HDF5处理的两个软件包——mpi4py和h5py,探索了一种新的对HDF5数据并行计算的方式,该方式具有计算简单、效率高的特点。
出处 《计算机产品与流通》 2018年第10期143-144,211,共3页
  • 相关文献

参考文献3

二级参考文献33

  • 1钟耳顺 王康弘 等.GIS多源数据集成模式评述[A]..1999年中国GIS年会论文集[C].深圳,1999.8.
  • 2陈述彭.遥感应用与数字地球[A].路甬祥.中国科学进展[C].北京:科学出版社,2003..
  • 3HDF 5 File Format Specification[EB/OL].http://hdf.ncsa.uiuc.edu/HDF 5/doc/H5.format.html.
  • 4HDF 5 User Guide[EB/OL].http://hdf.ncsa.uiuc.edu.
  • 5WANG Yu, XIANG Yang, ZHANG Jun, et al. Intemet traffic classification using constrained clustering[J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(11): 2932-2943.
  • 6CARELA-ESPAIqOL V, BARLET-ROS P, MULA-VALLS O, et al. An autonomic traffic classification system for network operation and management[J]. Journal of Network and Systems Management, 2015, 23(3): 401-419.
  • 7HAUG P J, FERRARO J P, HOLMEN J, et al. An ontology-driven, diagnostic modeling system[J]. Journal of the American Medical Informatics Association, 2013, 20(el) el02-ell0.
  • 8OELLRICH A, WALLS R L, CANNON E K S, et al. An ontology approach to comparative phenomics in plants[J]. Plant Methods, 2015, 11(I): 10.
  • 9AZEVEDO C L B, IACOB M E, ALMEIDA J P A, et al. Modeling resources and capabilities in enterprise architecture: a well-founded ontology-based proposal for archimate[J]. Information Systems, 2015, 54(12): 235-262.
  • 10EBRAHIMIPOUR V, YACOUT S. Ontology-based schema to support maintenance knowledge representation with a case study of a pneumatic valve[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2015, 45(4): 702-712.

共引文献20

同被引文献4

引证文献1

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部