基于HDF5的多层次结构并行IO算法

针对大规模数据输入输出的应用场景,提出了一种基于层次存储格式HDF5(Hierarchical Data Format 5)的多层次并行IO(Input/Output)方案。该并行IO方案分为节点间和节点内两层:节点间以节点为单位IO数据并允许节点内部协同或独立工作,根据节点内部的工作方式分别提出了多层次并行IO算法和多层次哨兵并行IO算法,以有效提升IO效率并避免输出文件冗余。考虑异构计算和纯CPU计算两个典型应用场景,分别在曙光平台和Intel平台进行最大核数为4096、最大数据量为256G的多组实验。结果表明,多层次并行IO算法IO效率提高了1.97~25.87倍,多层次哨兵并行IO算法IO效率提高了6.53~9.36倍,且输出文件数量减少到多区并行IO算法的1/4和1/32。

基于HDF5的煤矿地质三维层叠网格模型分布式存储研究

利用真三维网格化地质模型实现煤矿地质环境的多分辨率表达和多参数的融合是煤矿地学大数据研究的重点内容之一,其核心问题是三维地质模型数据组织、存储和管理等。针对煤矿三维地质网格模型的数据规模、分布式存储和查询性能等问题,提出了一种基于HDF5的煤矿地质三维层叠网格模型分布式存储方案。在网格数据组织方面,采用层叠网格模型对三维地质模型数据进行压缩和分块组织,通过数据分块解决大规模地质网格模型数据的组织问题,数据分块同时将空间相近的数据集中在相邻的硬盘扇区或存储设备中,有利于提高数据调度效率。在数据存储方面,HDF5作为存储的持久化层,用来存储所有的原始数据,采用内存数据库Redis存储热点数据、HDF5元数据等相关信息。在Web服务方面,使用H5Serv发送和接收HDF5数据。在HDF5实现分布式方面,利用网络文件系统(NFS)实现HDF5数据在不同节点服务器之间的共享;利用Rsync和Inotify实现HDF5数据在不同节点服务器的数据实时同步;通过Nginx实现访问时反向代理和数据服务节点的负载均衡。使用Docker容器技术将数据节点服务和Nginx服务进行统一部署,通过JupyterLab交互式分析平台实现实时数据资源的调度和管理。实验结果表明:基于层叠网格的地质模型数据组织和基于HDF5的分布式存储可实现煤矿三维地质网格模型的有效存储管理和空间查询;相对于体素模型和八叉树模型,层叠网格模型数据量小,便于实现地质界面的空间快速查询,空间查询性能优于关系型数据库MySQL和非关系型数据库MongoDB,更适合煤系沉积地层结构的网格化表达和数据组织;基于HDF5的文件存储明显比MySQL和MongoDB数据库存储更加节省空间,主要原因在于HDF5的DataSet可直接存储数据块,不需要额外存储信息。基于层叠网格模型和HDF5的数据组织和存储方案可为煤矿三维地质网格模型的有效存储管理提供借鉴。

面向HDF5格式预训练模型的模糊测试方法

使用模糊测试对HDF5文件格式的相关程序与工具集进行漏洞检测,并对模糊测试在HDF5输入上的性能优化方案进行研究。通过轻量级文件结构分析,精简模糊测试的确定性变异阶段,从而将模糊测试的注意力集中在更有价值的区域,减少无意义的变异与执行尝试次数;提出一系列HDF5文件格式敏感的变异策略,在模糊测试的随机变异阶段,使变异生成的输入更可能被程序的解析逻辑所接受,从而探索更深层代码。相比传统模糊测试框架,实现的原型框架HDFL可以保证极小的覆盖率与崩溃数量损耗,提高模糊测试的效率。

基于HDF5文件格式的KYLIN-2软件组件库

KYLIN-2是中国核动力研究设计院自主研发的先进中子学栅格(组件)计算软件,针对KYLIN-2软件中海量数据存储和处理的问题,提出一种基于对分层数据存储格式v5(HDF5)的计算数据存储方案。首先,对HDF5文件格式进行了研究;其次,根据KYLIN-2软件需求,设计了基于HDF5文件格式的组件库KYMRES;最后,通过自开发的HDF5文件读写工具完成了KYMRES库的实现过程。通过性能测试表明,基于HDF5文件格式的组件库KYMRES较常规存储方案具有更高的I/O效率,其读、写效率平均提升到旧算法的2.3倍和4.5倍。KYMRES库在海量数据存储和处理方面具有显著优越性,为KYLIN-2软件提供了一种新型的数据存储和管理方案。

面向数值模拟数据的HDF5性能优化

大规模数值模拟数据对可视化分析提出了挑战,I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式,介绍了HDF5的抽象数据模型、数据读写流程,并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大.根据数值模拟数据的数据块以整数有规律编号的特点,通过在HDF5中增加数据块视图对象来提高读性能.测试表明,该方法可显著加速数据的读取性能.

利用HDF5和Esper的高效外汇数据分析系统

为解决目前关系型数据库由于死锁和阻塞等原因造成系统随数据量增加性能急剧降低的问题,本文提出结合HDF5和Esper的数据处理方法,利用HDF5(层次型数据存储格式)的强大I/O性能和数据类型自定义功能做数据存储,加快数据存储的速度。同时,结合Esper实时计算的高运算效率特征,设计出一套针对外汇计算行业的可移植的数据格式和函数库,解决了即时数据分析系统在存储、管理、交换、归档需求中出现的性能和效率问题。实验结果表明,在10G/天的数据量下,HDF5的数据读写性能比MSSQL要高80倍左右,结合Esper的毫秒级处理能力,能够做到外汇数据的实时计算。系统对于数据处理分析和实时性要求极高的情况有较高的应用价值。

HDF5格式特点及其对遥感数据格式标准化的几点启示

阐述了HDF 5数据格式的特点及其对遥感数据标准化的启示和借鉴作用。HDF 5格式层次式的逻辑结构、B树的物理存储方式,面向对象的特性、数据类型的广泛支持、自我描述以及内容与表达的分离等特点,使得它在记录和存储科学数据时具有强大的优势。遥感数据标准化如何设计一种结构简单且扩展性很好,同时支持不同平台的标准格式,可以从HDF 5的实现方法上得到借鉴。

CORBA在远程访问HDF5文件系统中的应用

随着遥感科学研究的不断深入和应用成果的日益扩展,建立高效的遥感数据共享平台,已成为遥感科学发展中的一个重要环节.CORBA技术作为一种流行且功能强大的中间件被广泛地应用于许多领域中.对CORBA技术在远程访问HDF5文件系统中的应用进行了探讨.

基于HDF5文件格式的MERSI影像数据提取的研究与实现

介绍了HDF5文件格式的特点以及HDF软件库的实现原理,分析了风云三号MERSI遥感数据资料,应用VC++语言对风云三号的MERSI数据进行读取、图像合成。为风云三号的中低分辨率仪器数值产品进一步研究做了铺垫。

基于h5py和mpi4py的HDF5数据并行处理的探索

随着层次性数据格式的不断发展,HDF5已经成为一种研究数据存储的通用格式之一。然而受限于HDF5数据文件通常包含大量的数据集这一现状,普通串行处理的方式逐渐不能满足数据处理的要求。本文通过介绍HDF5数据和并行计算的基础,结合目前流行的数据处理语言Python以及广泛应用于并行计算和HDF5处理的两个软件包——mpi4py和h5py,探索了一种新的对HDF5数据并行计算的方式,该方式具有计算简单、效率高的特点。

基于HDF5实现多区结构网格CFD程序的并行I/O

计算流体动力学(computational fluid dynamics,CFD)是高性能计算重要应用领域之一,其计算涉及大量数据访问.在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈.并行I/O是解决这一问题的主要途径之一.针对一个真实多区结构网格CFD并行程序HOSTA(high-order simulator for aerodynamics),基于HDF5(hierarchical data format v5)数据存储格式及其并行I/O编程接口,实现了其主要数据的并行I/O.在一套有6个I/O服务器结点的高性能计算机系统上,采用实际CFD算例进行了性能测试.对一个三角翼算例,并行I/O相对于串行I/O的性能加速比达到21.27,最高获得5.81GBps的I/O吞吐率,并使程序整体性能提高10%以上;对一个网格规模更大的简单翼型算例,并行I/O最高获得了6.72GBps的I/O吞吐率.

HDF5在大型有限元软件数据管理中的应用

大型有限元软件需要处理和维护结构复杂、数量庞大的数据集合。通过研究层次文件格式Hierarchical Data Format(HDF5)及其在有限元软件数据存储格式中的应用,对有限元数据进行抽象归类并采用HDF5的C++接口进行存取实现。测试表明,由于HDF5具有自述性、通用性、灵活性及扩展性,该存储格式表现出较常规存储方案更高的效率,尤其在大规模有限元数据存取中具有显著优越性,为有限元软件开发提供了一种新的数据存储及管理方案。

基于HDF5文件格式的数据管理系统

随着科学技术的发展,获取的科学数据越来越多,如何有效的存储及管理这些海量数据,成为当前一个突出的问题。介绍了基于delphi,hdf5格式以及Python脚本语言的系统体系设计,并给出了一个基于HDF5文件格式的数据管理系统实例。

HDF5数据格式在核反应堆计算软件中的应用研究

核反应堆计算软件需要处理和维护结构复杂且规模庞大的数据集合,为满足软件对海量数据进行存储和处理的需求,深入研究了分层数据存储格式HDF5 (Hierarchical Data Format v5)的数据存储模型、I/O方法和编程接口,并根据典型的核反应堆组件中子学计算、堆芯中子学计算和堆芯热工水力计算等软件数据存储和处理的需求,将HDF5数据格式成功应用到相应软件中,设计并实现了基于HDF5数据格式的组件参数库KYMRES (KYlin-2 Main RESults databank)、堆芯参数库COMRES (COrca-3D Main RESults databank)、子通道参数库THMRES (Thermal-Hydraulic subchannel Main RESults databank),为核反应堆数值计算软件开发提供了一种新的数据存储和管理方案。

HDF5文件格式在飞行试验数据管理中的应用

飞行试验数据是完成新机定型、鉴定的主要依据,同时也是支撑航空科技发展的宝贵资料,具有数据量大、数据来源多、数据模式不统一等特点。传统的关系数据库、操作系统文件等数据管理手段在性能上难以满足飞行试验对数据处理的需求,且不利于试飞数据的保存和共享。本文通过对飞行试验数据特性的分析,基于HDF5定义了专门用于管理飞行试验数据的文件格式HDF-FTD,并完成了基于Python语言和h5py扩展库的编程接口开发工作。

利用HDF5数据格式构建气象预报业务平台数据库

气象预报业务平台是各级气象业务部门预报人员每天要进行操作的平台,其操作的效率和设计人性化程度直接影响着预报工作的效率和效果。针对目前气象预报业务平台数据库多采用Windows文件系统进行数据管理,存在的文件零碎、数目多、浏览速度缓慢等不足,分析了HDF5数据格式气象预报业务平台数据库构建方法,并将其运行性能和采用开源关系数据库Fire Bird格式数据库的运行性能进行了比较,结果表明:HDF5格式数据库能够将多种数据格式存储在一个文件中,具有良好的自我描述性和扩展性,方便用户使用和管理。而且,在运行效率上,对于单机模式和网络比较稳定的情况,HDF5格式数据库存储数据耗时比Firebird数据库节省约50%的时间;而在读取数据中,HDF5格式数据库耗时为Firebird数据库方式耗时的1/10;对于本地存储这种情况,HDF5格式数据库仅为Firebird数据库方式耗时的1/50。

基于HDF5格式的FAST望远镜数据重分布策略

目前,世界上最大的单口径射电望远镜FAST (Five-hundred-meter Aperture Spherical radio Telescope)处于调试期,采集的数据面临着加载效率上的瓶颈,给后续的数据处理效率带来了挑战。本文结合科学数据存储格式HDF5(Hierarchical Data Format Release 5)和数据降维,提出一种适合大多数FAST望远镜数据处理场景的存储优化方法。通过优化,硬盘中的数据从二进制表格模型转换为按类型分布的多个数据集。实验结果表明本文提出的方法能够显著提高FAST望远镜的数据加载效率。

基于HDF5的地震解释成果数据存储技术研究

由于地震解释成果数据具有体量大、格式多的特点,一直存在数据检索困难、应用不便等问题,导致成果复用率低,数据价值未能有效发挥。针对以上问题提出了基于HDF5的地震解释成果数据存储方案,定义了成果数据文件存储格式、开发了成果数据I/O接口,实现了成果数据的高效访问和便捷查询。测试结果表明,基于HDF5的地震解释成果数据存储方式相较原有存储方式存储开销降低超过30%,读取效率提高超过55%。为地震解释成果数据的深化应用奠定了基础。

基于HDF5格式的警觉度数据库建立

目的:建立基于层次性数据格式5(HDF5)格式的警觉度数据库,以推动警觉度研究,解决警觉度数据的存储和管理问题。方法:使用HDF5格式存储警觉度数据,将数据的多种元数据信息以HDF5格式专有的特征属性附加到数据记录里,数据库被设计成一组使用腕带传感器在清醒-睡眠过程中同步获取的独立信号组成光电脉搏波信号和加速度信号。以三轴加速度的振动波幅和入睡时间区分警觉状态,将脉搏波数据划分为高、中、低警觉度片段,利用可视化工具HDFView软件将数据编写形成数据库。结果:HDF5警觉度数据库获取的独立信号是匿名存储,每组信号均由ID号和信号记录组成,最终建立了包含90个样本、5 min时长片段和3种警觉等级的脉搏波类型警觉度生理数据库。结论:HDF5数据库支持警觉生理数据的收集、存储、分析和表示,该数据库的建立对于警觉度评估具有一定的参考价值,促进数据共享以及开发通用工具,并在其他数据处理项目中具有普及应用的潜力。

HDF5数据接口的二次开发

HDF5(Hierarchical Data Format,HDF)数据具有自我描述、跨平台、支持平行读写的优势,被世界气象组织列为气象数据通用存储格式。Fortran是气象工作者的主要编程语言,文章将介绍如何用Fortran语言对HDF5数据接口的二次开发,实现HDF5数据接口高效封装,让读写HDF5变得简单易行。