人工法off-line HDF对血液透析充分性和高同型半胱氨酸血症的影响

目的探究人工法off-line HDF对维持性血液透析(MHD)患者透析充分性、高同型半胱氨酸血症(HHcy)的影响。方法随机选取2021至2023年于南昌大学第一附属高新医院血液透析中心稳定透析6个月以上的MHD患者30例,进行单中心自身对照研究,时长6个月。前3个月维持每周2次高通量血液透析(HFHD)联合1次on-line HDF,后3个月维持每周2次人工法off-line HDF联合1次on-line HDF。于研究第3个月、第6个月时用全自动生化分析仪检测透析前后血尿素氮(BUN)、血肌酐(SCr)、β2-微球蛋白(β2MG)、同型半胱氨酸(Hcy)、白蛋白(Alb)、C反应蛋白(CRP)、血红蛋白(Hb)、甲状旁腺素(iPTH)、磷(P)、钾(K)水平;计算血清尿素清除指数(Kt/V)、尿素下降率(URR)和β2MG清除率。结果人工法off-line HDF模式透析的Kt/V、URR及β2MG清除率均较显著高于HFHD模式透析(P<0.05);人工法off-lineHDF模式透析Kt/V、URR及β2MG清除率达到透析充分的百分率分别为83.33%、83.33%和93.33%,均显著高于HFHD模式透析(P<0.05)。与HFHD模式透析时相比,人工法off-lineHDF模式透析结束后,患者透析前Hcy水平降低,Alb水平升高(P<0.05)。结论人工法off-line HDF模式透析可显著增加Kt/V、URR和β2MG清除率,提高MHD患者的透析充分性达标率,且对HHcy具有改善作用。

XPZLIB:an HDF5-format multi-group cross-section library

A multi-group cross-section library is fundamental for deterministic lattice physics calculations.Most existing multi-group cross-section libraries are customized for particular computer codes,as well as for particular types of nuclear reactors.This paper presents an HDF5-format multi-group cross-section library named XPZLIB.XPZLIB was produced using a selfdeveloped XPZR module integrated into the NJOY2016 code,and an in-house PyNjoy2022 system was developed for autoprocessing.XPZLIB contains detailed data content and well-organized data structures that are user-and developer-friendly.Three typical XPZLIBs with different numbers of energy groups,nuclides,and depletion reaction types were released via the Tsinghua cloud website.Furthermore,the applicability of the released XPZLIBs was investigated using HTGR and PWR lattice calculations,which can provide guidance for applying XPZLIB under different scenarios.

面向HDF5格式预训练模型的模糊测试方法

使用模糊测试对HDF5文件格式的相关程序与工具集进行漏洞检测,并对模糊测试在HDF5输入上的性能优化方案进行研究。通过轻量级文件结构分析,精简模糊测试的确定性变异阶段,从而将模糊测试的注意力集中在更有价值的区域,减少无意义的变异与执行尝试次数;提出一系列HDF5文件格式敏感的变异策略,在模糊测试的随机变异阶段,使变异生成的输入更可能被程序的解析逻辑所接受,从而探索更深层代码。相比传统模糊测试框架,实现的原型框架HDFL可以保证极小的覆盖率与崩溃数量损耗,提高模糊测试的效率。

基于HDF5的煤矿地质三维层叠网格模型分布式存储研究

利用真三维网格化地质模型实现煤矿地质环境的多分辨率表达和多参数的融合是煤矿地学大数据研究的重点内容之一,其核心问题是三维地质模型数据组织、存储和管理等。针对煤矿三维地质网格模型的数据规模、分布式存储和查询性能等问题,提出了一种基于HDF5的煤矿地质三维层叠网格模型分布式存储方案。在网格数据组织方面,采用层叠网格模型对三维地质模型数据进行压缩和分块组织,通过数据分块解决大规模地质网格模型数据的组织问题,数据分块同时将空间相近的数据集中在相邻的硬盘扇区或存储设备中,有利于提高数据调度效率。在数据存储方面,HDF5作为存储的持久化层,用来存储所有的原始数据,采用内存数据库Redis存储热点数据、HDF5元数据等相关信息。在Web服务方面,使用H5Serv发送和接收HDF5数据。在HDF5实现分布式方面,利用网络文件系统(NFS)实现HDF5数据在不同节点服务器之间的共享;利用Rsync和Inotify实现HDF5数据在不同节点服务器的数据实时同步;通过Nginx实现访问时反向代理和数据服务节点的负载均衡。使用Docker容器技术将数据节点服务和Nginx服务进行统一部署,通过JupyterLab交互式分析平台实现实时数据资源的调度和管理。实验结果表明:基于层叠网格的地质模型数据组织和基于HDF5的分布式存储可实现煤矿三维地质网格模型的有效存储管理和空间查询;相对于体素模型和八叉树模型,层叠网格模型数据量小,便于实现地质界面的空间快速查询,空间查询性能优于关系型数据库MySQL和非关系型数据库MongoDB,更适合煤系沉积地层结构的网格化表达和数据组织;基于HDF5的文件存储明显比MySQL和MongoDB数据库存储更加节省空间,主要原因在于HDF5的DataSet可直接存储数据块,不需要额外存储信息。基于层叠网格模型和HDF5的数据组织和存储方案可为煤矿三维地质网格模型的有效存储管理提供借鉴。

基于HDFS的云存储小文件合并优化方法研究

随着云计算技术的飞速发展,海量小文件的云存储效率面临巨大的挑战。将基于HDFS的小文件合并存储成大文件的方法可以优化文件存取策略,结合Hadoop通用解决方案提出一种优化存储空间的小文件合并存储方法,在原有的用户层和存储层之间加入处理层,包括文件大小判定、小文件合并及索引文件生成等分级处理模块,设计文件读取和写入流程,提高数据的存储效率,减少内存开销,整体提升HDFS文件存储系统访问性能,保障云存储的稳定性和高效性。

HDFS分级存储系统元数据管理方法的研究

随着高能物理实验规模的不断扩大和实验复杂度的提高,研究人员正面临海量数据存储的挑战,考虑到成本、能耗、存储周期及运维管理等问题,具有存储容量大、成本低特点的磁带库成为高能物理领域海量存储系统中必不可少的选择。但HDFS现有异构存储研究不支持磁带库存储,无法满足高能物理Hadoop平台海量实验数据持久化和备份过程对于存储系统高性价比的需求。针对上述问题,为了构建支持磁盘-磁带存储的HDFS分级存储系统,使磁带层文件在HDFS中无缝融合,为用户提供统一的文件系统命名空间,调研了分布式文件系统元数据管理方法,在此基础上设计实现了HDFS分级存储系统中统一的元数据管理方法。该方法通过重新设计内存文件元数据结构,构建分级存储系统统一的内存目录树并实现其访问管理和可靠性保障,完成分级存储系统中不同层级文件元数据的集中统一管理。测试结果表明,该方法实现了分级存储系统异构资源上文件元数据的统一管理,提供了高效的元数据操作。基于该方法构建的分级存储系统可靠性高,在对不同规模大小的文件读写时,其读写吞吐量较优于高能物理领域传统分级存储系统EOSCTA。

基于HDFS的高校开源软件镜像站架构探究

开源镜像站是一个放置开源系统镜像文件的站点,免费提供镜像文件和一些常用软件包下载。构建校园网内部的开源软件镜像站点,能更好地服务校内师生,通过内网直接访问,也能加快访问的速度,无需校园网认证或下载。镜像资源本地化,能大大减少校园网带宽压力。通过搭建Hadoop集群,充分利用闲置的硬件资源来达到很好地存储效果,提高存储资源的使用效率。

基于HDFS科技媒资管理系统研究

随着科技和信息化的飞速发展,科技行业积累大量的视频、音频和图片等资料,这些科技媒资资源原始素材对科技行业具有很高的价值,如何保证这些资源安全,使这些资源潜力得到最大限度释放,为科技工作和科技宣传等提供更为高效的资源服务,文章基于底层采用HDFS分布式文件存储系统,以科技媒资管理库为应用基础,为科技服务上层应用提供了支撑。

基于HDF5文件格式的KYLIN-2软件组件库

KYLIN-2是中国核动力研究设计院自主研发的先进中子学栅格(组件)计算软件,针对KYLIN-2软件中海量数据存储和处理的问题,提出一种基于对分层数据存储格式v5(HDF5)的计算数据存储方案。首先,对HDF5文件格式进行了研究;其次,根据KYLIN-2软件需求,设计了基于HDF5文件格式的组件库KYMRES;最后,通过自开发的HDF5文件读写工具完成了KYMRES库的实现过程。通过性能测试表明,基于HDF5文件格式的组件库KYMRES较常规存储方案具有更高的I/O效率,其读、写效率平均提升到旧算法的2.3倍和4.5倍。KYMRES库在海量数据存储和处理方面具有显著优越性,为KYLIN-2软件提供了一种新型的数据存储和管理方案。

存算分离架构下S3存储和HDFS存储读写性能对比研究

在存算分离架构下,存储和计算可以分别进行优化和扩展,从而实现更高效、更可靠、更可扩展的大数据处理。存储层作为存算分离架构的重要组成部分,不仅需要具备高可靠性、高可扩展性、高性能等特点,还需要考虑成本和易用性等因素。目前,S3存储和HDFS存储是两个广泛使用的存储方案,两者各有优缺点,但在存算分离架构下,其性能表现如何,尚未有较为系统和全面的研究。为了研究存算分离架构下S3存储和HDFS存储的读写性能表现,通过性能测试和分析,比较两者的优劣,为存算分离架构下的存储方案选择提供参考。

基于GM模型的HDFS副本放置改进策略

HDFS分布式文件系统默认副本放置策略在放置节点的选择上具有较大的随机性,且衡量节点负载的指标单一,易导致集群负载不均衡,影响系统性能。文章提出一种基于GM模型的改进策略,该策略综合考虑节点多个负载指标,并使用GM模型对节点量化负载进行预测,同时结合节点的HDFS工作连接数,对节点性能进行综合评价,选出最合适的副本放置节点。实验表明,与HDFS默认策略相比,文中所提策略能够减少作业执行时间和数据传输时间,在系统的执行效率和读写性能方面有较大提高。

基于HDFS架构的医院信息系统设计

为了提高医院信息的传输速度,改善信息处理能力,解决数据繁杂利用率低的问题,拟设计一种基于分布式文件系统(Hadoop Distributed File System,HDFS)架构的医院信息系统。先介绍系统的整体架构,并结合医院情况设计各子系统,再通过遗传算法对数据信息进行处理,以实验形式验证系统效果。测试结果表明,本系统具有良好的信息处理能力,既提高了医疗水平和服务质量,又实现了医院信息系统的规范化和有效化,对医院发展具有较大的促进作用。

分布式文件系统HDFS处理小文件的优化方案

Hadoop分布式文件系统(HDFS)是为可靠地存储和管理海量文件而设计。在HDFS中,所有的文件由单一的服务器NameNode来管理。因此,随着小文件数量的增加,会使HDFS系统性能下降。为了提高存储和访问HDFS上小文件的效率,本文提出了一个解决方案,即:扩展的Hadoop分布式文件系统(EHDFS)。这种方法把一组相关文件组合成一个大文件来减少文件的数量,然后建立一种索引机制,从这个组合文件中识别并访问客户所要的单个文件。实验结果表明EHDFS提高了存储和访问大量小文件的效率。

HDFS下载效率的优化

针对HDFS的内部数据下载效率较低和可能出现的负载不均衡的问题进行了研究,从分布式文件整体下载效率和数据块的下载效率两方面提出了优化方法。实验结果表明:两个方法都能提高效率,但在集群有大量DataNode的前提下,两者结合起来的方法能更好地提高下载效率和均衡DataNode的负载。

基于范德蒙码的HDFS优化存储策略研究

随着大数据时代的到来,新型文件系统HDFS(Hadoop分布式文件系统)的应用越来越广泛.但其本身也存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题.因此,该文提出了一种基于范德蒙码的HDFS分散式动态副本存储优化策略,针对HDFS大多部署在大量的廉价硬件集群上的实际情况,在范德蒙码优化策略的基础上,采用分散式动态副本控制的思想对HDFS文件操作的计算过程、计算模式以及译码触发策略进行系统的改进,并通过校验码动态设置的方式将容错度控制在一个理想的范围之内,此外,结合伽罗华有限域理论对范德蒙码的编译码操作及计算方法进行全面优化,在不影响HDFS存储结构的前提下,降低了范德蒙码编译码的时间代价和计算的内存压力,节约了HDFS约30%的存储开销,数据可靠性提高了约200%,均衡HDFS系统节点负载能力,译码恢复效率平均提升约40%,形成了一套完整的、系统的优化方案,为未来HDFS的发展提供了一条有效途径.

一种面向HDFS的多层索引技术

SOH(SQL over HDFS)系统通常将数据存储于分布式文件系统HDFS(Hadoop distributed file system)中,采用Map/Reduce或分布式查询引擎来处理查询任务.得益于HDFS以及Map/Reduce的容错能力和可扩展性,SOH系统可以很好地应对数据规模的飞速增长,完成分析型查询处理.然而,在处理选择型查询或交互式查询时,这类系统暴露出了性能上的缺陷.提出一种通用的索引技术,可以应用于SOH系统中,以提高其查询处理的效率.分析了SOH系统访问HDFS文件的过程,指出了其中影响数据加载时间的关键因素.提出了split层和split内部双层索引机制;设计并实现了聚集索引和非聚集索引;最后,在标准数据集上进行了大量实验,并与现有基于HDFS的索引技术进行了比较.实验结果表明,所提出的索引技术可以有效地提高查询处理的效率.

HDFS下海量小文件高效存储与索引方法

分布式文件系统HDFS被用来存储大文件,若在其中存储海量小文件将会严重消耗Name Node内存,影响系统性能,同时小文件也不利于使用MapReduce框架进行并行处理和分析.另外,小文件附带的多维元信息也需要以一种合理的方式进行存储和索引以便于查询.本文针对以上问题,提出一种基于多维列索引的小文件管理方案,支持文件的并发上传、下载及删除操作,并在多个查询维度上提供文件的自由检索.本文提出的小文件合并方案能够明显减少HDFS上的文件数量,经过实验对比,在小文件元信息的查询效率方面,本文提出的多维索引方案优于HBase,同时保证了文件传输的吞吐量.

Matlab对基于HDF格式的MODIS1B数据的提取方法与实现

基于HDF文件格式的MODIS数据的应用越来越广泛,MODIS数据开发应用的前提是对MODIS 1B数据的提取。本文详细介绍了利用Matlab对HDF文件进行读写操作的过程,在此基础上给出了提取MODIS 1B数据的流程图,实现了对MODIS 1B数据的提取,为MODIS二级产品的开发打下了基础。

SQL-DFS:一种基于HDFS的海量小文件存储系统

针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件元数据由Name Node内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对Name Node的请求次数;通过将部分Data Node文件块的校验工作交由元数据存储集群完成,进一步降低了Name Node节点的负载压力.最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQLDFS在文件平均耗时(file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储.

异补骨脂素对光老化HDF细胞ER/TGF-β_1/Smads信号通路的调控效应研究

目的:研究异补骨脂素对光老化人真皮成纤维(HDF)细胞ER/TGF-β_1/Smads信号通路的调控效应。方法:建立长波紫外线(UVA)损伤HDF模型,给予不同浓度异补骨脂素和通路阻断剂进行干预,MTT法检测细胞增殖率,Western blotting和Real Time-PCR法检测各组细胞内信号转导分子(Smad3)、转化生长因子(TGF-β_1)、Ⅰ型胶原(COL1A1)蛋白和对应mRNA的表达。结果:与正常对照组比较,模型组增殖率及Smad3、TGF-β_1、COL1A1蛋白和mRNA表达均显著降低(P<0.01);与模型组比较,各给药组增殖率和Smad3、TGF-β_1、COL1A1蛋白及mRNA表达均显著升高(P<0.01);与异补骨脂素高浓度组比较,TGF-β_1、Smad3、ER三个阻断剂组相对应的TGF-β_1、Smad3和COL1A1蛋白及相应mRNA表达均显著降低(P<0.01)。结论:异补骨脂素能增加HDF细胞TGF-β_1、Smad3、COL1A1蛋白及mRNA表达,对光老化HDF细胞胶原合成有促进作用;但这种作用能被TGF-β_1、Smad3和ER阻断剂所抑制,推测异补骨脂素促进胶原合成的作用机制与ER/TGF-β_1/Smads信号通路有关。