视频服务器存储子系统的I/O优化

视频服务器存储子系统的 I/O性能决定了视频服务器的总体性能 .本文提出的一种新的实时磁盘调度算法(L L F- Window)能有效地服务各种编码格式的视频流 ;并对传统的 SCSI总线不均衡调度机制进行了改造 .实验结果表明 ,新的磁盘调度算法和改造后的 SCSI总线调度机制有效地改进了视频服务器存储子系统的 I/O性能 。

基于统计结果的文件I/O优化

对目前主流操作系统的文件大小分布和空间占用、网络文件服务环境下的文件读取请求和视频下载点播等典型应用进行了统计分析,总结了对交换文件、小尺寸文件和访问集中文件进行优化的必要性和可行性。基于目前已有的存储器件,提出了基于统计结果的混合加速外存储体系结构及相应的调度算法。实验结果表明,可以缩短I/O响应时间,提高传输率,改善系统性能。

GPFS文件系统原理和模式IO优化方法

GPFS(通用并行文件系统)普遍应用于IBM大规模集群系统中,能够为并行应用程序提供高性能的I/O存取访问。该文介绍了GPFS的原理和工作机制,并以安装在国家气象信息中心的IBM高性能计算机系统为试验平台,初步测试了在实际环境中GPFS的应用情况,在应用程序中对文件访问进行性能优化的方式有2种:①由主任务负责全部文件访问,②通过MPI-IO在GPFS中实现并行文件访问。测试结果表明,GPFS可以提供很好的文件访问支持,但要想获得较高的性能,需要在应用程序中进行深入调试。

Oracle数据库的性能优化研究

对于数据库系统来说,磁盘I/O操作是数据库性能最重要的方面,它是计算机最大的开销。影响磁盘I/O性能的原因很多,本文重点研究了其中较重要的一个因素——磁盘竞争问题,主要从分离系统中的顺序I/O和分散随机I/O两个方面进行了探讨。

面向大规模集群的并行I/O用户层配置优化策略

影响应用I/O性能的关键因素主要有三个层次:包括应用的I/O接口实现、体系结构和文件系统组件的性能以及应用的I/O参数配置。从应用I/O配置优化的视角,分析了大规模集群并行I/O的配置调优空间,在此基础上,给出了一套大规模集群并行I/O性能特征测试分析方法。基于该方法,在某国产超级计算集群上开展了一系列I/O测试分析来刻画系统的I/O性能特征,进而指导并行应用程序的I/O配置优化。基于优化后的配置参数,在两类典型的并行I/O场景中,针对某类生产应用程序,8192进程下的重启动数据写操作时间下降了15%,4096核的程序作业加载时间从10 min缩短到了5 s。

Oracle数据库重做日志优化设计研究

在ORALCE数据库中,引入重做日志的目的是便于数据库在出现故障后的快速恢复,作为数据库系统的DBA,应能对数据库物理结构进行优化设计管理,以提高系统的高效性和安全性。本文对ORACLE数据库的重做日志进行了研究,并结合实例说明了重做日志的配置及优化方法。

面向LICOM2的并行I/O优化

全球变暖导致自然灾害频度和强度都有所增加,发展高精度地球系统模式,对防灾减灾、促进经济发展有重要意义。随模式分辨率提高,地球系统模式的I/O性能正逐渐成为制约模式可扩展性和计算效率的瓶颈。本文针对地球系统模式的I/O问题,以代表性的海洋环流模式LICOM2为研究对象,全面分析了地球系统模式的典型I/O特点,研究通用的高并发I/O技术。本文设计实现了LICOM2系统的ADIOS并行读写方案,都取得了显著的优化效果。LICOM2系统ADIOS优化在天河1A系统内网测试,在288-6480并行度下I/O时间占比均不到4%,在6480并行度下写带宽达8.46GB/s。本文通过在天河1A上的大量测试,对提高LICOM2系统的I/O性能做了进一步的研究,不同系统配置会对I/O性能有影响。

大规模海洋数据同化的并行优化

海洋数据同化是一种同时利用海洋观测资料和海洋数值模式对海洋数据进行修正的有效方法,经过处理的海洋数据更加接近海洋的真实情况.在高分辨率下,基于中国科学院大气物理研究所(Institute of Atmospheric Physics,Chinese Academy of Sciences,IAP)和大气科学和地球流体力学数值模拟国家重点实验室(State Key Laboratory Modelling for Atmospheric Sciences and Geophysical Fluid Dynamics,LASG)发展的LASG/IAP气候系统海洋模式(LASG/IAP climate ocean model,LICOM)的同化并行程序往往涉及大量的文件读取、通信和计算,以往的研究虽然对这些方面进行了优化,但是由于优化只是停留在上层算法层面,没有考虑底层的文件系统以及超算集群的架构,因此优化的效果不太明显.针对以往研究存在的问题,进一步将海洋数据同化的数据特性、计算特性与所使用的超算平台的架构特性相结合,在此基础上结合时间局部性和空间局部性,提出了基于计算拓扑图的负载均衡策略、基于Lustre文件存储架构和超算集群特性的并行优化策略,以及计算、读取通信、写回3层重叠策略.最后,使用高分辨率数据集,在天河2号超算集群上对所提算法进行了测试.相比于现有算法,所提的算法在4 000核下对总体同化性能上提升了18倍.另外,还在曙光7 000超算集群上开展了测试.在4 000块DCU加速卡上,相比于已有算法,所提算法提升总体计算性能8倍左右.

面向HYCOM的高分辨率海洋数据同化并行算法优化

HYCOM(hybrid coordinate ocean model)海洋数值模式要求较高的吞吐量和相对较小的计算量,这给并行算法设计带来了巨大的挑战。针对具有高吞吐量的海洋数据同化问题,设计了一种基于区域分解的并行优化算法。首先,提出了一种灵活的文件访问方法,可以高效地从磁盘读取大量的数据,避免数据访问冲突,大幅降低磁盘寻址操作的频率。此外,设计了一种避免通信的策略,以一些额外的计算量为代价大幅减少进程间的通信量。最后,提出了一种基于管道流的通信策略,以实现无冲突的消息传递。实验结果表明,该算法与基线算法相比,总体性能提高了5倍,其中文件读取速度提升6倍,进程间的通信性能提升了2.7倍。

GRAPES区域模式的输入输出分析和优化

新一代全球/区域多尺度统一的同化与数值预报系统Global/Regional Assimilation and PreEdiction System(GRAPES)是中国气象局(China Meteorological Administration,CMA)自主研发的数值天气预报软件。随着对模式分辨率和预测时效性要求的提高,GRAPES的输入输出(I/O)性能成为了一个重要的瓶颈。分析了GRAPES区域模式的I/O行为,提出并设计实现了一个高性能I/O框架。该框架采用二进制编码以及多I/O通道技术实现了灵活可配置的输出方式。同时,通过非堵塞通信的方式实现了异步I/O,隐藏了I/O与通信的开销。工作在曙光"派"超级计算机上进行了测试,结果显示该框架不仅可以提高I/O性能达到10倍以上,也可以减少性能抖动带来的性能不确定性问题。

气田井场SCADA系统设计与优化

随着长庆油田二次加快发展,气田开发是上产主力军,数字化油气田建设逐步迈向智慧化油气田。针对低产气井数逐年增加、日产气低于0.5万方的井占总井数的70%以上,低产井采取排水采气等增产措施以提高产量等现实情况,为满足新工况下的气井生产状况监测,通过依托现有SCADA系统和通信网络在气田各作业区新建井场SCADA系统。按照《长庆气田数字化建设标准》要求作业区SCADA系统建设规模不得超过10万I/O点与“十四五规划”要求气田要持续保持稳产等现实矛盾,同时考虑系统运行的流畅性,对新建井场SCADA系统接入I/O点数优化,实现2025年时接入井场SCADA系统的I/O点数均可控制在10万点以内,有效地提高井场SCADA系统运行稳定性,优化资源配置,提升气田生产管理水平和综合效益。

重复数据删除关键技术研究进展

企业数据量的不断增长和数据传输率要求的不断提高,使得数据中心海量存储空间和高带宽网络传输需求成为当前网络存储领域面临的严峻挑战.利用特定应用数据集内数据高度冗余的特性,重复数据删除技术能够极大地缩减数据存储容量需求,提高网络带宽利用率,降低企业IT运营成本.目前,重复数据删除技术已成为国内外的研究热点.首先介绍重复数据删除技术的概念、分类及其应用;阐述重复数据删除系统的体系结构和基本原理,并与传统存储系统进行对比.然后重点分析和总结重复数据删除各项关键技术的研究现状,包括数据划分方法、I/O优化技术、高可靠数据配置策略以及系统可扩展性.最后对重复数据删除技术的研究现状进行总结,并指出未来可能的研究方向.

基于重复数据删除技术的雾存储数据去冗余方案

雾计算作为云中心在网络边缘的延伸,将不需要放在云端的数据直接进行存储和处理,从而可以快速响应底端设备的需求。为了解决现有方案中频繁的磁盘输入和输出(I/O),针对雾节点中存储数据的冗余问题,提出重复数据删除方案(DeFog)。利用红黑树的快速查找机制,在内存中构建数据指纹表,通过二次Hash获得索引表。固定时刻刷新内存中的指纹表保存在磁盘中,日志文件记录每次数据更新,这样在系统发生崩溃机器重启时,磁盘中的指纹表会与日志文件合并构建更新后的指纹表。通过在标准数据集中的实验与其他方案进行对比,证明了DeFog在查询效率上提高了54.1%,运行时间降低了42.1%。

ErlangShen:基于流水线低访问开销的图式区块链高效事务执行机制

基于有向无环图(DAG)的图式区块链能够显著提升系统性能,已成为近年来业界的研究热点。相较于传统串行化的链式区块链,图式区块链可在单位时间内并发处理大量事务从而提升吞吐量。随着事务量的激增,图式区块链面临事务执行效率低的瓶颈问题,即海量事务执行对状态数据访问的需求大幅增加,导致高昂的输入/输出(I/O)开销。实现低I/O访问主要包括两方面的全新挑战:一方面,图式区块链若直接采用传统的事务预取机制,将因执行逻辑不一致引入大量的陈旧读;另一方面,针对不同账户的状态访问会在默克尔树的高层节点中造成重复的I/O开销。为此,本文设计基于流水线的图式区块链高效事务执行机制—ErlangShen,包括Epoch粒度的状态预取机制和默克尔高层路径缓存机制来分别减少陈旧读的数量和重复的I/O开销。具体而言,ErlangShen充分分析并利用了事务访问频次的冷热特征,将访问热事务的逻辑执行与冷事务的状态预取并行化,以避免状态预取对事务执行的影响。此外,为了进一步提升事务执行的吞吐量,根据访问冷热状态事务的特性设计了定制化的并发控制方法。实验结果表明,ErlangShen机制能够减少约90%的陈旧读数量,与最新图式区块链事务处理机制Nezha相比,可将性能提升3~4倍。

一种科学计算应用的快速I/O方法——双路并行I/O

许多并行科学计算应用使用HDF5等数据格式管理计算数据与元数据。一般条件下,科学计算数据与元数据有不同的存储特征。数据存储规模较大,可以在并行文件系统中获得较高的I/O效率。元数据存储规模较小,难以发挥并行文件系统带宽。一旦数据与元数据混合存储,元数据I/O将较多的干扰数据I/O,降低总的I/O效率。针对数据与元数据的不同I/O特征,本文设计双路I/O系统,该系统优化元数据的存储位置。将元数据存储于容量较小、但是延迟较低的固态盘文件系统中,在降低元数据I/O延迟的同时提高数据I/O的连续性。实验表明,双路并行I/O可以提高数据读带宽3倍左右。

大规模时变可视化数据的预取加速研究

针对读取数据这一制约绘制性能的主要因素,从时变数据场的相邻帧相似性入手,利用前一帧图像的绘图区域预测下一帧图像的绘图区域,进而转换成I/O参数,实现连续绘制中的数据预取.并在多帧图像绘制过程中形成载入、处理、绘制三级流水线,提高可视化的速度.微机测试表明,由于图像相邻帧相似度的不同,时变可视化数据预取将可视化性能提高17.2%～47.5%.