期刊文献+
共找到174篇文章
< 1 2 9 >
每页显示 20 50 100
海洋环流模式的并行I/O优化研究
1
作者 李云龙 祝子杰 +4 位作者 孟祥飞 朱小谦 林鹏飞 刘海龙 李庚 《计算机工程与应用》 CSCD 北大核心 2024年第17期263-271,共9页
极端气象日益加剧,严重影响人类的生产生活。如何有效应对未来极端环境变化,更关乎国际竞争。因此,发展高精度高分辨率的地球系统模式推动气候变化研究至关重要。随着模式精度和分辨率的不断提高,I/O性能已成为制约模式计算效率和可扩... 极端气象日益加剧,严重影响人类的生产生活。如何有效应对未来极端环境变化,更关乎国际竞争。因此,发展高精度高分辨率的地球系统模式推动气候变化研究至关重要。随着模式精度和分辨率的不断提高,I/O性能已成为制约模式计算效率和可扩展性的瓶颈。选取典型的海洋环流模式LICOM3作为研究对象,基于天河HPC系统,详细测试和分析了模式的I/O逻辑过程,发现在3K进程规模下I/O可占整体运行时间一半以上,是限制模式计算性能的关键因素。为此,设计并实现了主要输出过程的MPI-IO并行优化方案,显著提升了模式运行效率,基本解决了模式I/O瓶颈。测试结果表明,MPI-IO并行优化方案将输出时间占比从48.58%降到2.44%,将输出带宽提升到6.21 GB/s,约是原程序的14倍。此外,进一步分析了影响并行I/O性能的因素,以期为相关工作提供参考和指导。 展开更多
关键词 并行i/o优化 海洋环流模式 MPI-Io
下载PDF
Heuristic file sorted assignment algorithm of parallel I/O on cluster computing system
2
作者 陈志刚 曾碧卿 +3 位作者 熊策 邓晓衡 曾志文 刘安丰 《Journal of Central South University of Technology》 EI 2005年第5期572-577,共6页
A new file assignment strategy of parallel I/O, which is named heuristic file sorted assignment algorithm was proposed on cluster computing system. Based on the load balancing, it assigns the files to the same disk ac... A new file assignment strategy of parallel I/O, which is named heuristic file sorted assignment algorithm was proposed on cluster computing system. Based on the load balancing, it assigns the files to the same disk according to the similar service time. Firstly, the files were sorted and stored at the set I in descending order in terms of their service time, then one disk of cluster node was selected randomly when the files were to be assigned, and at last the continuous files were taken orderly from the set I to the disk until the disk reached its load maximum. The experimental results show that the new strategy improves the performance by 20.2% when the load of the system is light and by 31.6% when the load is heavy. And the higher the data access rate, the more evident the improvement of the performance obtained by the heuristic file sorted assignment algorithm. 展开更多
关键词 cluster computing parallel i/o file sorted assignment variance of service time
下载PDF
An Efficient File Assignment Strategy for Hybrid Parallel Storage System with Energy & Reliability Constraints
3
作者 Xupeng Wang Wei Jiang Hang Lei Xia Zhang 《计算机科学与技术汇刊(中英文版)》 2014年第2期25-34,共10页
关键词 分布式文件系统 并行存储系统 能源效率 分配策略 混合 平均响应时间 分配算法 系统可靠性
下载PDF
GM卫星测高数据海面时变校正程序的I/O并行优化研究
4
作者 傅游 徐方正 梁建国 《山东科技大学学报(自然科学版)》 CAS 北大核心 2023年第4期92-100,共9页
海面时变校正是建立平均海平面模型数据处理过程中最关键的一步,可以消除或削弱海面时变的影响。本研究实现了时空客观分析法对GM卫星测高数据进行海面时变校正的串行程序,针对该程序运行耗时超长问题,研究其I/O特征,提出两种多进程I/O... 海面时变校正是建立平均海平面模型数据处理过程中最关键的一步,可以消除或削弱海面时变的影响。本研究实现了时空客观分析法对GM卫星测高数据进行海面时变校正的串行程序,针对该程序运行耗时超长问题,研究其I/O特征,提出两种多进程I/O并行方案,并使用消息传递接口(MPI)文件视口函数对其进行优化。在高性能集群系统上的实验结果表明,合并再分配方案具有更好的负载均衡度;I/O并行优化后的合并再分配方案加速效果明显,最高开启448进程时,大数据量实验耗时9283.84 s,与56进程时相比,加速比为7.21,并且具有良好的强、弱可扩展性。 展开更多
关键词 卫星测高 海面时变校正 客观分析法 消息传递接口 并行计算 i/o性能
下载PDF
科学计算双路并行I/O优化方法 被引量:2
5
作者 曹立强 莫则尧 +2 位作者 沈卫超 夏芳 陈军 《计算机学报》 EI CSCD 北大核心 2015年第5期1035-1043,共9页
科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一... 科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/O方法可提高写性能8%~13%,提高读性能89%到1.01倍. 展开更多
关键词 并行i/o 高层i/o 性能优化 数据格式 双路并行i/o
下载PDF
提高可扩展并行机群并行I/O效率的一个方法 被引量:11
6
作者 龙翔 李忠泽 +1 位作者 高小鹏 李未 《计算机研究与发展》 EI CSCD 北大核心 2000年第6期650-656,共7页
随着CPU性能的高速提升,系统I/O能力的不足越来越明显地成为提高NOW系统整体性能的瓶颈.在分析现有基于NOW系统的并行I/O算法的基础上,通过理论推导,给出了一种寻求计算进程与计算结点之间最佳映射的方法.该方法可以在数据重分... 随着CPU性能的高速提升,系统I/O能力的不足越来越明显地成为提高NOW系统整体性能的瓶颈.在分析现有基于NOW系统的并行I/O算法的基础上,通过理论推导,给出了一种寻求计算进程与计算结点之间最佳映射的方法.该方法可以在数据重分配时,使各计算结点间的通信量最小,从而达到提高系统并行I/O效率的目的. 展开更多
关键词 可扩展并行机群 并行i/o效率 算法
下载PDF
并行I/O技术研究 被引量:8
7
作者 刘敏 王意洁 《计算机应用研究》 CSCD 北大核心 2003年第8期29-31,共3页
从分析提高I/O性能的途径开始,对在分布主存的高性能计算机中利用存储系统并行性来完成数据访问的并行文件系统所涉及到的问题进行了分析和探讨,最后介绍了几个著名的并行文件系统。
关键词 并行i/o 并行文件系统 高性能计算
下载PDF
高性能计算中的并行I/O技术 被引量:2
8
作者 李东升 卢凯 +1 位作者 李铭 卢锡城 《计算机科学》 CSCD 北大核心 2002年第5期1-3,共3页
1 引言 高性能计算能力已经日益成为一个国家经济、科技与国防实力的重要组成部分.由于科学工程计算和大规模商业事务处理需求的牵引,高性能计算中对I/O处理能力的要求简直是无止境的.大规模多媒体应用要求大容量快速存储系统支持,多用... 1 引言 高性能计算能力已经日益成为一个国家经济、科技与国防实力的重要组成部分.由于科学工程计算和大规模商业事务处理需求的牵引,高性能计算中对I/O处理能力的要求简直是无止境的.大规模多媒体应用要求大容量快速存储系统支持,多用户事务处理环境要求快速I/O支持实时访同,而一些重大挑战性科学计算课题更是追求计算机系统具有3T性能(即要求能提供1 Teraflops计算能力、1 Terabyte主存容量和1 Terabyte/s I/O带宽). 展开更多
关键词 高性能计算 并行i/o技术 并行计算机 体系结构
下载PDF
叠前偏移计算中多文件并行I/O技术 被引量:3
9
作者 孔祥宁 赵改善 +1 位作者 王华忠 程玖兵 《物探化探计算技术》 CAS CSCD 2005年第2期97-101,共5页
这里针对波动方程叠前深度偏移计算所涉及的数据,设计相应的数据文件格式,快速有效地从多文件海量数据中获取所需信息;根据不同的输入/输出数据,采用不同读写方式(串行/并行);解决了并行计算时的负载平衡以及计算中断后的数据恢复,充分... 这里针对波动方程叠前深度偏移计算所涉及的数据,设计相应的数据文件格式,快速有效地从多文件海量数据中获取所需信息;根据不同的输入/输出数据,采用不同读写方式(串行/并行);解决了并行计算时的负载平衡以及计算中断后的数据恢复,充分提高了波动方程叠前深度偏移计算效率。 展开更多
关键词 数据管理 多文件并行处理 负载平衡 输入/输出
下载PDF
具有分布式并行I/O接口的分布式并行服务器系统的性能研究 被引量:17
10
作者 刘心松 《电子学报》 EI CAS CSCD 北大核心 2002年第12期1808-1810,共3页
分布式并行是多年来的一个研发热点,但其研发仅限于分布式并行系统的内部.服务器和外界(如客户机)的交互仅通过一条通道(如一台计算机)完成,这一瓶颈限制了系统可靠性/可用性,加速比与效率,系统频带和I/O响应速度等.本文提出的具有分布... 分布式并行是多年来的一个研发热点,但其研发仅限于分布式并行系统的内部.服务器和外界(如客户机)的交互仅通过一条通道(如一台计算机)完成,这一瓶颈限制了系统可靠性/可用性,加速比与效率,系统频带和I/O响应速度等.本文提出的具有分布式并行I/O接口的分布式并行服务器使其中的各节点机均可直接与众多客户机交互作用,设计保证80%以上的客户请求均一次直接发往能提供服务的服务器中的节点机,仅有少量请求需要在节点问进行动态负载再调度.这是一种面向宽带的宽带网络服务器.本文的重点是将这种服务器与单机、镜像/双机热备份、群集服务器进行性能比较.结果表明,具有这种I/O接口的分布式并行服务器性能最佳.这种服务器的第一个版本已经研发成功,投入使用,并将进入市场. 展开更多
关键词 分布式并行 i/o接口 服务器 宽带网络 可靠性 加速比
下载PDF
并行文件系统Lustre细粒度I/O性能优化 被引量:3
11
作者 李林林 吴万国 孙良旭 《计算机工程与应用》 CSCD 2012年第17期88-92,共5页
并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优... 并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先(Fine Grained First,FGF)LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。 展开更多
关键词 并行文件系统 LUSTRE 细粒度 输入/输出(i/o)
下载PDF
EPP协议下高速数字I/O设计及应用 被引量:2
12
作者 王风云 田新诚 +1 位作者 梁兴忠 蔡春伟 《仪表技术与传感器》 CSCD 北大核心 2004年第8期19-20,23,共3页
在计算机的各种外部接口中,并行端口的速度最快。EPP(EnhancedParallelPort)是IEEE1248协议定义的增强型并行端口。EPP协议是与SPP兼容且能完成双向数据传输的协议,具有传输速率高、编程方便等优点。介绍了有关EPP的基本知识,包括EPP的... 在计算机的各种外部接口中,并行端口的速度最快。EPP(EnhancedParallelPort)是IEEE1248协议定义的增强型并行端口。EPP协议是与SPP兼容且能完成双向数据传输的协议,具有传输速率高、编程方便等优点。介绍了有关EPP的基本知识,包括EPP的数据传输方式,并给出EPP协议下的16路高速数字I/O的软、硬件设计及其应用。在Visu alC++中,提供了 inp()和 outp()函数,可以直接控制和读写并行端口,软件设计简捷。 展开更多
关键词 EPP协议 并行口 计算机 数据传输 编程 输入输出接口
下载PDF
一种集群计算系统中并行I/O文件存储分配策略 被引量:2
13
作者 曾碧卿 陈志刚 +1 位作者 刘安丰 曾志文 《小型微型计算机系统》 CSCD 北大核心 2005年第5期873-876,共4页
现代计算机系统性能已经由受限于CPU转变为受限于I/ O,近年来研究人员对高性能计算中的并行I/ O问题进行了深入研究.本论文的主要工作是对集群计算中的并行I/ O子系统进行研究,提出一种文件拆分与存储分配的新策略,即:已知知识的文件拆... 现代计算机系统性能已经由受限于CPU转变为受限于I/ O,近年来研究人员对高性能计算中的并行I/ O问题进行了深入研究.本论文的主要工作是对集群计算中的并行I/ O子系统进行研究,提出一种文件拆分与存储分配的新策略,即:已知知识的文件拆分与分配方法(KKFDA) ,该方法保证文件存储方式与访问方式的一致性,达到了提高文件访问时的本地命中率、缩短访盘响应时间的目的.算法设计与实验证明了方法的有效性. 展开更多
关键词 集群计算系统 并行i/o 文件拆分 数据分配
下载PDF
并行I/O技术在海洋数值模式中的应用研究 被引量:1
14
作者 黄伟建 王鑫 韩院彬 《河北工程大学学报(自然科学版)》 CAS 2016年第1期86-90,共5页
在海洋数值模拟过程中,随着计算区域的扩大以及计算精度的提升,大量数据输出使得I/O效率成为系统整体性能提升的一个瓶颈。针对这一问题,使用并行I/O技术对系统的输出模块进行优化,并与传统的几种串行I/O方式在不同节点,以及不同计算规... 在海洋数值模拟过程中,随着计算区域的扩大以及计算精度的提升,大量数据输出使得I/O效率成为系统整体性能提升的一个瓶颈。针对这一问题,使用并行I/O技术对系统的输出模块进行优化,并与传统的几种串行I/O方式在不同节点,以及不同计算规模下进行性能比较。通过实验研究数据,对不同I/O方式的不同特点和不同适用场景进行分析,证明在海洋数值模式中使用并行I/O技术切实可行,并且I/O速率得到大幅度提升。 展开更多
关键词 并行i/o 海洋数值模式 并行计算 消息传递接口 i/o
下载PDF
并行I/O技术在气候数值模式中的应用研究 被引量:5
15
作者 魏敏 徐金秀 王在志 《计算机技术与发展》 2014年第12期11-15,19,共6页
在气候变化数值模拟工作中,气候数值模式运行效率主要受到计算效率和I/O效率的共同影响。目前,模式计算部分已经基本实现并行,计算效率显著提升。随着气候数值模式时空分辨率的提高,对I/O效率的需求也不断增加,数据并行I/O技术已经成为... 在气候变化数值模拟工作中,气候数值模式运行效率主要受到计算效率和I/O效率的共同影响。目前,模式计算部分已经基本实现并行,计算效率显著提升。随着气候数值模式时空分辨率的提高,对I/O效率的需求也不断增加,数据并行I/O技术已经成为提高模式整体运行效率的有效方法之一。文中深入分析了BCC_AGCM模式串行I/O算法及NetCDF数据结构特点,采用基于MPI-IO的高层I/O库对模式I/O算法进行并行优化,优化后可支持多类气象要素并行输出,输出效率明显提升。为我国应对气候变化数值模式的运行效率优化工作,进行了有益的技术探索和积累。 展开更多
关键词 高性能计算 气候数值模式 并行i/o NETCDF
下载PDF
集群计算系统中并行I/O访问的自适应调度策略 被引量:1
16
作者 曾碧卿 陈志刚 +1 位作者 刘安丰 吕西红 《计算机工程》 EI CAS CSCD 北大核心 2005年第2期72-73,98,共3页
现代计算机系统的性能已经由受限于CPU转变为受限于I/O,因此,并行I/O是缓解这一难题的有效方法。文章通过对集群计算系统中I/O调度策略的研究,提出了一种新的自适应平等划分的I/O调度策略,并将它们与已经存在的调度策略进行比较。实验... 现代计算机系统的性能已经由受限于CPU转变为受限于I/O,因此,并行I/O是缓解这一难题的有效方法。文章通过对集群计算系统中I/O调度策略的研究,提出了一种新的自适应平等划分的I/O调度策略,并将它们与已经存在的调度策略进行比较。实验结果表明了所提出策略的优越性。 展开更多
关键词 集群计算 并行i/o 自适应调度 CPU 调度策略 i/o调度 访问 性能 实验结果 划分
下载PDF
并行文件系统客户端缓存对系统I/O性能的影响 被引量:1
17
作者 伍卫国 张虎 +2 位作者 方敏 万群 钱德沛 《华中科技大学学报(自然科学版)》 EI CAS CSCD 北大核心 2006年第z1期144-147,共4页
对浪潮天梭并行文件系统(LCTS-PFS)客户端缓存性能进行了测试,提出了多客户端访问、带客户端缓存的并行文件系统排队模型.分析了不同缓存命中率、不同缓存空间大小和不同文件长度情况下,客户端缓存对I/O响应时间的影响.分析结果表明:I/... 对浪潮天梭并行文件系统(LCTS-PFS)客户端缓存性能进行了测试,提出了多客户端访问、带客户端缓存的并行文件系统排队模型.分析了不同缓存命中率、不同缓存空间大小和不同文件长度情况下,客户端缓存对I/O响应时间的影响.分析结果表明:I/O响应时间随缓存命中率提高而减少且在有/无缓存情况下的I/O响应时间曲线存在唯一交点,在此交点之前无缓存情况下I/O响应时间小于有缓存情况,而交点之后结果相反;缓存命中率不发生变化时,缓存空间越大I/O响应时间越长;相比无缓存情况下I/O响应时间,若客户端请求生成率固定,则访问文件越大,缓存对I/O响应时间提升越少;若请求生成率发生变化,则相同缓存命中率情况下,访问的文件越大缓存对I/O响应时间提升越多.性能测试和理论分析一致. 展开更多
关键词 并行文件系统 客户端缓存 排队论 i/o 响应时间
下载PDF
基于Linux的SMP机群环境中并行I/O模型研究 被引量:1
18
作者 曾碧卿 陈志刚 +1 位作者 吕西红 刘安丰 《计算机工程与应用》 CSCD 北大核心 2004年第26期79-81,共3页
提出了一个基于数据通路的波浪推进式并行I/O模型框架,并在基于Linux的SMP机群系统中,根据波浪推进式并行I/O模型框架对各个数据通路进行建模,具体分析了这个波浪推进式并行I/O模型,从思路上解决了刻画并行I/O性能的并行I/O模型问题。
关键词 SMP机群 并行i/o模型
下载PDF
LONWORKS与RS-232的互连适配器的设计开发 被引量:1
19
作者 任清珍 杨显娇 黄天戍 《电测与仪表》 北大核心 2002年第7期44-47,共4页
Lonworks技术中的核心是神经元芯片,本文详述了神经元芯片的一种I/O应用模式———并行口I/O模式,并介绍了基于此I/O模式设计开发的Lonworks协议与RS-232标准转换的互连适配器。
关键词 互连适配器 RS-232 设计开发 LoNWoRKS 神经元芯片 并行口i/o模式
下载PDF
网络磁盘阵列I/O请求并行调度策略 被引量:1
20
作者 周可 冯丹 王芳 《华中科技大学学报(自然科学版)》 EI CAS CSCD 北大核心 2006年第9期1-3,共3页
在研究网络磁盘阵列I/O请求处理过程中,利用网络通道与I/O通道的并行操作,提出了网络磁盘阵列I/O请求并行调度策略,并给出了详细设计与实现.该策略由同步控制和并行调度两阶段组成.控制程序初始化完成后,进入同步控制阶段,同步控制阶段... 在研究网络磁盘阵列I/O请求处理过程中,利用网络通道与I/O通道的并行操作,提出了网络磁盘阵列I/O请求并行调度策略,并给出了详细设计与实现.该策略由同步控制和并行调度两阶段组成.控制程序初始化完成后,进入同步控制阶段,同步控制阶段操作I/O请求信息队列,并根据当前条件启动并行调度阶段的不同步骤.并行调度阶段按照启动顺序完成I/O请求,并返回下一次同步控制.研究结果表明,并行调度策略能有效地提高网络磁盘阵列的性能. 展开更多
关键词 网络磁盘阵列 i/o请求 并行调度 策略
下载PDF
上一页 1 2 9 下一页 到第
使用帮助 返回顶部