期刊文献+
共找到211篇文章
< 1 2 11 >
每页显示 20 50 100
Heuristic file sorted assignment algorithm of parallel I/O on cluster computing system
1
作者 陈志刚 曾碧卿 +3 位作者 熊策 邓晓衡 曾志文 刘安丰 《Journal of Central South University of Technology》 EI 2005年第5期572-577,共6页
A new file assignment strategy of parallel I/O, which is named heuristic file sorted assignment algorithm was proposed on cluster computing system. Based on the load balancing, it assigns the files to the same disk ac... A new file assignment strategy of parallel I/O, which is named heuristic file sorted assignment algorithm was proposed on cluster computing system. Based on the load balancing, it assigns the files to the same disk according to the similar service time. Firstly, the files were sorted and stored at the set I in descending order in terms of their service time, then one disk of cluster node was selected randomly when the files were to be assigned, and at last the continuous files were taken orderly from the set I to the disk until the disk reached its load maximum. The experimental results show that the new strategy improves the performance by 20.2% when the load of the system is light and by 31.6% when the load is heavy. And the higher the data access rate, the more evident the improvement of the performance obtained by the heuristic file sorted assignment algorithm. 展开更多
关键词 cluster computing parallel I/O file sorted assignment variance of service time
下载PDF
基于分布式共享存储系统的并行文件子系统DPFS 被引量:4
2
作者 章隆兵 陈意云 +1 位作者 章锋 陈国良 《计算机研究与发展》 EI CSCD 北大核心 2002年第3期360-366,共7页
为了改进软件 DSM系统中对文件的存取性能以获得更好的应用程序性能 ,基于软件 DSM系统 JIAJIA的并行文件子系统 DPFS被开发出来 .DPFS系统采用文件映射接口作为应用编程接口 ,使得文件存取界面简单 ,并且能充分利用软件 DSM系统的大量... 为了改进软件 DSM系统中对文件的存取性能以获得更好的应用程序性能 ,基于软件 DSM系统 JIAJIA的并行文件子系统 DPFS被开发出来 .DPFS系统采用文件映射接口作为应用编程接口 ,使得文件存取界面简单 ,并且能充分利用软件 DSM系统的大量特性 ,系统设计相对简单 .在曙光 2 0 0 0并行机上进行的应用测试表明 ,采用DPFS文件子系统后 。 展开更多
关键词 分布式共享存储系统 文件映射接口 Dpfs 并行文件子系统 工作站网络
下载PDF
并行文件系统WPFS 被引量:3
3
作者 霍严梅 鞠九滨 《吉林大学学报(理学版)》 CAS CSCD 北大核心 2002年第2期168-169,共2页
介绍在 Windows NT平台上研制的并行文件系统
关键词 并行文件系统 容错机制 Wpfs系统 PC机群 I/O性能 WINDOWSNT I/O请求
下载PDF
并行文件系统PFS的设计与分析 被引量:2
4
作者 武北虹 黄大海 邢汉承 《软件学报》 EI CSCD 北大核心 1995年第11期641-646,共6页
并行计算机高速处理能力与低速I/O设备之间的矛盾目前已成为并行计算机系统中的主要问题之一,因此必须研制高性能的并行文件系统.。本文介绍的PFS是为“八六三计划”中“曙光二号”并行计算机设计的并行文件系统,该PFS分散... 并行计算机高速处理能力与低速I/O设备之间的矛盾目前已成为并行计算机系统中的主要问题之一,因此必须研制高性能的并行文件系统.。本文介绍的PFS是为“八六三计划”中“曙光二号”并行计算机设计的并行文件系统,该PFS分散I/O设备的管理到多个处理结点,使文件能交叉地分布在不同I/O结点所控制的物理设备上,以实现最大程度的并行访问。本文阐述了PFS的基本设计、实现方法及其性能的粗略分析。 展开更多
关键词 并行处理 并行文件系统 操作系统 并行计算机
下载PDF
曙光并行文件系统DPFS的研究与设计 被引量:1
5
作者 曹立强 马捷 《计算机工程》 CAS CSCD 北大核心 2005年第24期56-57,89,共3页
并行文件系统是高性能计算系统中的快速I/O库。它的目的是为并行计算应用提供快速Input/Output的手段。文章总结了并行应用程序的读写特点,其中的关键问题和在并行文件系统的通常使用的技术,并以此为基础设计了面向曙光高性能服务器的... 并行文件系统是高性能计算系统中的快速I/O库。它的目的是为并行计算应用提供快速Input/Output的手段。文章总结了并行应用程序的读写特点,其中的关键问题和在并行文件系统的通常使用的技术,并以此为基础设计了面向曙光高性能服务器的曙光并行文件系统(Dawning Parallel File System,DPFS)。 展开更多
关键词 井行计算 文件系统 Input/output 曙光并行文件系统
下载PDF
GPFS文件系统的安装配置与维护 被引量:6
6
作者 张新诺 王彬 《计算机技术与发展》 2018年第5期174-178,共5页
GPFS是一款成熟的并行文件系统,该系统具有稳定性好、扩展性高、数据读写速度快等特点,广泛应用于AIX和Linux操作系统的服务器集群中。虽然GPFS文件系统稳定性高,但GPFS文件系统是依托在操作系统和存储介质中的软件,当操作系统或存储介... GPFS是一款成熟的并行文件系统,该系统具有稳定性好、扩展性高、数据读写速度快等特点,广泛应用于AIX和Linux操作系统的服务器集群中。虽然GPFS文件系统稳定性高,但GPFS文件系统是依托在操作系统和存储介质中的软件,当操作系统或存储介质发生故障时,也会造成GPFS文件系统无法正常使用。在处理GPFS文件系统故障时,需要使用相关命令并配合不同的参数对文件系统的相关内容进行配置和创建。文中的主要目的是为了说明GPFS文件系统相关命令及命令中各项参数的作用和使用方式,能够使维护人员更好地了解和维护GPFS文件系统。同时,也对文件系统在Linux平台中出现问题时如何有效使用GPFS命令解决故障,如何有效保护数据安全和数据完整性,及如何恢复文件系统的正常运行等方面进行探讨。 展开更多
关键词 并行文件系统 Gpfs NSD 重建文件系统
下载PDF
GPFS并行文件系统在地震数据处理中的应用 被引量:4
7
作者 陈宏昊 《物探装备》 2008年第6期393-398,共6页
地震数据处理系统的I/O瓶颈已严重制约机群的运算能力,而GPFS并行文件系统的使用较好地解决了这个问题。本文简要地介绍了群集系统I/O和并行文件系统,详细地阐述了GPFS并行文件系统的原理及工作过程,并结合GPFS的使用情况,介绍了GPFS在... 地震数据处理系统的I/O瓶颈已严重制约机群的运算能力,而GPFS并行文件系统的使用较好地解决了这个问题。本文简要地介绍了群集系统I/O和并行文件系统,详细地阐述了GPFS并行文件系统的原理及工作过程,并结合GPFS的使用情况,介绍了GPFS在地震处理群集系统中的应用。 展开更多
关键词 群集系统 并行文件系统 Gpfs 地震处理
下载PDF
A distributed cross-domain register filefor reconfigurable cryptographic processor 被引量:1
8
作者 Zhang Baoning Ge Wei Wang Zhen 《Journal of Southeast University(English Edition)》 EI CAS 2017年第3期260-265,共6页
Due to the fact that the register files seriously affect the performance and area of coarse-grained reconfigurable cryptographic processors, an efficient structure of the distributed cross-domain register file is prop... Due to the fact that the register files seriously affect the performance and area of coarse-grained reconfigurable cryptographic processors, an efficient structure of the distributed cross-domain register file is proposed to realize a cryptographic processor with a high performance and a lowarea cost. In order to meet the demands of high performance and high flexibility at a lowarea cost, a union structure with the multi-ports access structure, i, e., a distributed crossdomain register file, is designed by analyzing the algorithm features of different ciphers. Considering different algorithm requirements of the global register files and local register files,the circuit design is realized by adopting different design parameters under TSMC( Taiwan Semiconductor Manufacturing Company) 40 nm CMOS( complementary metal oxide semiconductor) technology and compared with other similar works. The experimental results showthat the proposed distributed cross-domain register structure can effectively improve the performance of the unit area, of which the total performance of block per cycle is improved by17. 79% and performance of block per cycle per area is improved by 117%. 展开更多
关键词 RECONFIGURABLE PROCESSOR BLOCK CIPHER parallelimplementation REGISTER file
下载PDF
基于网络环境的并行文件系统NPFS的设计与实现
9
作者 成少波 张志友 朱才亮 《湘潭矿业学院学报》 1998年第2期24-28,共5页
介绍一种基于网络工作站群的并行文件系统NPFS的概念设计,描述该方案的具体设计与实现.NPFS利用message-passing库提供了一个在网络环境下或多处理机环境下可移植的并行文件系统,有效地解决了并行处理中的I... 介绍一种基于网络工作站群的并行文件系统NPFS的概念设计,描述该方案的具体设计与实现.NPFS利用message-passing库提供了一个在网络环境下或多处理机环境下可移植的并行文件系统,有效地解决了并行处理中的I/O瓶颈问题.图1,参4. 展开更多
关键词 并行I/O 数据分布 并行文件系统 网络环境
下载PDF
基于分区操作系统的文件系统设计
10
作者 杨琼 王冬 +1 位作者 张鹏 王济乾 《航空计算技术》 2024年第4期80-83,共4页
研究涉及一种基于分区操作系统的文件系统设计方法,解决分区操作系统下文件的安全访问问题。分区操作系统资源、空间彼此隔离,文件系统用于管理分区数据,不能违背数据资源的隔离需求。为此,通过将文件系统部署在分区操作系统的分区;分... 研究涉及一种基于分区操作系统的文件系统设计方法,解决分区操作系统下文件的安全访问问题。分区操作系统资源、空间彼此隔离,文件系统用于管理分区数据,不能违背数据资源的隔离需求。为此,通过将文件系统部署在分区操作系统的分区;分区内和分区外采用两层分区安全访问控制;采用快照管理实现文件系统自身对并行文件访问需求,实现文件系统设计。通过测试表明,该方法能够在满足分区操作系统设计约束下,实现文件的安全访问。 展开更多
关键词 分区操作系统 文件系统 安全访问控制 并行文件访问 快照管理
下载PDF
一种基于HDFS的分布式文件系统MPIFS 被引量:2
11
作者 陈卓航 陈雅琴 郭志勇 《黑龙江工程学院学报》 CAS 2024年第1期9-14,共6页
传统的MPI(Message Passing Interface)计算特点是数据向计算迁移,对于数据量庞大的计算任务具有先天的不足。文中提出一种支持MPI的分布式文件系统MPIFS的架构及实现。该文件系统基于HDFS(Hadoop Distributed File System),使得MPI在MP... 传统的MPI(Message Passing Interface)计算特点是数据向计算迁移,对于数据量庞大的计算任务具有先天的不足。文中提出一种支持MPI的分布式文件系统MPIFS的架构及实现。该文件系统基于HDFS(Hadoop Distributed File System),使得MPI在MPIFS上能同时支持计算密集型和数据密集型计算,设置两个类型的批处理词频统计实验,所需数据都分布式存储在MPIFS分布式文件系统中,通过调用系统提供的统一数据接口实现数据访问。1个计算节点在本地计算大小为m的文件,n个计算节点分布式并行计算大小为n×m的文件,两者计算时间相同,MPIFS中文件总量不变,计算节点数量减少,计算时间t变长,可得出MPIFS文件系统架构可行,能够支持MPI实现计算向数据迁移的并行计算。 展开更多
关键词 MPI 分布式文件系统 分布式并行计算 计算迁移
下载PDF
A GPU-Accelerated In-Memory Metadata Management Scheme forLarge-Scale Parallel File Systems 被引量:1
12
作者 Zhi-Guang Chen Yu-Bo Liu +1 位作者 Yong-Feng Wang Yu-Tong Lu 《Journal of Computer Science & Technology》 SCIE EI CSCD 2021年第1期44-55,共12页
Driven by the increasing requirements of high-performance computing applications,supercomputers are prone to containing more and more computing nodes.Applications running on such a large-scale computing system are lik... Driven by the increasing requirements of high-performance computing applications,supercomputers are prone to containing more and more computing nodes.Applications running on such a large-scale computing system are likely to spawn millions of parallel processes,which usually generate a burst of I/O requests,introducing a great challenge into the metadata management of underlying parallel file systems.The traditional method used to overcome such a challenge is adopting multiple metadata servers in the scale-out manner,which will inevitably confront with serious network and consistence problems.This work instead pursues to enhance the metadata performance in the scale-up manner.Specifically,we propose to improve the performance of each individual metadata server by employing GPU to handle metadata requests in parallel.Our proposal designs a novel metadata server architecture,which employs CPU to interact with file system clients,while offloading the computing tasks about metadata into GPU.To take full advantages of the parallelism existing in GPU,we redesign the in-memory data structure for the name space of file systems.The new data structure can perfectly fit to the memory architecture of GPU,and thus helps to exploit the large number of parallel threads within GPU to serve the bursty metadata requests concurrently.We implement a prototype based on BeeGFS and conduct extensive experiments to evaluate our proposal,and the experimental results demonstrate that our GPU-based solution outperforms the CPU-based scheme by more than 50%under typical metadata operations.The superiority is strengthened further on high concurrent scenarios,e.g.,the high-performance computing systems supporting millions of parallel threads. 展开更多
关键词 GPU-accelerated in-memory metadata management parallel file system
原文传递
面向算力网络的跨域数据管理方法
13
作者 鲁蔚征 戴奇志 张策 《大数据》 2024年第2期94-108,共15页
跨域算力网络希望整合多个算力中心的计算和数据资源,但现有的方案对跨域文件和数据管理关注不够。提出了一种轻量级的跨域算力网络数据管理方案:通过文件系统协议转换,接入远程算力中心的并行文件系统存储资源;算力中心内部的存储资源... 跨域算力网络希望整合多个算力中心的计算和数据资源,但现有的方案对跨域文件和数据管理关注不够。提出了一种轻量级的跨域算力网络数据管理方案:通过文件系统协议转换,接入远程算力中心的并行文件系统存储资源;算力中心内部的存储资源作为一种补充,应对高IOPS应用;通过容器绑定技术,将远程存储挂载并绑定到指定目录。基于该方案的原型系统已经在高校校级计算平台部署运行。实测数据和用户体验显示,该方案能够满足常见高性能计算应用需求。 展开更多
关键词 算力网络 并行文件系统 数据管理 异构存储资源
下载PDF
客体在视觉工作记忆中的存储机制 被引量:18
14
作者 沈模卫 李杰 +3 位作者 郎学明 高涛 高在峰 水仁德 《心理学报》 CSSCI CSCD 北大核心 2007年第5期761-767,共7页
采用变化觉察范式,通过两个实验对不同类型视觉信息在工作记忆中的存储机制进行了探讨。实验一中要求记忆的客体由颜色和形状两基本特征构成;实验二中的客体为具有不同颜色及开口朝向的兰道环。通过观察检测项变化方式对记忆绩效的影响... 采用变化觉察范式,通过两个实验对不同类型视觉信息在工作记忆中的存储机制进行了探讨。实验一中要求记忆的客体由颜色和形状两基本特征构成;实验二中的客体为具有不同颜色及开口朝向的兰道环。通过观察检测项变化方式对记忆绩效的影响,获得以下结论:(1)对颜色和形状两基本特征的存储以整合客体为单位;(2)兰道环的颜色与开口朝向信息难以以整合客体方式存储。笔者推测,视觉工作记忆中存储的整合客体并非如现有理论假设的,是在集中注意参与下创建的,而是由并行加工阶段所获信息构成;客体中所含需集中注意提取的细节特征信息难以与其基本特征信息整合于该客体表征。 展开更多
关键词 视觉工作记忆 客体文件 并行加工 系列加工
下载PDF
基于同构型多处理机的并行检索算法研究 被引量:10
15
作者 赵捧未 徐国华 李学干 《情报学报》 CSSCI 北大核心 1999年第1期37-42,共6页
研究并行检索算法的一条途径是将原有串行检索算法并行化,这就需要挖掘串行检索算法中的并行性并合理选择所用的并行硬件实现环境。本文在较深入地分析传统的顺排检索和倒排检索中的功能并行性之后,基于同构型MIMD计算机系统,研... 研究并行检索算法的一条途径是将原有串行检索算法并行化,这就需要挖掘串行检索算法中的并行性并合理选择所用的并行硬件实现环境。本文在较深入地分析传统的顺排检索和倒排检索中的功能并行性之后,基于同构型MIMD计算机系统,研究并提出并行顺排检索和并行倒排检索的算法原理及过程。文中思想对高效实现先进制造系统中的信息管理也具有一定的适用性。 展开更多
关键词 顺排检索 倒排检索 同构型多处理机 并行算法
下载PDF
BeeGFS并行文件系统性能优化技术研究 被引量:2
16
作者 宋振龙 李小芳 +4 位作者 李琼 谢徐超 魏登萍 董勇 王睿伯 《计算机工程与科学》 CSCD 北大核心 2020年第10期1765-1773,共9页
大数据和人工智能时代,超级计算中心或数据中心的存储需求从PB级向Exabyte级扩展,许多大数据和智能应用程序在高性能计算(HPC)系统上运行,新兴的深度学习应用程序具有批量小文件随机输入特点,使HPC系统的I/O模式更趋复杂,存储管理和I/O... 大数据和人工智能时代,超级计算中心或数据中心的存储需求从PB级向Exabyte级扩展,许多大数据和智能应用程序在高性能计算(HPC)系统上运行,新兴的深度学习应用程序具有批量小文件随机输入特点,使HPC系统的I/O模式更趋复杂,存储管理和I/O瓶颈问题日益突出。并行文件系统是管理超级计算机数据存储的有效手段,但传统并行文件系统主要面向高带宽需求的科学计算任务,难以满足智能应用程序存储需求。针对上述问题,以新兴的BeeGFS文件系统为基础,研究并行文件系统性能优化的关键技术。设计实现了基于键值存储的元数据管理模块以优化元数据IOPS,基于异步I/O和多线程技术的并行I/O处理模型以提升I/O处理并发度,并采用多轨通信机制以提高网络通信带宽。构建了IO500性能评测环境,在相同的配置环境下,I/O带宽和元数据2类基准测试结果表明,改进后的并行文件系统在元数据、数据读写性能上大幅提升,IO500测分是原有系统的2倍以上。 展开更多
关键词 高性能计算 并行文件系统 BeeGFS IO500
下载PDF
HDFS下载效率的优化 被引量:23
17
作者 曹宁 吴中海 +1 位作者 刘宏志 张齐勋 《计算机应用》 CSCD 北大核心 2010年第8期2060-2065,2240,共7页
针对HDFS的内部数据下载效率较低和可能出现的负载不均衡的问题进行了研究,从分布式文件整体下载效率和数据块的下载效率两方面提出了优化方法。实验结果表明:两个方法都能提高效率,但在集群有大量DataNode的前提下,两者结合起来的方法... 针对HDFS的内部数据下载效率较低和可能出现的负载不均衡的问题进行了研究,从分布式文件整体下载效率和数据块的下载效率两方面提出了优化方法。实验结果表明:两个方法都能提高效率,但在集群有大量DataNode的前提下,两者结合起来的方法能更好地提高下载效率和均衡DataNode的负载。 展开更多
关键词 云计算 Hadoop档案系统(HDFS) 多线程 并行下载
下载PDF
并行文件系统中适度贪婪的Cache预取一体化算法 被引量:6
18
作者 卢凯 金士尧 卢锡城 《计算机学报》 EI CSCD 北大核心 1999年第11期1172-1177,共6页
传统文件系统中的Cache和预取技术是两种降低访问延迟的有效方法.在并行科学计算应用的I/O访问模式下,简单的Cache和预取技术已无法提供较高的Cache 命中率.该文在分析该I/O模式的基础上提出了适度贪婪的Ca... 传统文件系统中的Cache和预取技术是两种降低访问延迟的有效方法.在并行科学计算应用的I/O访问模式下,简单的Cache和预取技术已无法提供较高的Cache 命中率.该文在分析该I/O模式的基础上提出了适度贪婪的Cache 和预取一体化算法(PGI).该算法充分利用了并行文件系统环境的特点,采用了适度贪婪的动态滑窗技术,可以有效地消除预取时的抖动,降低系统处理开销;并同时采用了Cache 和预取一体化的淘汰损失估计算法,使淘汰的损失降到最低点,在整体上提供了较短的I/O 展开更多
关键词 并行文件系统 预取 CACHE 操作系统 算法
下载PDF
一种支持云计算的遥感影像数据组织模型研究 被引量:16
19
作者 赖积保 罗晓丽 +1 位作者 余涛 贾培艳 《计算机科学》 CSCD 北大核心 2013年第7期80-83,115,共5页
为了解决云计算环境下海量遥感影像数据的存储问题,研究了一种支持云计算的遥感影像数据组织模型(RSC-DOM)。在深入分析目前遥感影像数据管理现状的基础上,详细剖析了云计算环境下遥感影像数据组织模型的关键性要素,其涉及到支持扩展的... 为了解决云计算环境下海量遥感影像数据的存储问题,研究了一种支持云计算的遥感影像数据组织模型(RSC-DOM)。在深入分析目前遥感影像数据管理现状的基础上,详细剖析了云计算环境下遥感影像数据组织模型的关键性要素,其涉及到支持扩展的分布式存储模式、存储站点结构以及虚拟磁盘空间结构等问题;构建了基于云计算的分布式存储模型架构。实验结果表明,所提出的存储模型在实际应用中比传统依赖Oracle的数据管理方式具有一定的优势。 展开更多
关键词 遥感影像数据 云计算 分布式文件系统 并行检索 直接寻址
下载PDF
高可用并行文件系统的分布式元数据管理 被引量:3
20
作者 李胜利 唐维 +2 位作者 石柯 程斌 蒙廷友 《应用科学学报》 CAS CSCD 北大核心 2005年第3期297-299,共3页
提出一种分布式元数据管理方式,实现了HANDY并行文件系统元数据的高可用,并且使元数据服务器具有动态可扩展性.
关键词 并行文件系统 分布式 高可用 元数据管理 HANDY 管理方式 可扩展性 数据服务
下载PDF
上一页 1 2 11 下一页 到第
使用帮助 返回顶部