Python语言的分布式共享系统设计

随着云计算、大数据及物联网技术的迅猛发展,分布式系统通过网络将多个计算节点连接起来,共同完成计算任务,提高了系统的处理能力和数据存储能力。Python语言以其简洁的语法、强大的库支持和广泛的社区资源,能够实现复杂的系统功能,成为开发分布式共享系统的理想选择。因此,本文将探讨Python语言的分布式共享系统的设计,以期为分布式系统的理论研究与实践应用提供理论参考。

基于改进灰狼算法的新媒体网络资源分布式共享系统设计

在共享资源采集层以AD2S1210WDSTZ为核心,设计数据采集装置,并用SPI接口编程实现共享资源传输信号交互。在共享资源处理层,设计多机集群的脱敏处理装置,实现对资源的统一分布式处理。在共享资源服务层,设计API共享接口,保证共享接口稳定。在新媒体网络资源高维空间中,引入非线性收敛因子,改善全局搜索能力。根据非线性收敛因子优化结果,使用Sigmoid函数实现解空间与二元空间数据类型的转换,保证转换结果匹配,实现分布式灰狼位置映射。结合二进制编码,计算待需要处理节点长度和多共享信道传输效益,更新灰狼搜索位置,实现多信道资源分布式共享。由实验结果可知,该系统在2个场景下与理想频谱展示结果一致,且资源最大吞吐量为450 bit,具有良好资源分布式共享效果。

基于分布式共享存储系统的并行文件子系统DPFS

为了改进软件 DSM系统中对文件的存取性能以获得更好的应用程序性能 ,基于软件 DSM系统 JIAJIA的并行文件子系统 DPFS被开发出来 .DPFS系统采用文件映射接口作为应用编程接口 ,使得文件存取界面简单 ,并且能充分利用软件 DSM系统的大量特性 ,系统设计相对简单 .在曙光 2 0 0 0并行机上进行的应用测试表明 ,采用DPFS文件子系统后 。

遥感地学信息的分布式共享系统研究

Remote sensing image contains plenty Geo-information. Issuing the Geo-information on the Internet is abasic component of sharing RS Image's Geo-information. The most important of issuing the information is to organizeand manage RS image data efficiently according to their characteristics and peculiar Geo-information it them. Accord-ing to the properties of multi-sensor, multi-resolution, multi-spectrum and multi-epoch of RS image data and theirpeculiar Geo-information. This paper has constructed a solid index mechanism of "Pyramid, Block, Layer, Epoch"according to the properties of RS image data and established corresponding logic relation databases for RS image data.The Geo-information of RS image data is reorganized via the solid index mechanism and logic database. Finally, theabove ideas are used in setting up an image database system to provide query and search for Geo-information on theInternet.

分布式共享存储系统中的存储管理及优化技术

分布式共享存储体系结构由于结合了较好的可扩展性和可编程性，已经成为目前并行计算机领域的主要发展方向。文章针对分布式共享存储系统中存储管理的两个关键问题——存储一致性模型和数据局部性优化技术进行了探讨。

多核处理器中混合分布式共享存储空间的实时划分技术

在多核处理器芯片中,分布式共享存储DSM虽然提供了统一的全局寻址的存储空间,但却引入了虚地址向实地址转换的开销,这对性能产生了负面的影响。我们注意到,在并行程序的执行过程中,被处理的数据属性(私有或共享)并不是一成不变的。并行程序中不同的数据具有不同的属性,即使同一数据在程序的不同执行阶段也可能具有不同的属性。本文首先详细地阐述了一种混合式的分布式共享存储空间,支持对共享数据采用全局寻址的虚地址访问而对私有数据采用快速寻址的实地址访问;进而提出了一种针对混合式的分布式共享存储空间的实时划分技术。该技术根据并行程序中数据的属性,在程序运行时,实时地调整和划分分布式共享存储空间。当数据为私有时,通过实地址访问加快数据的访问速度,当数据为共享时则维持虚地址访问,从而减少整个并行程序运行过程中的地址转换开销,提高系统的性能。实际应用程序的实验结果表明,与传统的分布式共享存储空间相比,实时划分的混合式的分布式共享存储空间具有性能优势,性能的提升比例与具体的网络规模、计算规模、并行程序映射方式等有关。在我们的实验中,性能的提升比例最高为13.14%,最低为6.98%。

FTDSS:高容错分布式共享存储机制

Computerized data has become critical to the survival of an enterprise. Company must have a strategy forrecovering their data should data lose. RAID is a popular mechanism to offer good fault-tolerance. But RAID can notwork well when one more disks fail. In this paper, we present an efficient Network-based high High-Tolerance Distributed Shared Storage mechanism called FTDSS. FTDSS makes use of disk space of node in Network to build alarge public shared storage space. Users can read/write their file from/to the public storage space from node of net-work Physically File is stored in each node in form of data fragment or XOR verify fragment. Because of redundantXOR fragments, file is available even when two more nodes fail. FTDSS realize distant redundant srorage. At last.this paper use experiment to prove that FTDSS can offer high fault-tolerance and advanced performance.

实时重新配置的分布式共享存储的研究

针对分布式共享存储(DSM)系统固定节点集合配置的限制,提出一种支持节点重新配置的DSM系统的实现方案。方案中,系统允许用户在执行DSM程序时改变节点集合。这种增加节点的能力使得用户可以进一步缩短DSM程序的执行时间,同时,通过动态删除系统中的节点,可以避免系统用户和计算机用户之间的资源竞争问题。为实现上述功能,系统采用了适宜工作量的重新分配和亲合页面的迁移等技术。该系统支持顺序一致性和释放一致性,能提供面向对象的并行程序环境。

两级分布式共享存储器结构及算法

商用存储器的随机访问速率和交换结构的交换速率一直是限制高速路由器性能提高的主要因素,改善交换结构使其降低对存储器存取速率的要求是解决问题的关键。本文提出了两级分布式共享存储器(TSDSM)结构,给出了该结构模拟输出排队调度算法所需存储器个数的下界及相应的模拟FCFS与PIFO输出排队算法,并对算法模拟输出排队算法的可行性给出了证明。TSDSM结构及相应的算法控制机制不仅使目前商用存储器的存取速率能满足交换速率的要求,而且交换结构可以工作于非加速状态。

基于VPN的高校图书馆数字资源分布式共享应用研究

暨南大学图书馆于2004年引入VPN技术,用以解决校外用户访问馆藏数字资源的难题,取得了较好的效果。本文在此基础上,对高校图书馆数字资源使用中面临的问题及其分布式共享的应用方式进行了研究,并结合实际应用,阐述了VPN在高校图书馆数字资源分布式共享应用中的可行性,同时对应用过程中所遇到的问题进行了探讨。

基于MooseFS的分布式共享存储技术的研究与应用

为解决了在Unix/Linux系统中在访问量剧增的情况下,NFS服务器成为系统的性能瓶颈问题,采用Moose FS部署方法,建立了基于Moose FS的分布式共享存储平台,并进行了性能测试。性能测试结果表明,基于Moose FS的分布式共享存储平台不仅性能优于单台NFS服务器,而且具有高可靠、可扩展、恢复容易等特性。

基于VPN的校园数字资源分布式共享应用研究

北京工业职业技术学院信息工程系已初步引入VPN技术,用以解决校外用户访问校园内部资源的难题,本文在此情况的基础上,对VPN在数字资源使用中面临的问题及其分布式共享的应用方式进行了研究,并结合实际的一些应用,阐述了VPN在校园数字资源分布式共享应用中的可行性,同时对应用过程中可能遇到的问题进行了探讨。

一种新的分布式共享存储协议:用户级共享存储协议

在大规模并行处理系统中 ,采用共享存储和消息传递两种通信模型均存在各自的局限性 ,本文提出了一种新的改善共享存储系统性能的设计策略 :用户级共享存储协议 ,并在基于 X86处理器的分布式共享存储系统仿真器Sim DSM上对两个典型应用问题进行了测试 ,实验结果表明 ,它的性能比采用传统协议有显著提高 .

几种改进分布式共享存储器系统性能的算法

分布式共享存储器 (DSM)系统结合了共享存储器并行计算机编程容易和消息传递多计算机的可扩展性。在此介绍了 DSM系统中的检查点与卷回恢复算法、共享粒度的动态适应算法 ,以及各种算法的原理和算法对 DSM系统性能的影响。

分布式共享存储器(DSM)的可扩展模型设计

本文通过引入第三方代理 (AGENT)服务器 ,结合分布式计算的思想 ,针对现有网络资源和兼容异构性的问题 ,从现阶段网络技术发展的实际出发 ,利用集中调度分布处理的优势 ,采用虚拟内存方式 ,对散布在各个主机上的内存进行统一编址。实现对应用于标准机器 (如PC机等 )上的可扩展的分布式共享存储器 (DSM )

基于SDN多播的分布式共享内存研究

在分布式共享内存(DSM)中使用多播进行节点间的消息传输,可以大幅节省通信开销,但传统多播具有不可控性。为此,提出一种将基于软件定义网络(SDN)实现的多播应用于DSM中的方案。设计一种基于多播的DSM系统,并以基于SDN实现的多播为其提供数据传输。实验结果表明,与传统以太网相比,该方法能够有效降低DSM中的数据传输延迟,为DSM系统提供良好的通信性能保障。

基于广播的分布式共享内存

提出一种基于软件实现的分布式共享内存.借鉴基于广播的缓存一致性,采用不同于以往内存一致性的协议设计,以通过减少维护内存一致性所需要等待的网络消息来提高分布式共享内存的整体性能.基于这种协议设计,进一步给出切实的实现方法和针对性的优化.测试表明,这种设计相较于以往的分布式内存协议,最高可以获得45%的性能提升.

面向分布式共享的海洋监测时空数据表达与传输模式研究

针对海洋时空监测数据分布式共享中的网络传输性能瓶颈问题,提出了一种基于共享式编码与实时压缩的时空数据表达与传输模式,建立了面向服务的海洋时空数据分布式共享框架,采用GML、KML、Geo JSON实现了海洋监测数据的编码式表达,采用压缩算法实现了数据实时高效传输。基于阿里云计算平台,设计和部署了面向海洋应用的分布式GIS系统作为实验平台,实验结果表明,采用Geo JSON和Deflate-6/GZIP建立海洋监测时空数据表达与传输模式,在分布式共享与集成系统中表现出较好的适用性和较突出的性能优势。

对分布式共享存储中的伪共享的动态控制

分布式共享存储（ＤＳＭ）使得在分布式存储机器上，对显式消息传递编程的需要得到减轻．为降低存储访问延迟，ＤＳＭ系统将数据复制多个拷贝．文中考查了几种用于控制因伪共享问题造成的存储抖动的方法，提出了一种新的存储一致性协议：写者拥有协议，它在运行时检测并消除伪共享．迭代运算中，由于数据在每次迭代中被相似地存取，写者拥有协议只要消除一次伪共享，所以额外开销非常小．实验数据表明，写者拥有协议通常情况下优于已有的协议．

用户级通信在软件分布式共享存储系统中的应用与分析

通信性能不高是影响软件分布式共享存储系统性能的主要因素之一 .用户级通信技术能够充分发挥高速网络的硬件性能 ,减少数据拷贝次数、降低软件开销 ,明显改善了带宽和延迟 ,为软件分布式共享存储系统性能的提高开辟了新的途径 .设计并实现了一个面向软件分布式存储系统的用户级通信库 ,它不仅改善了系统的通信性能 ,同时也使得系统的并行计算性能得到改善 。