分布式存储系统读写一致性算法性能优化研究综述

读写一致性算法被广泛部署到分布式存储系统,以保证读写数据的正确性。然而,读写一致性算法通常需要使用一个复杂的通信协议来保证多个节点读写数据的正确性,会带来较大网络传输开销和读写时延。由于各种读写一致性算法实现机制存在较大差异,特定的读写一致性算法往往需要部署到特定的存储应用场景,才能高效地执行数据读写操作,保障对其上应用的服务质量。因此,实际的存储系统开发过程中,开发人员往往需要根据存储应用场景选择读写一致性算法,从而减少数据读写操作带来的系统开销。为了明确各种读写一致性算法适合的应用场景,介绍了分布式存储系统中存在的读写一致性问题,并综述了当前读写一致性算法的实现机制。总结了在副本和纠删码2种存储机制下主流的读写一致性算法,比较了这些读写一致性算法在实现机制、网络开销和数据存储开销等方面的特性。在此基础上,结合了单数据中心分布式存储系统和跨数据中心云际存储系统2种经典的应用场景,总结了开发人员在实际存储系统中部署读写一致性算法过程中需要注意的要点,分析了亟需解决的问题和提升数据读写操作性能的可能途径,展望了读写一致性算法未来的发展方向。

双端口存储器读写控制专利技术现状

相关技术概述随着计算机应用领域的不断扩大,计算机设备需要处理的信息的数量也越发的增大。与此同时,对于计算机中的存储设备的要求,无论是从工作速度,还是从其容量方面的要求,也都越来越高。此外,随着技术的发展,CPU、I/O设备的数量也随之增多。如在多处理器系统中,不同的处理器之间如何对于数据实现共享和交换,这已经逐渐成为多处理系统的发展难题。而存储器同样存在多种类型,单端口存储器和双端口处理器是目前主流的存储器类型,单端口的处理器并没有办法为多处理器系统中的处理器同时提供读写控制。因此,多处理系统中,双端口存储器是实现其多个处理器之间数据的快速访存的重要工具之一。而鉴于此,如何提高存储设备的访存速度计算机系统中的发展瓶颈之一。

一种存储网关介绍及提升数据读写性能策略研究

本文介绍一种基于对象存储的块设备存储网关,并对该存储网关提高高性能数据读写能力的策略进行研究。文章首先对比市场上主流的云存储服务,分析各类云存储的优缺点,并提出基于对象存储的块设备存储和存储网关系统的实现方案。文章接着探讨了提升此存储网关数据读写的策略,包括数据块合并、数据块切割、数据块对象回写延迟。

基于分布式数据管理系统的读写性能优化研究

读写混合数据处理模式下的TDDMS分布式数据管理系统在实际应用中出现了查询速度慢、写入有积压等现象,系统并没有达到预期的性能效果。为解决系统性能问题,基于TDDMS分布式数据管理系统,针对读写混合下数据管理系统的性能问题提出了具有针对性的性能优化方案。最终优化方案的运行结果表明,优化后的系统在性能上满足了业务对于查询响应和入库的诉求,系统在读写混合下的应用取得了阶段性成果。

一种基于LSM树的键值存储系统性能优化方法

目前,键值(key-value, KV)存储系统在众多数据密集型的应用系统中发挥着关键作用,例如页面索引、电子商务以及云存储系统等.在各种键值存储系统中,基于日志结构合并(log-structured merge, LSM)树的KV存储系统获得了广泛的应用.主要原因是基于LSM树的KV存储系统能够将随机写操作转化为顺序写操作,从而提升数据写性能.然而,这些存储系统也存在一些严重的性能问题.一方面,KV存储系统利用预写日志机制来保证写入数据的原子性和安全性,以便在系统发生故障时进行恢复,造成了数据的写放大.同时,日志的频繁更新也引入了严重的元数据负载,导致了额外的性能开销.另一方面,KV存储系统通常利用通用文件系统存储数据,而通用文件系统中许多KV存储系统不需要的功能和属性也会造成一定的性能开销.为了减小这些开销、提升KV存储系统写入性能,提出了RocksFS,一个针对基于LSM树的KV存储系统优化的文件系统.针对KV存储系统的负载模式简化文件系统结构,去除通用文件系统引入的负载,同时优化预写日志的存储结构和更新流程以减小其更新负载,提升写入性能.最后在普通硬盘和固态硬盘上,基于流行的KV存储系统RocksDB验证了该方法的有效性,结果显示相对于通用文件系统,RocksFS能够将小块KV数据写入和更新性能提高约8倍.

一种基于流水线的重复数据删除系统读性能优化方法

重复数据删除技术已逐渐应用到以云计算为代表的主存储系统中,这些系统对读响应时间的高要求使读性能成为重复数据删除系统中需要解决的重要问题,而已有研究对如何提高重复数据删除系统读性能关注很少.针对这一问题,对重复数据删除系统中读取流程和性能瓶颈进行了量化分析,提出了一种基于流水线的数据读取模型,然后通过并行计算机制对模型进行了进一步的优化.基于这一模型设计实现了实验系统,通过实验证明:对于网络安全监测日志文本数据和虚拟机镜像文件,应用此模型后,重复数据删除系统读速度的提高可达5倍以上;基于流水线的数据读取模型适用性强,对提高不同消冗率的数据读速度均有明显作用.

一种海量存储系统二级缓存的设计与实现

引入新颖固态存储技术和DRAM与固态硬盘(SSD)混合的缓存架构,提出一种海量存储系统的二级缓存策略,通过回写策略能够有效减少SSD缓存的小写问题,并对两级缓存架构下建立的逻辑磁盘进行测试,结果表明在请求平均响应时间上取得了优化。

大规模高校纠删码键值存储读写负载均衡研究

纠删码广泛部署于分布式键值存储系统来保证数据可靠性.通过将用户数据编码并存储到多个存储节点,纠删码存储系统可以在部分节点失效的情况下恢复原始数据.随着存储节点数量的增加,存储节点往往会出现负载不均衡的情况,限制其在高校云计算和信息化领域的应用场景.为解决上述问题,提出大规模纠删码键值存储系统负载均衡方案.通过将逻辑控制和存储功能分离,纠删码存储系统可以高效地确定存储节点的负载状态.为充分利用节点之间网络带宽资源,提出多切片数据编码传输方案.根据用户写入数据量,设计混合数据写入机制来提升数据写入操作的性能.在此基础上,设计了原型纠删码键值存储系统,实际原型系统测试验证了本研究中负载均衡算法的有效性.

一种面向非易失性内存文件系统的数据读写粒度控制策略

数据读写是文件系统的重要操作。传统的文件系统基于磁盘设计,数据读写需要旋转磁头,因此数据读写慢。文件系统使用I/O调度层对读写操作进行拆分和合并,减少磁头寻道时间,提高系统性能。新型非易失性内存(NVMM)支持字节寻址和随机访问,文件系统可以直接使用内存指令进行数据操作。因此,现有的NVMM文件系统,如ext4-dax、PMFS和NOVA,不再考虑数据操作粒度的优化,直接按照文件数据的存储粒度(如4kB)在应用和文件系统之间传输数据。然而,文件系统中的数据读写性能仍然受到操作粒度的影响。本文分析了文件系统在真实NVMM硬件上的性能,发现大粒度操作会降低文件系统性能,并针对数据读写操作粒度提出了优化策略。实验结果表明,本文提出的优化策略使得NVMM文件系统性能提升30.1%。

硬盘播出系统二级存储的设计与应用

本文对南京广播电视集团电视硬盘播出系统的二级存储的总体设计要求及Isilon集群存储的关键技术等进行了分析,并详述了Isilon集群存储在南京广播电视集团电视硬盘播出系统中的应用。

浅析播出系统中二级存储的作用

硬盘播出系统发展到如今．其功能已变得越来越全面，所涵盖的内容也越来越广泛。节目的存储从一开始的播出节目素材的本地在线存储逐渐延伸到网络异地近线、离线等存储。

无缓存RAID卡影响读写性能

前一段时间，我们准备把用于测试的MySQL‘服务器更换成MySQLCluster，因为MySQLCluster采用内存4-磁盘存储的方式，因此找来2台服务器，一台是很久以前配置用来做SVN的，上个月刚将系统迁移到了其他的服务器，现在正好闲置着；另外一台服务器是新购买的。

层间磁耦合对垂直磁记录介质读写性能的影响

对一种具有三层层间磁耦合调控层的垂直磁记录介质,通过改变调控层的膜厚,磁记录层之间的磁耦合强度被有效调控,介质的静态磁特性和动态读写性能随之改变。较弱的层间磁耦合可显著改善介质的信噪比和可擦写能力,但会导致磁道宽度变宽。三层调控层的影响程度不一致,需要综合优化三层的膜厚,以获得最高的信息存储密度。层间耦合强度还会影响到介质的热稳定因子,在介质的设计过程中需要综合考虑。

一种智能网络磁盘(IND)存储系统结构

针对当前计算机存储系统结构中存在的若干问题,文中提出了一种新型的智能网络磁盘(Intelligent Network Disk,IND)存储系统结构.分别给出了IND内部数据的读/写控制、容错处理、负载平衡等智能控制算法,已经构建了一个IND结构的模拟原型IND存储系统.IND存储系统中各个IND都是直接与网络连接,若干个IND组成一个集群存储系统,给用户提供了一个虚拟化的海量存储系统.另外,由于各IND都具有一定的智能度,所以它是一种灵活可变的智能型网络存储器系统.

基于对象存储系统的对象文件系统设计

基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文件大小、不同文件分块大小条件下文件系统的性能进行测试分析,找出系统的数据传输瓶颈,使用以对象属性为导向的缓存和预取技术以及聚合读写的方法对文件系统进行了优化.优化后读写吞吐率分别提高了60 Mbyte/s和40 Mbyte/s.

APMSS:一种具有非对称接口的固态存储系统

固态存储系统是解决计算机系统存储墙问题的重要手段,但当前所常用的基于数据块访问方式有很大的局限,存在写放大和无法利用内部存储器件支持字节读写特性等问题,严重影响了固态存储系统的I?O性能和使用寿命.设计了具有非对称接口的固态存储系统(APMSS).在分解文件系统层所提交访问请求的基础上,针对读操作的特性,设计了基于块的读机制,避免改变读粒度增加I?O软件栈开销,并能发挥读缓存的作用;设计了最小化直接写机制,包含通用块层的多粒度固态存储系统映射算法和驱动层的动态粒度写算法,仅将实际需写入数据和位置等信息发送给固态存储系统,提高固态存储系统的写性能,并减少对固态存储系统使用寿命的影响.在开源的块接口固态存储系统PMBD的基础上实现了APMSS的原型,使用存储系统的通用测试工具Fio和Filebench进行测试,结果表明APMSS上的Ext4相比PMBD上的Ext2和Ext4能提高9.6%～29.8%的写性能.

一种高性能RAID系统的设计和实现

本文分析了基于Linux软RAID系统的读写处理过程及其不足之处,设计并实现了一种基于磁盘子系统的高性能RAID,并与基于Linux2.4.18的软RAID系统进行性能测试对比,验证了这种RAID系统的高I/O带宽特性。

单片机实现对CF卡的读写

CF 卡是一种包含了控制器和大容量 Flash 存储器的标准器件,具有容量大、体积小、高性能、携带方便等优点,已广泛应用在数据采集系统和许多消费类电子产品中。本文详细介绍 C F 卡在单片机系统中的硬件接口电路,以及单片机对 CF 卡进行标准文件读写的实现,且写入的文件能被 Windows 操作系统读写。