FastQueue:一种高性能的磁盘队列存储管理机制

1.引言 随着消息通信(如消息、短消息)的爆炸式增长,消息传递系统的性能面临严峻的挑战.消息通信的首要特点是高可靠性,在发送人确认消息收到之前必须将消息保存到磁盘上.

分布式磁盘陈列的性能分析

本文提出一种分布式磁盘阵列的基本结构，并用解析和仿真两种方法进行了性能分析。结果表明它在磁盘利用率与平均响应时间等方面都明显优于集中式磁盘阵列。

基于排队网络RAID存储系统的性能评价模型

利用排队网络对软件RAID系统建立性能评价模型,并通过MVA方法来对软件系统的性能进行分析,理论值与测试值进行了对照,结果表明,建立的模型基本上反映了系统性能在不同负载下的变化趋势,验证了系统的可用性。

一种高效的磁盘队列I/O机制(英文)

分析了传统磁盘队列的存储管理开销和读写性能,针对磁盘队列I/O已成为影响消息服务器性能的首要瓶颈,提出了一种高效磁盘队列I/O机制—FlashQ。FlashQ采用物理上连续的磁盘块作为磁盘队列,以紧凑方式组织数据,采用延迟写策略和预先读策略提高读写性能。实验表明,FlashQ的性能比传统磁盘队列好。

在PC机上对磁盘阵列的仿真

本文介绍了一种用Ｃ语言在ＰＣ机上通过修改时钟中断处理程序和系统８２５３定时／计数器的设置来进行磁盘阵列仿真的新方法，利用它可以很好地编制仿真程序，而且程序结构清晰，仿真过程直观，结果稳定可靠。

网络视讯系统磁盘I/O策略分析

对多媒体网络视讯系统的磁盘 I/ O策略进行了建模分析 .首先建立一个排队模型对多媒体网络视讯系统进行分析 ,并得到了一个最佳磁盘 I/ O策略的公式 。

中央Cache磁盘阵列结构性能分析

本文分析了将Ｃａｃｈｅ引入磁盘阵列的必要性，建立了中央Ｃａｃｈｅ磁盘阵列结构排队模型。

ISCSI磁盘数据双控制器存储完整性测试技术研究

传统的ISCSI磁盘数据双控制器在存储数据时存在响应速度慢、数据丢帧等问题,为了改善传统方法在数据存储时遇到的这些问题,提出一种ISCSI磁盘数据双控制器存储完整性测试技术,在原始的磁盘数据双控制器存储系统中增加一种对数据完整性进行测试的技术,以达到提高存储响应时间,减小存储数据误差的目的;数据双控制器存储系统分为:数据采集、中心控制、动态存储、预警输出、网络接口及电源六大模块,通过采集模块获取存储信息,将采集到的数据经由中心控制模块进行去噪除杂等处理,将处理数据信息进行存储,当磁盘内存不够时,可由预警模块给出相应警告,通过网络接口扩展磁盘空间同时清除缓存,获得存储空间,电源模块为整个系统供电;实验结果表明,所提算法能够有效降低系统响应时间,获得完整的存储数据,同时数据丢帧率在0.05%以内。

Kafka中Broker节点磁盘问题的故障处理方法

Apache Kafka作为一种分布式的消息队列中间件,由于其具有高可靠性、高吞吐量、可持久化、可扩展性好等特点。在大数据项目中,如日志聚合、流数据处理等应用场景中被广泛使用。由于Kafka的消息需要持久化到磁盘中,磁盘故障会影响Kafka的使用,严重时会造成数据丢失。所以基于Kafka的存储特性,通过复盘和分析由于磁盘问题导致的Kafka集群故障,提出了一系列的磁盘故障处理方法,从而缩短Kafka集群故障的恢复时间。

一种磁盘调度策略的分析

本文建立了小型磁盘的排队模型、对磁盘寻道模型和数据存取策略进行了分析，通过仿真，结果表明磁盘寻道模型并非理想的均匀分布。单元分裂存取策略可以改善磁盘Ｉ／Ｏ的响应特性。

分布式高性能日志架构设计与研究

文章从分布式日志工具出发提出了一种高性能的设计架构,其中主要技术点包括:容器化部署、高性能落盘、基于消息队列的日志收发、InfluxDB时序数据库可视化展示、异常处理恢复等。基于以上关键技术实现的分布式日志可以广泛用于各种分布式集群中,并具备高可用的机制,从不同维度实现高性能可行的日志采集系统。文章对比了没有采用buff策略以及使用buff策略的性能实现,其中QPS指标为每一次访问请求所查询的次数,其中包含了日志大于MaxSize自动备份切割的过程,发现QPS指标较原有指标提升倍以上,相比原有无优化操作的性能有明显提升。