面向并发数据流处理的存储接入方法

海量的并发数据流存储请求,会造成数据库瞬时压力过大和存储时延提高等问题,对此提出一种面向并发数据流处理的存储接入方法。首先构建Redis缓冲区队列,以接收上游数据处理节点的周期数据,使用自定义数据流协议解决数据流规范化通信;然后设计主动存储中间件,通过线程读写任务分配算法(TRWTA),优先处理高负载区队列的读写任务,利用动态线程池计算读写压力(RWP)来优化管理线程数量,达到提高并发数据流存储效率的目的。此外,在存储层中使用了Mysql和HBase对数据流进行分类存储,对HBase进行Rowkey设计和预分区。经过实验分析,所提存储接入方法在持续的并发数据流下,较传统存储方法有效降低了存储时延,保证了数据库稳定性。

一种面向下一代互联网的广域网智能存储系统

广域网智能存储系统针对下一代互联网数据急剧增长、网络资源难以管理和使用的问题,采用多层次、可扩展的分布式存储模式,从改进体系结构着手来提高网络存储系统的性能。其存储管理遵循存储管理计划规范(SMI-S),并针对复杂网络环境下的元数据管理和数据传输问题,提出了有效的负载均衡策略和高速安全的存储中间件解决方案,不仅降低了存储管理开销,加快了数据传输速度,同时也实现了命令与数据分流、扩容与增速同步的目标,从而大大提高了整个存储系统的性能。

存储虚拟化技术研究与比较

本文描述了存储虚拟化技术的产生背景,介绍了存储虚拟化技术的定义和结构模型,并对存储虚拟化的实现方式和特点、关键技术做了分析和比较,最后指出存储虚拟化依然缺乏高度的标准化,只有尽快解决操作平台、网络和存储设备等厂商及产品之间的互操作性问题,才能推动存储虚拟化技术的发展。

基于令牌桶算法的公众号小程序访问流量控制模型

为更好地控制公众号小程序访问流量的传输行为,实现对流量数据信息的精确化协调,设计基于令牌桶算法的公众号小程序访问流量控制模型。借助存储中间件设备,建立Web型服务框架,通过访问流量应急管理的方式,实现基于令牌桶算法的流量需求分析。在此基础上,研究流量控制协议的连接特征,通过连接行为复位的方式,定义访问流量报文段的传输格式,完成基于令牌桶算法的公众号小程序访问流量控制模型的搭建。对比实验结果表明,与TCP串行流量控制算法相比,应用基于令牌桶算法的控制模型后,可将公众号小程序访问流量在单位时间内的传输极值提升至7.8×10^(13) T,既定访问节点处的UDC转存指标也增大至86.53%,能够在精准协调流量数据信息的同时,实现对公众号小程序访问流量传输行为的有效控制。