面向并发数据流处理的存储接入方法

海量的并发数据流存储请求,会造成数据库瞬时压力过大和存储时延提高等问题,对此提出一种面向并发数据流处理的存储接入方法。首先构建Redis缓冲区队列,以接收上游数据处理节点的周期数据,使用自定义数据流协议解决数据流规范化通信;然后设计主动存储中间件,通过线程读写任务分配算法(TRWTA),优先处理高负载区队列的读写任务,利用动态线程池计算读写压力(RWP)来优化管理线程数量,达到提高并发数据流存储效率的目的。此外,在存储层中使用了Mysql和HBase对数据流进行分类存储,对HBase进行Rowkey设计和预分区。经过实验分析,所提存储接入方法在持续的并发数据流下,较传统存储方法有效降低了存储时延,保证了数据库稳定性。