基于负载均衡的多源流数据实时存储系统

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中。实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3~0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。

并行实时测控数据存储系统设计与实现

随着测控设备数量增加、数据码率的不断提高,传统的测控中心实时存储系统采用的串行化处理逻辑已经难以适应高负载的测控任务需要。采用SPMD(Single Program Multiple Data)思想,基于OpenMP和Qt设计并实现了一套并行实时测控数据存储系统框架。该系统通过引入M/M/1模型的排队系统,设计了一种适合并行实时测控数据存储系统的静态负载均衡算法,基于互斥锁完成了线程间的细粒度通信同步机制,借助于事件循环机制将Qt的信号与槽特性成功地嵌入OpenMP线程,保留了Qt图形界面良好的人机交互性能。实验结果表明该系统在高负载的情况下,相比串行测控数据存储系统而言具有更好的扩展性和实时性,能更好地利用现行单机多核系统的计算资源,获得更好的实时性能。

基于SCSI总线的超高速实时图像数据存储系统

超高帧频实时图像的长序列采集存储一直是难于解决的问题。本文基于SCSI总线的理论体系,提出一种新的图像数据采集存储系统的技术方案和体系结构,并设计出一种超高速、数字化、嵌入式系统样机。试验结果表明在多通道同时使用的情况下,采集与存储速率达到了100Mb/s,满足了1000帧/s的黑白数字图像直接存硬盘技术需要,验证了此系统的有效性。

跟踪雷达回波信号实时采集存储的新方法

提出时间压缩和分流降频算法以及硬盘阵列存储方法,并由此实现一种新颖的解决了跟踪雷达对跟踪波门内的雷达回波信号的高速大数据量信号实时采集和存储系统。文中介绍了时间压缩和分流降频算法原理,以及高速大容量数据实时采集存储多机处理系统硬件的工作原理和软件设计思想。该分流降频算法采取多硬盘阵列处理方法具有普遍意义,可用于其他类似的系统中。对于搜索雷达等需要对全程回波信号进行这种处理时,也可利用分流降频算法采取多硬盘阵列处理。