面向并发数据流处理的存储接入方法

海量的并发数据流存储请求,会造成数据库瞬时压力过大和存储时延提高等问题,对此提出一种面向并发数据流处理的存储接入方法。首先构建Redis缓冲区队列,以接收上游数据处理节点的周期数据,使用自定义数据流协议解决数据流规范化通信;然后设计主动存储中间件,通过线程读写任务分配算法(TRWTA),优先处理高负载区队列的读写任务,利用动态线程池计算读写压力(RWP)来优化管理线程数量,达到提高并发数据流存储效率的目的。此外,在存储层中使用了Mysql和HBase对数据流进行分类存储,对HBase进行Rowkey设计和预分区。经过实验分析,所提存储接入方法在持续的并发数据流下,较传统存储方法有效降低了存储时延,保证了数据库稳定性。

绿色建筑大数据管理平台数据接入与处理技术浅析

随着信息技术及智能化的快速发展,众多数据采集、处理与质量提升方面的新技术被应用于建筑能耗大数据管理平台研发当中,本文针对相关技术的新思路、新方法进行了分析和阐述,对相关技术的发展趋势作出了合理性的判断。

论视频系统和大数据图像的存储问题

1概述 视频图像的采集、传输和存储这三个环节，是大数据结构处理的瓶颈。据统计，在一般情况下，一个计算机系统在整个生命周期内历年运行资金投入的总和不会少于其建设投资的1．5倍。而视频系统的消耗主要体现在硬盘和摄像头的损毁方面——摄像头在现场，其损毁情况与环境有关；硬盘在后台的中央控制室内，其损毁与连续运行有关。

san技术在勘探开发数据存储中的应用

从江汉采油厂在数据存储方面存在的问题出发,通过分析对比目前流行的数据存储技术,指出了存储区域网技术是建立采油厂数据中心的有效方法,并结合采油厂实际情况给出了最终解决方案。

网络存储在高校精品课程信息平台中的应用

随着华北电力大学精品课程建设的日益快速发展,传统的网页服务器由于硬盘空间的有限,已经不能满足精品课程数据量不断增加的需求。同时考虑到校园网的网通和教育网两个出口分别架设了独立的精品课程网页服务器,用以提高校外不同类型上网用户访问本校精品课程信息平台速度的实际情况,为了实现两台服务器数据访问的统一性,提高数据更新的效率,为此将网络存储引入到华北电力大学精品课程信息平台的建设中来。

平安城市中的存储分析

计算机技术的迅速发展促使视频监控完成了从全模拟化到数字化的转变。在这个过渡阶段中，由数字监控取代传统技术派生出的许多数字监控的新功能正在逐渐成为主流技术。受监控图像的清晰度及保存时间等需求影响，原数字化监控的核心设备DVR（硬盘录像机）逐渐完成它的历史使命，开始为以DVS（视频服务器）＋IPSAN为核心的监控系统所替代。

甘肃省高速公路建设建管养一体化数据标准研究

在传统模式下建设的信息化系统存在资源共享难、建养分离、资源分散等问题,无法满足PPP项目建设模式的管理要求,建设建管养一体化集成平台已迫在眉睫,数据标准化是系统集成的基础与纽带。本文通过研究高速公路建管养一体化数据框架,对建管养一体化数据进行分类编码,研究建管养数据接入和存储的方法,建立建管养一体化数据标准体系,为甘肃省高速公路建管养一体化集成化平台建设奠定基础。

九曲河河道沿线视频监控系统的设计与实现

九曲河,亦称包港,在镇江市丹阳境内,是太湖湖西区四条骨干通江引排河道之一,北起长江夹江,南接京杭大运河,现全长27.6公里。为及时对九曲河河道沿线实时进行监控,对整条流域的抗旱防洪提出预警信息以及船运通航的安通航管理,故在九曲河沿河建设相应视频监控系统十分必要。本文详细介绍了九曲河河道沿线视频监控系统方案、视频信号接入及存储及系统调试。