一种面向查询的无线传感器网络混合型数据存储算法

提出了一种面向数据查询的混合型的数据存储算法,将数据存储在合适的位置。通过分析采集、存储、查询节点之间的位置关系,存储模式可在集中存储和分布存储之间相互切换。本算法引入了"热点"保护机制,可有效均衡网络能耗。实验结果表明,该算法的能耗均衡性、节点能耗、生命周期和丢包率相比于GHT(Geographic Hash Table)算法有一定的改善。

混合存储视频数据库中自适应数据分布优化方法研究

混合存储能够提高视频数据库的处理性能,针对混合存储视频数据库的数据分布问题,提出一种自适应数据分布优化方法,介绍了混合存储视频数据库中的数据分布情况,给出混合存储视频数据库中自适应数据分布优化流程,在数据分布前进行一段时间的观测,对混合存储视频数据库中所有表和索引的访问特征进行记录,依据固态硬盘SSD的空间和所有表及索引的访问特征,通过决策策略进行排序。每隔一段时间对SSD是否处于空闲状态进行一次判断,若处于空闲状态,则进行数据迁移,从而实现自适应数据分布优化。实验结果表明,所提方法能够提高数据库处理能力,能耗少且吞吐能力与安全性强。

基于Protobuf的异构环境数据 存储及交换技术研究

近年来,各类信息系统规模和复杂度都在不断提升,异构环境下(不同的操作系统、不同的存储介质、不同的编程语言)数据的互联互通成为制约系统功能性能的瓶颈。文章围绕基于Protobuf的异构环境数据存储及交换技术,从架构的视角出发进行分析并提出解决方案,从逻辑组成、运行原理和应用效果几个方面对当前的研究进展进行了阐述,并在此基础上对技术发展方向和应用前景进行了展望。

工业园区固废数据管理与应用平台的设计与实现

针对工业园区渣、尘、泥等典型固废资源化和污染溯源信息分析管理的需求,建立了工业园区固废数据管理与应用平台(ISWBDS),该平台基于MVVM模式的Vue.js框架开发,采用Python开发的RESTful接口提供数据服务,实现了园区、企业和生产线三个层级的信息管理;ISWBDS平台针对固废数据多源、异构的特点,建立了固废数据分布式采集系统,采集的数据包括不同公司的报表类数据、DCS现场数据和视频数据等;为了满足多源异构数据的存储,运用实时数据库Redis、关系型数据库MySQL和分布式文件存储等多种数据存储技术,建立了固废数据混合存储系统。ISWBDS平台实现了包括园区/企业/生产线层级资源环境效率分析和生产线运行状态评估等管理功能,为园区/企业提供了方便的管理工具。

基于Hadoop的大数据计算技术

大数据计算面对的是传统IT技术无法处理的数据量超大规模、服务请求高吞吐量和和数据类型异质多样的挑战。得益于国内外各大互联网公司的实际应用和开源代码贡献,源于Google的Apache Hadoop软件已成为PB量级大数据处理的成熟技术和事实标准。本文介绍了大数据计算系统中存储和索引两项研究工作,RCFile和CCIndex,分别有效解决了大数据计算系统的存储空间问题和查询性能问题。