BOOM-KV:基于RDMA的高性能NVM键值数据库

随着英特尔傲腾数据中心持久化内存模块(DCPMM)开始进入市场以及远程直接内存访问(RDMA)硬件成本的降低,设计融合非易失性内存(NVM)和RDMA的键值(KV)数据库面临新的机遇和挑战。构建基于NVM和RDMA的KV数据库的关键在于设计一个高效的通信协议。遗憾的是,现有工作或采用NVM不感知的RDMA协议,或采用低效的NVM感知的RDMA协议,这导致它们无法最大化KV数据库的性能。本文提出了BOOM协议——一种新型的NVM感知的RDMA协议。相较于NVM不感知的协议,BOOM协议允许直接对远端NVM进行RDMA操作,消除了冗余的数据拷贝;相较于现有的NVM感知的协议,它可以显著减少元数据请求,降低KV请求的端对端延迟。在BOOM协议的基础上构建了BOOM-KV,并针对服务端中央处理器(CPU)利用率和宕机持久化等问题进一步进行优化。将BOOM-KV与最新的研究成果进行对比,结果表明,BOOM-KV能显著降低请求延迟,其中PUT延迟最大降低了42%,GET延迟最大降低了41%,并且展现出良好的扩展性。

键值数据库中弱一致性数据存储优化技术

当前数据库中弱一致性数据维护方法存在读写性能低、集群性能差的问题。为此,提出一种键值数据库中弱一致性数据改进方法。采用数学归纳法建立Hash值空间的上下限,利用哈希函数对数据库中的冗余数据进行优化;在此基础之上,通过建立未知弱数据和己知弱数据之间的回归预测模型,同时利用BP网络算法对数据迁移中的缺失数据进行采集,以保证数据的一致性。实验结果显示,与传统方法相比,其读写性能更好;且对数据块越大,吞吐量越提升。

NoSQL数据库技术在嵌入式装置中的应用

在互联网+创新背景下,用信息化技术的成果改造和提升传统的自动化设备,具有重要的前景。NoSQL数据库泛指非关系型数据库,是大数据时代的热点。该文在NoSQL数据库技术基础上,设计实现了一种适合在嵌入式装置中运行的实时数据库。从数据对象的描述,对象的存储和索引,对象的查找、遍历、增删改操作,消息总线中通知的注册和发送四个方面,介绍了数据库的组成,内存的使用,双哈希索引的构成,命令及消息传递机制等。该实时数据库可以完成数据对象的灵活定义和高效访问,进而实现各种自动化功能。

Vantage Pro气象站实时数据采集与在MUSER中的应用研究

我国明安图射电频谱日像仪(Mingantu Ultrawide Sp Ectral Radio Heliograph,MUSER)已经完成所有的硬件设备安装与调试,即将进入常规观测。为有效地保证观测数据的可用性,项目组购置了Vantage Pro自动气象站,用以实时监控观测地的气象条件变化。首先介绍了MUSER项目的基本情况,论述了在项目中气象条件的应用场景及在数据处理时对数据有效性可能造成的影响;详细介绍了Vantage Pro气象站的数据采集格式、数据交换格式以及串行通信协议;介绍了在气象数据的存储方式;最后给出了构建气象数据服务、数据归档和高效查询的方法。可以应用在望远镜自动气象监控和数据处理方面,也可以为选址的自动气象监测提供参考。

基于内存数据库Redis的轻量级矢量地理数据组织

矢量地理数据的高效组织管理是空间数据应用的关键问题之一。矢量地理数据服务作为一种重要的公众空间信息服务,已经得到广泛应用。公众对矢量地理数据服务性能提出了越来越高的要求,包括实时响应、高并发、高吞吐量等。当前的矢量地理数据服务后台数据存储组织,通常基于磁盘和关系数据库,其在面对公众日益增长的需求时已经显得力不从心。本文提出了一种以内存数据库Redis的轻量级矢量地理组织方法,能在高并发情况下有效提高矢量地理数据服务性能。论文首先分析了Redis的存储机制,设计了矢量地理数据库的分层组织模型,利用Redis丰富的数据结构对矢量地理数据及其相关元数据进行存储管理,然后,以网格索引为例,设计了Redis的空间索引,最后,设计Redis的矢量数据引擎原型系统,并进行了实验验证。结果表明,Redis的矢量地理数据库显著提高了响应速度,且并发性能更好,可广泛应用于大型空间数据库前端高速缓存和高性能空间索引库。

基于轻型目录访问协议的电力系统对象注册中心

当前,电网各专业系统对象命名和编码的方式存在差异,导致不同系统间交互困难。提出并实现了一种基于轻型目录访问协议(lightweight directory access protocol,LDAP)的电力系统对象注册中心,对全局对象进行统一的命名和编码管理,实现电网运行中全局对象命名和编码的标准化、统一化。测试表明,基于LDAP的对象注册中心可以有效解决对象命名和编码的差异问题,并相较于传统的关系数据库,LDAP后端使用的键值对数据库在查询操作上具有更好的性能优势。

LevelDB架构与相关改进分析

键值数据库是NoSQL数据库中的一种,LevelDB作为典型的键值数据库,其底层采用LSM树作为存储架构,写入性能十分优异,一直是人们研究和改进键值型数据库性能的基准线。本文首先对LevelDB的整体结构做了剖析,并以LevelDB中的重要数据结构和读写操作为轴线,详细分析了LevelDB如何实现快速存取的目标。本文接着对当前以LevelDB为代表,基于LSM树存储结构的数据库改进做了深入调查和分类,在对已有技术分析的基础上,指出了非关系型数据库未来可能的研究方向。