BOOM-KV:基于RDMA的高性能NVM键值数据库

随着英特尔傲腾数据中心持久化内存模块(DCPMM)开始进入市场以及远程直接内存访问(RDMA)硬件成本的降低,设计融合非易失性内存(NVM)和RDMA的键值(KV)数据库面临新的机遇和挑战。构建基于NVM和RDMA的KV数据库的关键在于设计一个高效的通信协议。遗憾的是,现有工作或采用NVM不感知的RDMA协议,或采用低效的NVM感知的RDMA协议,这导致它们无法最大化KV数据库的性能。本文提出了BOOM协议——一种新型的NVM感知的RDMA协议。相较于NVM不感知的协议,BOOM协议允许直接对远端NVM进行RDMA操作,消除了冗余的数据拷贝;相较于现有的NVM感知的协议,它可以显著减少元数据请求,降低KV请求的端对端延迟。在BOOM协议的基础上构建了BOOM-KV,并针对服务端中央处理器(CPU)利用率和宕机持久化等问题进一步进行优化。将BOOM-KV与最新的研究成果进行对比,结果表明,BOOM-KV能显著降低请求延迟,其中PUT延迟最大降低了42%,GET延迟最大降低了41%,并且展现出良好的扩展性。

键值数据库中弱一致性数据存储优化技术

当前数据库中弱一致性数据维护方法存在读写性能低、集群性能差的问题。为此,提出一种键值数据库中弱一致性数据改进方法。采用数学归纳法建立Hash值空间的上下限,利用哈希函数对数据库中的冗余数据进行优化;在此基础之上,通过建立未知弱数据和己知弱数据之间的回归预测模型,同时利用BP网络算法对数据迁移中的缺失数据进行采集,以保证数据的一致性。实验结果显示,与传统方法相比,其读写性能更好;且对数据块越大,吞吐量越提升。

基于本地化差分隐私的键值数据关联分析

在群智感知系统中,从分布式数据源中持续收集和分析数据可以为先进的数据挖掘模型提供决策支持。由于数据中可能包含个人相关的信息,数据的采集和分析过程中通常伴随着隐私泄露的风险。本地化差分隐私作为先进的隐私保护方案可在用户的隐私性和数据的可用性之间提供较好的权衡。当前,键值数据作为异构类型数据,其同时含有分类数据和数值数据,基于本地化差分隐私在多维度下对键值数据进行关联分析面临着一定的挑战。针对隐私保护前提下键值数据的发布和关联分析问题,首先定义了键值数据的频率关联和均值关联问题,然后提出了适用于键值对的索引独热编码,为键值数据提供本地化差分隐私保护,最后在扰动的数据上对键值数据进行关联分析。基于仿真数据集和真实数据集的实验和理论分析验证了所提方案的有效性。

不确定性键值对数据模型及改进Top-k查询算法

现有基于可能世界建模的Top-k算法难以适应大数据量和键值对(Key-Value)数据模型下的不确定性Top-k查询.研究首先建立了不确定性Key-Value数据模型;随后在已有U-TopK查询语义的基础上,提出了优化的EU-TopK(Early Terminated Uncertain Top-k Query)算法,该算法优先建立以最可能的Top-k元组为树根的可能世界树形结构,并利用两种优化策略来优化算法,降低了元组访问深度,使得该算法在时间复杂度上较原算法有所改进.此外采用MapReduce实现EU-TopK算法,使EU-TopK能够适应大数据分析.最后,通过实验验证EU-TopK算法功能性,并对其查询时间、扫描深度进行评价.

Vantage Pro气象站实时数据采集与在MUSER中的应用研究

我国明安图射电频谱日像仪(Mingantu Ultrawide Sp Ectral Radio Heliograph,MUSER)已经完成所有的硬件设备安装与调试,即将进入常规观测。为有效地保证观测数据的可用性,项目组购置了Vantage Pro自动气象站,用以实时监控观测地的气象条件变化。首先介绍了MUSER项目的基本情况,论述了在项目中气象条件的应用场景及在数据处理时对数据有效性可能造成的影响;详细介绍了Vantage Pro气象站的数据采集格式、数据交换格式以及串行通信协议;介绍了在气象数据的存储方式;最后给出了构建气象数据服务、数据归档和高效查询的方法。可以应用在望远镜自动气象监控和数据处理方面,也可以为选址的自动气象监测提供参考。

NoSQL数据库技术在嵌入式装置中的应用

在互联网+创新背景下,用信息化技术的成果改造和提升传统的自动化设备,具有重要的前景。NoSQL数据库泛指非关系型数据库,是大数据时代的热点。该文在NoSQL数据库技术基础上,设计实现了一种适合在嵌入式装置中运行的实时数据库。从数据对象的描述,对象的存储和索引,对象的查找、遍历、增删改操作,消息总线中通知的注册和发送四个方面,介绍了数据库的组成,内存的使用,双哈希索引的构成,命令及消息传递机制等。该实时数据库可以完成数据对象的灵活定义和高效访问,进而实现各种自动化功能。

基于直方图的隐私键-值数据收集算法

基于本地差分隐私的用户数据收集与分析算法已延伸到了键值数据类型.然而,该类数据值域大小与稀疏性以及本地扰动机制直接制约着收集与分析精度.针对现有机制难以有效应对该类数据收集的不足,提出了一种基于直方图技术的有效收集与分析算法HISKV(histogram-based key-value data collection),该算法首先结合用户分组策略寻找最优截断长度,利用最优截断抽样技术处理值域过大与稀疏性问题,然后结合截断结果随机抽取单个键值对进行离散化处理.针对离散化结果,设计一种高效的本地扰动机制LRR_KV(local random response for key-value data),该机制结合具体的键分配不同的本地扰动概率.每个用户利用LRR_KV机制扰动离散化的键值对之后发送给收集者,收集者结合用户的报告值对每个键的频率及其值所对应的均值进行估计.理论分析了HISKV算法的无偏性、所产生的方差以及最大偏差,并与现有的键值收集算法在真实与合成的数据集上进行比较,实验结果表明HISKV算法优于同类算法.

基于非关系数据库的全球时空大数据组织管理研究

为了解决多类型、多尺度、多时相的全球时空大数据的高效组织管理问题,针对传统数据存储管理技术的限制,基于非关系数据库技术,围绕全球时空信息的无缝组织,非关系存储和分布式管理,提出了全球多源时空大数据的无缝组织与管理解决方案。首先分析了非关系数据库技术的特点,以及当前主流海量空间数据组织技术的局限性;然后基于等经纬度格网剖分模型,采用分级组织、分块存储的技术,构造了多分辨率金字塔,结合非关系数据库技术特点,设计了瓦片化数据和键值对数据这两类数据结构的组织管理框架,并探讨了该方案在网络环境下的非关系数据库分布式组织管理机制;最后基于开源非关系数据库MongoDB构建了原型系统,对比实验表明本文方法比基于关系数据库的管理方法在管理效率上有大幅提升。

面向不可变存储环境的近似成员查询二级索引

键值存储系统得益于优异的写入性能被广泛应用于各种Web应用。主流的键值存储系统多利用布隆过滤器优化非主键查询性能,而该方法存在查询效率受数据段数量影响和误判引发的多余数据段访问可能性等不足。为了进一步优化键值系统分析处理的查询能力,针对一次写多次读的数据访问特征,提出了新型二级索引。通过构建全局索引,避免了多过滤器探测引发的查询延迟提高。此外,提出了预探测递归驱逐策略,优化了索引构建效率。与传统方法相比,该索引处理存在数据项查询时能够返回完全正确的数据段编号序列。进一步,该索引基于逻辑链的范围查询方案实现了范围查询。实验结果验证了索引结构的有效性。与基线结构相比,该索引的查询性能提升了约10~50倍。

基于树莓派的“魔”镜设计与实现

运用树莓派作为平台,利用各类传感器作为信息获取的载体,以Python和Java语言作为开发工具,借助MQTT、JSON、Spring Boot等关键技术,设计一套智能家居产品“魔”镜,实现了软件与硬件的有机结合。测试结果表明,相对于传统镜子,该“魔”镜系统能够稳定地实现界面信息呈现、实时监控、语音交互等功能,能够较好地为用户提供如新闻资讯、天气预报、环境监测等服务。

基于轻型目录访问协议的电力系统对象注册中心

当前,电网各专业系统对象命名和编码的方式存在差异,导致不同系统间交互困难。提出并实现了一种基于轻型目录访问协议(lightweight directory access protocol,LDAP)的电力系统对象注册中心,对全局对象进行统一的命名和编码管理,实现电网运行中全局对象命名和编码的标准化、统一化。测试表明,基于LDAP的对象注册中心可以有效解决对象命名和编码的差异问题,并相较于传统的关系数据库,LDAP后端使用的键值对数据库在查询操作上具有更好的性能优势。

LevelDB架构与相关改进分析

键值数据库是NoSQL数据库中的一种,LevelDB作为典型的键值数据库,其底层采用LSM树作为存储架构,写入性能十分优异,一直是人们研究和改进键值型数据库性能的基准线。本文首先对LevelDB的整体结构做了剖析,并以LevelDB中的重要数据结构和读写操作为轴线,详细分析了LevelDB如何实现快速存取的目标。本文接着对当前以LevelDB为代表,基于LSM树存储结构的数据库改进做了深入调查和分类,在对已有技术分析的基础上,指出了非关系型数据库未来可能的研究方向。

基于内存数据库Redis的轻量级矢量地理数据组织

矢量地理数据的高效组织管理是空间数据应用的关键问题之一。矢量地理数据服务作为一种重要的公众空间信息服务,已经得到广泛应用。公众对矢量地理数据服务性能提出了越来越高的要求,包括实时响应、高并发、高吞吐量等。当前的矢量地理数据服务后台数据存储组织,通常基于磁盘和关系数据库,其在面对公众日益增长的需求时已经显得力不从心。本文提出了一种以内存数据库Redis的轻量级矢量地理组织方法,能在高并发情况下有效提高矢量地理数据服务性能。论文首先分析了Redis的存储机制,设计了矢量地理数据库的分层组织模型,利用Redis丰富的数据结构对矢量地理数据及其相关元数据进行存储管理,然后,以网格索引为例,设计了Redis的空间索引,最后,设计Redis的矢量数据引擎原型系统,并进行了实验验证。结果表明,Redis的矢量地理数据库显著提高了响应速度,且并发性能更好,可广泛应用于大型空间数据库前端高速缓存和高性能空间索引库。