时序数据库关键技术综述

随着工业物联网(industrial Internet of things,IIoT)的不断发展,越来越多的设备和传感器开始连接到网络中,产生了大量的时间序列数据(简称“时序数据”),时序数据爆炸式的增长给数据库管理系统带来了新的挑战:持续高吞吐量数据摄取、低延迟多维度数据查询、高性能时间序列索引以及低成本数据存储.近年来时序数据库技术已经成为一个研究热点,一些学者对时序数据库技术进行了深入的研究,同时出现了一些专门用于管理时序数据的时序数据库,并且已经被应用在多个领域,成为工业物联网中不可缺少的关键组成.现有的时序数据库相关综述侧重于时序数据库的功能和性能比较,以及在特定领域中对时序数据库的选择建议,缺少对时序数据库持久化存储、查询、计算和索引等关键技术的研究,同时这些综述工作出现的时间较早,缺少对现代时序数据库关键技术的研究.对学术界时序数据存储研究和工业界时序数据库进行了全面的调查和研究,凝练了时序数据库的4类关键技术:1)时间序列索引优化技术;2)内存数据组织技术;3)高吞吐量数据摄取和低延迟数据查询技术;4)海量历史数据低成本存储技术.同时分析总结了时序数据库评测基准.最后,展望了时序数据库关键技术在未来的发展方向.

一种统计特征保持的时序数据库水印方案

数据库水印是保护数据库版权最有效的方法之一。然而,传统的数据库水印有一个潜在的缺点:水印的嵌入会改变数据的分布,从而影响数据库的使用和分析。考虑到大多数分析都是基于目标数据库的统计特征,保持统计特征的一致性是确保数据库可分析性的关键。由于统计特征分析往往是分组进行的,与传统的关系数据库相比,时序数据库(TSDBs)具有明显的时间分组特征,更具有分析价值。因此,本文提出了一种鲁棒的时序数据库水印算法,有效地保证了统计特征的一致性。基于TSDBs的时间分组特征,提出了一种基于线性回归、误差补偿和水印验证的三步水印方案RCV。根据线性回归模型和误差补偿的特性,该方案可以生成一组具有相同统计特征的数据。然后,基于验证机制对生成的数据进行验证,直到它可以传递目标的水印消息为止。与现有方法相比,该方法具有更好的鲁棒性和保持统计特征不变的能力。

基于时序数据库的煤矿数据中台研究与应用

随着各种物联网传感器设备在煤矿的快速推广使用,海量监测监控数据形成了爆发式的增长态势,在提升智能化矿山建设水平的同时,也为数据快速采集与高效存储带来了更大挑战。通过分析煤矿时序数据的特点,对比多种数据存储方案和不同时序数据库之间的性能差异,提出了基于TDengine时序数据库的煤矿数据中台架构,设计了煤矿时序数据超级表结构。现场工业性试验表明,面对海量监测监控数据的应用需求,时序数据库相比关系数据库具有更高的存储效率和更快的查询速率,为智能化矿山建设提供了更有力的数据支撑。

时序数据库在航天型号试验数据管理中的应用

通过分析航天领域现有型号试验数据的特点,发现传统关系型数据库已不能满足日益激增的海量试验数据的存储与管理需求。针对现有试验数据量级大、写入吞吐低、访问效率差等特点,提出了一种基于时序数据库的试验数据存储管理方法。通过在传统关系型数据库与时序数据库中对型号试验数据的读写性能进行对比分析,发现基于时序数据库的数据写入与数据查询性能均明显优于关系型数据库,且具有快速存储、快速读取功能。将该方法应用于试验数据管理系统和数据处理显示与分析系统,能够满足系统对试验数据处理的实时写入、快速读取等需求。

基于时序数据库与发布订阅机制的环境试验数据处理平台

针对航天领域技术进步及型号任务激增导致的环境试验数据种类与规模庞大、数据源分散,数据处理软件开发耗时且风格不统一,因而不同型号之间环境试验数据难以统一管理、数据处理功能分散的问题,开发了基于时序数据库与发布订阅机制的环境试验数据处理平台。该平台利用时序数据库对分散的海量环境试验数据进行统一存储与管理,实现了大规模数据的高效写入与访问;通过发布订阅机制实现了实时数据的快速展示;通过综合汇总不同型号对数据处理的需求,实现了环境试验数据通用化解析、数据处理与判读、文本导出和报告生成等多种业务功能。最后对环境试验数据处理平台的实施效果进行展示,证明了其具备良好的工程实用性。

基于时序数据库的海洋观测预报平台研发

为满足信息化时代海洋观测预报和防灾减灾工作需求,利用实时数据采集、时序数据库、三维可视化等技术研发了海洋观测预报预警三维可视化平台。该平台可实时掌握潮位、海浪、海流等观测和预报信息,实现海洋数据的三维动态渲染,并利用可视化技术进行展示。将发布的风暴潮、海浪专报和预警报与台风等海洋自然灾害历史数据进行对比分析,为海洋风险分析与灾害预警提供决策依据。该平台已在深圳市成功落地,实时接入和管理海洋观测预报数据近20亿条,为深圳市水文、气象、应急等部门提供了海洋预警报与灾害防治信息化支撑。

基于回溯搜索的电力时序数据库集群拓展方法

现有的电力时序数据库集群拓展方法拓展响应时间较低,导致集群效率较差,因此基于回溯搜索研究了一种新的电力时序数据库集群拓展方法。通过数据库集群搜索拓扑结构的邻接矩阵,计算电力数据库中关联性较高的数据拓扑结构,直接明确数据搜索的目标,缩小数据搜索可确定的范围。针对搜索拓扑内的电力数据,采用回溯搜索算法中的分层回溯原则,为数据库集群内数据搜索行为增加约束条件。根据开关矩阵判断数据节点之间的关系,实现电力时序数据库的集群拓展。实验结果表明,基于回溯搜索的电力时序数据库集群拓展方法的拓展响应时间低于0.5 s,集群效率在98%以上。

IoTDB时序数据库在农业物联网中的应用

随着物联网技术的快速发展,农业物联网已成为现代农业的重要发展方向。在农业物联网中,时序数据库作为数据处理的关键环节,其重要性不言而喻。为提高农业物联网中各种传感器数据存储、查询、分析的性能,文章提出一种基于IoTDB的农业物联网数据管理架构。

时序数据库在高校服务器监控中的应用

随着高校信息化的迅猛发展,高校数据中心日常维护工作变得愈发繁杂,文章通过分析现有服务器监控的现状,发现现有监控系统并不适合高校信息系统。文章结合高校信息化现状,提出基于时序数据库的分布式监控方案,实现了高校服务器、业务系统的监控及告警,降低了系统运维人员的工作复杂度、工作难度和工作量,提升管理人员的管理效率。

基于云计算的智能电网时序数据库自动化运维方法

为提升智能电网时序数据库自动化运维效率,以云计算技术为基础,提出一种新型智能电网时序数据库自动化运维方法。经仿真试验证实:基于云计算的自动化运维技术可有效清除低价值数据,大幅提高智能电网时序数据库的自动化运维效率。

基于时序数据库的能耗监测系统设计

随着能源短缺和环境问题的日益严重,关于工业能耗的有效监测和管理变得越来越重要。文章提出了一种基于时序数据库的能耗监测工业互联网系统,在对大量能耗数据进行实时且高效的收集、存储和分析的同时,通过数据可视化技术呈现具体结果,便于工业企业直观、及时地发现设备能耗的异常情况。工业现场运行测试结果表明,该系统具有良好的实时性、稳定性和兼容性,为能耗监测和管理提供了有效的解决方案。

基于时序数据库的海洋装备监控数据存储系统

目前在海洋装备上通常使用关系数据库存储海量监控数据,存在空间占用大、查询性能差的问题。文章提出了基于时序数据库的海洋装备监控数据存储解决方案,并基于国产数据库TDEngine完成了系统工程实现,实现了监控数据的自动建表、自动存储以及快速可视化。经测试表明,该系统的数据压缩和查询性能相比于传统关系型数据库具有明显优势,为解决海洋装备海量监控数据存储的难题提供了良好的解决方法。

面向异常检测的时序数据库查询优化

随着物联网的发展,大量传感器设备被接入网络,这些设备所产生的数据的异常检测关系到系统服务的稳定性.时序数据库是专门为时序数据优化的数据库系统.作为监控系统的重要环节,时序数据库担负着时序数据的管理和查询任务.但目前时序数据库在处理多个数据源数据的查询上存在着延迟高、没有充分利用系统计算资源的缺点.针对上述缺点,基于InfluxDB,重新设计了时序数据库的查询执行模型,提出了InfluxDB-PP (parallel processing),很好地解决了上述问题.实验结果表明, InfluxDB-PP在实时数据异常查询场景下,查询时延相较于InfluxDB降低了约85.7%.

基于机载时序数据库的数据管理方案

随着航空机载产品复杂化、集成化、智能化的发展,机载数据急剧增加,对机载数据管理与应用带来巨大挑战。针对当前航空机载数据日益增长的管理与应用需求,提出了一种基于机载时序数据库的数据管理方案,构建机载数据统一存储模型,使机载各类设备与传感器产生的孤立数据更有层次、有组织地关联起来;同时,完善机载数据管控机制,基于机载数据库技术,对数据进行实时解析,从而降低机载数据地面处理耗时,进一步提升机载数据的分析与应用效能。

基于云计算的智能电网时序数据库自动化运维方法

传统智能电网时序数据库自动化运维方法主要采用虚拟化技术建立运维体系实现自动化运维,无法彻底清除价值低的数据,导致运维效率较低。因此,提出基于云计算的智能电网时序数据库自动化运维方法。通过采集时序数据,利用云计算技术对采集的数据进行分割,清除低价值数据,保留高价值数据,采用频繁项模式进一步提取分割数据的关联性规律,基于关联性规律通过优化时序数据库及设置置信度与支持度,完成自动化运维过程。在实验论证中,对所提方法的性能进行测试,结果表明,设计的方法的自动化运维效率更高。

数据库中多源异构异常数据清洗方法

常规的数据库中多源异构异常数据清洗,主要采用数据特征相似度值计算的方法进行,忽略了数据特征时序关联性对异常数据识别的影响,导致异常数据清洗结果的查全率较低.因此,提出基于时序关联和密度聚类算法的数据库中多源异构异常数据清洗方法,对数据库中多源异构数据进行去噪、归一化的预处理,计算处理后的数据特征时序关联度,空间反馈后,基于密度聚类算法对数据聚类密度进行计算,识别出异常数据,求解异常数据缺失部分并填补,完成异常数据的清洗.实验结果表明:应用所提方法得出的异常数据清洗结果,表现出的查全率较高,均值可达0.94,可靠性较高,满足了数据库中多源异构异常数据清洗的现实需求.

基于时序数据库的电力运维系统关键技术研究

分析电力运维系统的需求,实现对配用电一次、二次设备的运维检修管理,包括运行维护管理、故障诊断与处理、运行维护信息、检修管理、运检流程管理等;系统客户端采用html+bootstrap建立前端平台,以Rest API方式提供运维应用服务,服务器端由Node.JS和时序数据库共同构建分布式服务作为运维数据服务支撑平台;系统可有效提升电力运维效率,控制电力设备异常事件数量,提高电力运维集约化水平,保障电力系统基础设施的安全、连续、可靠运行。

时序数据库中相似序列的挖掘

1 引言时间序列是指按时间顺序取得的一系列观测值,这里的“时间”具有广义坐标轴的含义,既可以指按时间的先后顺序排列的数据,也可以指按空间的前后顺序排列的随机数据。从经济到工程技术,从天文到地理和气象,几乎在各种领域都会遇到时间序列。例如某地区的逐月降雨量,其实际记录结果,按月份先后排列,便是一个时间序列。在科技飞速发展的今天,越来越多的时间序列信息被存储在计算机上,例如证券公司的计算机积累了大量的股票信息,商场的POS系统搜集了大量的销售信息,人造卫星观测的气象信息和科学仪器所检测到的大量生物、地矿等信息也都被存储在计算机上。

主动数据库的时序事件代数

通过引入一元时序算子 ,表达事件之间任意复杂的相对次序关系 ,在此基础上重新定义了描述复合事件的时序事件代数 ,并证明了该事件代数良好的数学性质 .不仅增强了事件描述语言的描述能力 ,也为处理规则执行的合流性提供了新的方法 .

时序数据库在海量地震波形数据分布式存储与处理中的应用初探

通过分析时序数据库的技术特点和海量地震数据存储和处理的需求,设计和实现了基于时序数据库的地震波形数据存储和处理系统。经过开发、测试和应用比较,新的地震时序数据库系统具有高可用、实时存储吞吐量大、历史数据压缩率高、分布式处理速度快等优势,能够较好地解决地震波形数据体量激增带来的存储和处理困难问题。