时序数据库关键技术综述

随着工业物联网(industrial Internet of things,IIoT)的不断发展,越来越多的设备和传感器开始连接到网络中,产生了大量的时间序列数据(简称“时序数据”),时序数据爆炸式的增长给数据库管理系统带来了新的挑战:持续高吞吐量数据摄取、低延迟多维度数据查询、高性能时间序列索引以及低成本数据存储.近年来时序数据库技术已经成为一个研究热点,一些学者对时序数据库技术进行了深入的研究,同时出现了一些专门用于管理时序数据的时序数据库,并且已经被应用在多个领域,成为工业物联网中不可缺少的关键组成.现有的时序数据库相关综述侧重于时序数据库的功能和性能比较,以及在特定领域中对时序数据库的选择建议,缺少对时序数据库持久化存储、查询、计算和索引等关键技术的研究,同时这些综述工作出现的时间较早,缺少对现代时序数据库关键技术的研究.对学术界时序数据存储研究和工业界时序数据库进行了全面的调查和研究,凝练了时序数据库的4类关键技术:1)时间序列索引优化技术;2)内存数据组织技术;3)高吞吐量数据摄取和低延迟数据查询技术;4)海量历史数据低成本存储技术.同时分析总结了时序数据库评测基准.最后,展望了时序数据库关键技术在未来的发展方向.

一种统计特征保持的时序数据库水印方案

数据库水印是保护数据库版权最有效的方法之一。然而,传统的数据库水印有一个潜在的缺点:水印的嵌入会改变数据的分布,从而影响数据库的使用和分析。考虑到大多数分析都是基于目标数据库的统计特征,保持统计特征的一致性是确保数据库可分析性的关键。由于统计特征分析往往是分组进行的,与传统的关系数据库相比,时序数据库(TSDBs)具有明显的时间分组特征,更具有分析价值。因此,本文提出了一种鲁棒的时序数据库水印算法,有效地保证了统计特征的一致性。基于TSDBs的时间分组特征,提出了一种基于线性回归、误差补偿和水印验证的三步水印方案RCV。根据线性回归模型和误差补偿的特性,该方案可以生成一组具有相同统计特征的数据。然后,基于验证机制对生成的数据进行验证,直到它可以传递目标的水印消息为止。与现有方法相比,该方法具有更好的鲁棒性和保持统计特征不变的能力。

时序数据库在航天型号试验数据管理中的应用

通过分析航天领域现有型号试验数据的特点,发现传统关系型数据库已不能满足日益激增的海量试验数据的存储与管理需求。针对现有试验数据量级大、写入吞吐低、访问效率差等特点,提出了一种基于时序数据库的试验数据存储管理方法。通过在传统关系型数据库与时序数据库中对型号试验数据的读写性能进行对比分析,发现基于时序数据库的数据写入与数据查询性能均明显优于关系型数据库,且具有快速存储、快速读取功能。将该方法应用于试验数据管理系统和数据处理显示与分析系统,能够满足系统对试验数据处理的实时写入、快速读取等需求。

IoTDB时序数据库在农业物联网中的应用

随着物联网技术的快速发展,农业物联网已成为现代农业的重要发展方向。在农业物联网中,时序数据库作为数据处理的关键环节,其重要性不言而喻。为提高农业物联网中各种传感器数据存储、查询、分析的性能,文章提出一种基于IoTDB的农业物联网数据管理架构。

基于时序数据库的海洋装备监控数据存储系统

目前在海洋装备上通常使用关系数据库存储海量监控数据,存在空间占用大、查询性能差的问题。文章提出了基于时序数据库的海洋装备监控数据存储解决方案,并基于国产数据库TDEngine完成了系统工程实现,实现了监控数据的自动建表、自动存储以及快速可视化。经测试表明,该系统的数据压缩和查询性能相比于传统关系型数据库具有明显优势,为解决海洋装备海量监控数据存储的难题提供了良好的解决方法。

面向异常检测的时序数据库查询优化

随着物联网的发展,大量传感器设备被接入网络,这些设备所产生的数据的异常检测关系到系统服务的稳定性.时序数据库是专门为时序数据优化的数据库系统.作为监控系统的重要环节,时序数据库担负着时序数据的管理和查询任务.但目前时序数据库在处理多个数据源数据的查询上存在着延迟高、没有充分利用系统计算资源的缺点.针对上述缺点,基于InfluxDB,重新设计了时序数据库的查询执行模型,提出了InfluxDB-PP (parallel processing),很好地解决了上述问题.实验结果表明, InfluxDB-PP在实时数据异常查询场景下,查询时延相较于InfluxDB降低了约85.7%.

基于机载时序数据库的数据管理方案

随着航空机载产品复杂化、集成化、智能化的发展,机载数据急剧增加,对机载数据管理与应用带来巨大挑战。针对当前航空机载数据日益增长的管理与应用需求,提出了一种基于机载时序数据库的数据管理方案,构建机载数据统一存储模型,使机载各类设备与传感器产生的孤立数据更有层次、有组织地关联起来;同时,完善机载数据管控机制,基于机载数据库技术,对数据进行实时解析,从而降低机载数据地面处理耗时,进一步提升机载数据的分析与应用效能。

基于云计算的智能电网时序数据库自动化运维方法

传统智能电网时序数据库自动化运维方法主要采用虚拟化技术建立运维体系实现自动化运维,无法彻底清除价值低的数据,导致运维效率较低。因此,提出基于云计算的智能电网时序数据库自动化运维方法。通过采集时序数据,利用云计算技术对采集的数据进行分割,清除低价值数据,保留高价值数据,采用频繁项模式进一步提取分割数据的关联性规律,基于关联性规律通过优化时序数据库及设置置信度与支持度,完成自动化运维过程。在实验论证中,对所提方法的性能进行测试,结果表明,设计的方法的自动化运维效率更高。

基于时序数据库的电力运维系统关键技术研究

分析电力运维系统的需求,实现对配用电一次、二次设备的运维检修管理,包括运行维护管理、故障诊断与处理、运行维护信息、检修管理、运检流程管理等;系统客户端采用html+bootstrap建立前端平台,以Rest API方式提供运维应用服务,服务器端由Node.JS和时序数据库共同构建分布式服务作为运维数据服务支撑平台;系统可有效提升电力运维效率,控制电力设备异常事件数量,提高电力运维集约化水平,保障电力系统基础设施的安全、连续、可靠运行。

时序数据库中相似序列的挖掘

1 引言时间序列是指按时间顺序取得的一系列观测值,这里的“时间”具有广义坐标轴的含义,既可以指按时间的先后顺序排列的数据,也可以指按空间的前后顺序排列的随机数据。从经济到工程技术,从天文到地理和气象,几乎在各种领域都会遇到时间序列。例如某地区的逐月降雨量,其实际记录结果,按月份先后排列,便是一个时间序列。在科技飞速发展的今天,越来越多的时间序列信息被存储在计算机上,例如证券公司的计算机积累了大量的股票信息,商场的POS系统搜集了大量的销售信息,人造卫星观测的气象信息和科学仪器所检测到的大量生物、地矿等信息也都被存储在计算机上。

基于信息论网络的时序数据库挖掘

介绍了如何对时序数据库进行数据库挖掘,其中包括数据预处理,识别重要的预测属性,提取相应的关联规则。文章采用的是基于信号处理和信息论网络的方法,并使用模糊和集成的概念来简化规则库。

基于influxDB的工业时序数据库引擎设计

工业时序数据具有测点多、采样频率快、读取性能要求高等特点。influxDB提出时间结构合并树TSM,解决了数据的读写性能优化问题,并针对整数、浮点数、布尔、字符串、时间五种数据类型采用不同的压缩算法。它在读写性能、存储空间占用方面取得了较好的效果,在开源时序数据库软件中排名第一。针对influxDB元数据结构相对于工业时序数据过于复杂的问题,提出简化后的TSM文件结构,开发工业时序数据库的引擎,并进行了读写性能测试。结果显示,该引擎一次5万点整型数据写入平均耗时约310 ms,读取1 000点共计100万条数据耗时约626 ms,并且具有很大的性能提升潜力。

时序数据库在海量地震波形数据分布式存储与处理中的应用初探

通过分析时序数据库的技术特点和海量地震数据存储和处理的需求,设计和实现了基于时序数据库的地震波形数据存储和处理系统。经过开发、测试和应用比较,新的地震时序数据库系统具有高可用、实时存储吞吐量大、历史数据压缩率高、分布式处理速度快等优势,能够较好地解决地震波形数据体量激增带来的存储和处理困难问题。

基于时序数据库的工业大数据应用研究

在“中国制造2025”和德国“工业4.0”合作对接的背景下,对企业在设计、制造、销售、运维、管理等流程产生的工业大数据的分析与应用,驱动着传统企业迈向智能制造的转型与升级。设计并实现基于时序数据库的工业大数据存储管理系统,完成对工业时序数据的可视化展示和处理,能够弥补传统数据库在时序数据存储和分析上的不足,实现数据的高效存储与分析,通过挖掘时序数据与运作管理、制造过程、产品质量、营销等数据之间的关系,从而提高设备利用率。

时序数据库中的数据挖掘研究

时序数据库中的某个字段的值是随着时间而不断变化的,例如股票价格每天的涨跌、浏览网页的次序等。文章运用数据挖掘的方法来对这些数据库进行趋势分析、时序分析、序列模式挖掘以及周期分析。

基于时序逻辑的时序数据库中知识发现方法

知识发现是一个众多学科诸如人工智能、机器学习、模式识别、统计学、数据库和知识库、数据可视化等相互交叉、融合所形成的一个新兴的且具有广阔应用前景的领域。目前国际上对知识发现的研究与开发进展很快。众多现实世界(如天气预报、电信、金融)的数据库中数据都是随时间变化的,即数据具有时序性。目前,时序数据库中的知识发现问题正逐渐引起KDD研究者的兴趣。

从时序数据库中挖掘频繁部分周期模式的高效算法

从时序数据库中挖掘周期模式是重要的数据任务 ,而部分周期仅关心所有时间点中的一个子集的周期行为 ,它在现实世界中广泛存在 .本文提出了一个新颖的基于前缀图的挖掘频繁部分周期模式的算法 ,并通过实验证明了该算法在执行效率上比现有的挖掘频繁部分周期模式的算法有较大提高 .

时序数据库中序列模式的采掘方法

文章讨论了几种序列模式的采掘方法 ,并对这些方法进行了比较、分析 ,最后归纳出其优缺点及其不同使用范围 ,以对选用序列模式者提供参考。

基于时序数据库的转移规则挖掘算法研究

转移规则挖掘算法的提出对于关联挖掘算法等原有数据挖掘算法做了重要补充。然而,目前的转移规则挖掘算法由于选取挖掘对象的不当,往往使转移规则缺乏代表性,导致规则无参考价值。在分析原有转移规则挖掘方法不足的基础上,提出了两种改进的方法:基于关联挖掘的转移规则发现和基于概率关系数据模式的转移规则挖掘,并把这两种方法和现有的转移规则挖掘算法融合到一起,构造一个更为有效和可行的新的基于时序数据库的转移规则挖掘算法。

基于时序数据库的无人船信息管理系统设计与性能测试

[目的]近年来,无人船技术及产业发展迅速,装备应用前景广阔。解决长航时无人船海量信息管理问题的需求日益迫切。[方法]针对无人船电子信息系统中6种类型数据的特点,构建基于时序数据库的无人船信息管理系统拓扑及数据流动模型,并设计一套适用于无人船信息管理系统的性能测试方法。[结果]经测试表明,该无人船信息管理系统能够满足无人船运行对信息管理的需求,且相比于传统关系型数据库,其压缩性能提高约10%,检索及聚合分析性能更为优异,具有较高的通用性。[结论]该系统为解决长航时无人船信息存储与通信传输难题提供了良好的解决方法。