基于访问趋势预测的时间序列数据库缓存管理研究

针对短时间内突发访问大量时间序列数据,查询效率低的难题,提供基于访问趋势预测的时间序列数据库缓存管理方法,在常规数据库提供数据访问缓存的基础上,建立时间序列数据库双缓存机制;在常规缓存之外增加一块预测数据缓存,用于预测访问数据的预加载,以便在数据访问前将其载入内存,加快查询速度。时间序列数据库数据缓存管理方法通过对近期访问数据进行分析,预测数据访问趋势,再对预测数据进行加载,从而提高时间序列数据库数据查询效率。

基于模糊时间序列的传感器网络感知数据预测模型

传感器网络监控系统属于大型复杂系统,由感知节点以一定的时间间隔向sink节点发送感知数据,以实现对应用环境的监控。由于网络本身及应用环境的影响,得到的感知数据往往存在不确定性。此外,周期性报告数据模式影响到实时监控数据的精确性。本文应用时间序列模型预测传感器数据以响应用户查询,可有效降低网络通信量。通过对无线传感器网络的数据分析,引入多属性模糊时间序列预测模型,充分考虑了无线传感器网络时间序列中存在的趋势因素,并提出了适合于传感器网络的修正预测模型。实验结果表明模糊时间序列模型可有效预测传感器网络数据,且能提高预测精度。

面向聚合查询的Apache IoTDB物理元数据管理

时间序列数据在能源、制造、金融、气候等领域有着广泛应用,聚合查询是相关分析场景中常见的查询需求,快速获取海量数据的概要信息,对于提高数据分析工作的效率具有重要意义.通过存储元数据加速聚合查询是一种有效的提升聚合查询执行效率的手段,但现有的时间序列数据库都使用时间窗口切分数据,需要对数据进行实时排序和分区,难以适应物联网场景下高并发、大吞吐量的数据写入特点.因此,提出了一种面向聚合查询的ApacheIoTDB物理元数据管理方案.该方案按照数据文件的物理存储特性切分数据,并结合同步计算和异步计算策略,优先保证数据的写入性能.针对时间序列数据中普遍存在的乱序数据,将时间范围重叠的一组文件抽象为乱序文件组并提供元数据,聚合查询会被重写为3个结合物理元数据和原始数据的子查询高效执行.多个数据集上的实验验证了该方案对聚合查询执行效率的提升效果以及不同计算策略对性能的影响.

基于移动代理的移动客户机缓存管理

移动客户端缓存管理是移动数据库的关键技术之一,分布式数据库缓存管理技术不适用于移动数据库。和传统的分布式数据库技术相比,移动代理有很多优点。基于移动代理技术,建立了一个移动容广机缓存管理(CCM)模型并将其实现(CCM_BM)。在模拟的移动计算环境下,通过实验,测试了该原型在支持断接操作和响应时间方面的性能。

基于TSDB的船舶风险管理系统的数据预处理

针对传统数据库自身存在结构复杂、写入存储速率慢,导致无法大量写入实时数据及其数据预处理机制无法满足实时数据准确显现的缺陷,将时间序列数据库(TSDB)引入船舶风险管理系统中,同时提出基于三次指数平滑法(Holt-Winters算法)的数据预处理方法。首先通过数据解析与筛选,将异常数据剔除,然后通过Holt-Winters算法对缺失数据进行平滑处理。结果表明,引入TSDB数据库,同时使用基于Holt-Winters算法的数据预处理方法,能有效地提高数据的稳定性与准确性。

大型地区电网调度控制系统海量历史数据处理技术

随着电网规模扩大和集约化运行管理体系的建设,地区电网调度控制系统监控范围急剧增加,传统以商用数据库为基础的历史数据管理技术和早期使用时间序列数据库的历史数据管理技术已不能满足大型地区电网调度运行和各类应用深化拓展的需要。结合商用数据库、文件系统,以时间序列数据库为重要存储手段的海量历史数据处理技术能很好地解决上述问题。文中首先介绍了以时间序列数据库为核心的历史数据管理体系架构,然后阐述了解决大容量、高效率、高可靠问题的关键技术,紧接着介绍了部分依赖历史时序数据的深化应用。该技术已成功应用于苏州电网调度控制系统,它很好地适应了"大运行"的要求,提升了地区电网调度运行水平,为地区智能电网建设提供了有力的技术支撑。

电力系统EMS数据备份方案

数据备份是任何自动化系统在设计之初就必须考虑的项目。能量管理系统(EMS)对备份的数据量、备份的版本、备份及恢复的时间有其特殊的需求,而常用的商用备份工具不能满足EMS的运行需求,同时,目前的商用备份软件不支持时间序列数据库。文中对电力系统EMS数据备份方案进行研究,制定出一套符合电力系统安全生产要求的备份及恢复策略,并已在南方电网网调EMS中投入实际运行。

面向CRM的数据挖掘应用

客户关系管理(CRM)已成为目前企业决策管理的重要部分,而数据挖掘技术为客户关系管理的实施提供了良好的支持。本文简要介绍了常用数据挖掘技术在客户关系管理中的应用。

一个建立在Intranet上的金融MIS系统

为了实现利润最大化的经营目标，商业银行不仅要注重经营，还要注重管理，要及时、准确、直观地提供经营信息，据此分析银行内部业务及其流程的合理性，完善各类指标分析体系，特别是要完善和优化以资产负债比例管理为核心的信息管理系统和决策支持系统，掌握信息，控制风...