分布式内存数据库在变电站自动化系统中的应用

针对传统数据库技术难以满足电力系统需求的情况,本文设计了一种分布式数据库(SH_MenDB),该种数据库的索引结构是在平衡二叉排序(AVL)的基础上建立的。首先,介绍了分布式数据库的概念;其次,详细分析了内存数据库的设计;再次,设计了内存数据库的系统结构;最后,通过应用事例介绍了分布式数据库(SH_MenDB)在变电站自动化系统中的服务方式。

分布式内存数据库在变电站自动化系统中应用

变电站自动化系统需要使用内存数据库对实时数据进行存取。提出采用稳定、高性能的分布式内存数据库SH_MemDB,该数据库基于构造平衡二叉排序(AVL)树建立索引结构以加快各种操作的速度和确保紧密的数据结构。介绍了内存数据库记录分配所采用的动态、静态分配相结合的方法。对于每个二维表对象系统创建了内存缓冲池链表,每个缓冲池中含有2个队列,用于分配和回收内存数据。二维表对象通过提供的应用编程接口(API)创建,并可通过结构化查询语言(SQL)操作记录。为保证多个进程可以共享实时数据库的资源,系统中以二维表为单位进行加锁操作。SH_MemDB可以通过以服务方式或守护者进程方式单独运行,并给出了SQL方式和使用API对内存数据库操作的代码。介绍了SH_MemDB服务方式的应用实例。

基于分布式内存数据库的移动对象全时态索引

针对现有移动索引仅对内存/磁盘两层结构进行优化,忽略了索引节点在内存中的缓存敏感性,提出一种基于分布式内存数据库的全时态索引结构DFTB^x树。该索引结构针对存储器Cache、内存和磁盘3层结构进行优化,根据Cache行、指令数量和TLB失配数等多个条件设计内存索引节点的大小。同时,根据磁盘数据页的大小设计历史数据迁移链节点的大小,使得Cache和内存能够一次读取索引节点和迁移链节点数据,避免多次读取数据带来的延迟。此外,构建历史数据迁移链,实现历史数据持久化,从而支持移动对象全时态索引。实验结果表明:与Bx树、Bdual树、TPR*树和STRIPES算法相比,DFTBx树具有较高的查询和更新效率。

分布式内存数据库系统的容错管理

在大数据背景下,分布式系统被企业广泛部署和应用,随着分布式系统节点规模的扩大,系统故障的概率也将随之增加,在分布式系统中引入容错机制,对提升分布式系统可用性、可靠性、可恢复性至关重要.CLAIMS系统是面向金融领域的对实时数据进行实时分析的内存数据库系统——在数据不断注入系统时,提供近实时的查询、分析任务.本文主要探讨CLAIMS系统中容错机制.依据租约机制,实现系统中异常节点的快速发现及标记(即Fail-fast).在标记异常节点之后,实现对受影响分析任务的重启(即Fail-over);对异常节点全局内存状态的恢复(即Fail-back).实验结果表明,本文所提算法能够较好地实现CLAIMS系统的容错特性.

分布式内存数据库的恢复

对分布式内存数据库的恢复进行了讨论,内容包括:转储、分布式事务提交及日志。在最后提出了一个日志生成算法,该算法针对机群式环境下的应用,对两阶段提交协议(2-Phase-CommitmentProtocol)进行了改进,有着良好的实用前景。

集成消息服务和定时通知的分布式内存数据库

作者主持研发的UniBase是同时提供数据缓存、消息服务和定时通知三种常见服务的分布式内存数据库。本文简要介绍了该产品的整体系统架构和关键实现方法。同时集成多个功能的UniBase在降低系统资源占用和项目整体成本上有着显著的优势。

数据压缩在分布式内存数据库同步中的设计与实现

智能电网的发展,一方面带来了电网运行和设备检测或监测数据的不断增多,另一方面是有限的网络通信资源影响实时数据的传输,针对该问题,本文提出在分布式内存数据库系统采用数据压缩算法来实现分布式数据的实时快速同步,使得分布式内存数据库的各个节点数据保持一致性,进而保证对全网数据进行准确分析。

一种多存储引擎Key-Value分布式内存数据库的研究与实现

可持久化的分布式内存数据库不仅可以解决内存容量的水平扩展,还可以将历史数据可持久化,这样既可达到内存高速读写性能,也满足了数据海量存储的要求。本文根据中国移动电子渠道的业务特性,在业界目前流行的分布式数据库中上做了不少调查和研究,提出了一种可挂接多存储引擎的分布式内存数据库。

适合分布式实时内存数据库的全局一致性模糊备份策略

当站点介质故障导致本地磁盘数据库和日志文件都遭受破坏的情况下,为了确保能迅速而有效地将全局数据库恢复到某个一致性状态,全局备份操作策略变得非常关键。本文提出了一个适合分布式实时内存数据库的全局一致性模糊备份策略,在此基础上给出了相应的故障恢复方法。

基于分布式内存数据的数据同步设计与实现

在变电站综合自动化系统中,需要对遥测、脉冲、遥信等实时数据进行处理,由于电力系统对这些数据的存取具有较高的实时性,因此监控系统通常会采用实时数据库进行数据的存储管理。随着监控系统需要处理数据单元的增加和机器节点数的增长,监控系统普遍采用分布式内存数据库进行实时数据的存储。分布式内存数据库的一个重要问题就是如何实现多个机器节点之间的数据更新同步,提出了利用多播和TCP实现快速有效的数据同步方式,支持灵活的组网方式,并设计了一套稳定可靠的数据传输机制,使得分布式内存数据库的各个节点的数据保持良好的一致性。

基于物联网海量数据处理的数据库技术分析与研究

随着物联网发展速度的不断加快,对海量数据处理技术也提出了更高的要求。物联网数据具有实时性、海量性与多态性、异构性等特点,因此其海量数据处理技术也具有一定的特殊性。针对物联网海量数据的新需求,本文首先对物联网数据海量性、异构性、数据多维性与数据关联性、实时性与动态化等特点进行了分析,在此基础上主要分析与研究了物联网海量数据处理的数据库技术,包括分布式内存数据库技术与分布式实时数据库技术两种。

一种实时动态数据库故障恢复策略

分布式实时内存数据库通常使用在时间关键型应用中,对这些应用而言,故障后能迅速而有效地恢复是至关重要的.首先通过分析分布式实时内存数据库故障恢复需求,给出了其恢复正确性准则.然后提出了一种基于日志的实时动态故障恢复模式RTDCRS(real-time dynamic crash recovery scheme),并证明了其正确性.RTDCRS采用了集成分区日志和短暂日志特性的实时日志模式,同时使用非易失性高速存储设备作为日志存储区,以尽可能地降低系统正常运行时日志代价.在站点故障后的恢复策略上,给出了基于分类恢复思想的动态恢复策略,以尽可能地减少故障站点停止服务的时间.性能测试结果显示,RTDCRS在事务错过截止期比率和站点停止服务时间两方面与传统的故障恢复模式相比具有明显的优越性.

内存数据索引：以处理器为核心的性能优化技术

随着单机内存容量的持续上升,内存数据库技术逐渐取代传统磁盘数据库为数据管理提供更快速的支持.本文分析了设计内存索引结构所需要考虑的基本要素;对目前的内存索引结构进行了分类总结,并分析各结构的优缺点;针对当前应用发展趋势,指出内存索引未来发展的机遇与挑战;最后介绍了我们正在研发的分布式集群感知内存数据库(CLAIMS)中的内存索引结构.

基于GemFire的海量数据计算性能实验分析

针对交通领域多源动态海量数据高性能计算的实时性、动态扩展性处理要求,提出了一种基于GemFire的分布式内存数据库实验平台。采用键值数据存储结构和分布式动态成员关系,通过加载浮动车系统的真实数据在完整的云计算架构下,进行了计算性能测试与分析。实验结果表明,平台可将千万级以上大数据量的计算时间缩短至原系统的10%以内,满足了交通物联网云平台整合利用各子系统数据资源的应用需求。

客票电子支付数据审核系统的研究

根据铁路客票电子支付业务量及复杂度,在Hadoop技术与分布式内存数据库技术相结合的基础上,提出基于规则引擎的电子支付数据审核体系,在旅客出现重复支付、支付后未出票、银行退款失败等问题时给予强有力的安全保障。通过系统测试,该数据审核机制具备提高铁路客票电子支付环节处理业务的能力,为提升旅客良好的购票体验提供了技术支持。

一种优化的T-tree索引算法

分布式内存数据库已经成为了当今数据库的研究热点,而索引能够极大地提高数据库操作的性能。T-树索引是数据库系统中广泛使用索引技术之一。在T-树的基础上设计一种新的索引结构,在处理区间查询操作时其效率有明显的提高,也能够很好地解决数据插入、删除操作所造成的数据溢出问题。

Java优化策略在铁路互联网售票系统中的应用研究

为了使铁路互联网售票系统稳定性和高效性能够得到更好的保证,结合分布式内存数据库的系统特性和铁路互联网售票系统的业务特性,对各种Java虚拟机(JVM)内存管理策略和垃圾回收机制进行了分析和研究,以余票查询业务系统模块为例对JVM参数调优过程进行了简要测试和分析,测试结果表明,优化后的系统具有更好的稳定性和高效性。

面向大规模集群的网元自动巡检系统设计与实现

如何将新建与升级改造后的网元快速纳入网元巡检系统,以及控制网元或网元组上巡检任务数量和优先级,是现有网元巡检系统中迫切需要解决的问题。为此,基于微服务(SpringCloud)与分布式内存数据库(Re⁃dis)技术设计网元数据统一采集平台,在此基础上实现网元巡检任务的调度执行。系统运行测试结果表明,通过巡检任务调度配置以及在采集平台部署微服务,能够快速完成系统的平滑扩容,并解决网元巡检任务的限流与优先级问题。

Java类动态加载机制在铁路互联网售票中的设计与实现

铁路互联网售票系统已经成为重要的售票渠道,部分高并发业务(比如余票查询、订单查询、常用联系人查询等)运行在分布式内存数据库集群中。由于业务逻辑维护优化的需要,业务代码需要频繁调整,通过重启服务的方式部署新代码新业务,耗时相当长。为提高运维效率,在研究Java类加载机制的基础上,本文探讨了适用于铁路互联网售票系统的代码动态部署模块的设计和实现过程,进行了测试与分析,并进行了总结。