面向内存数据网格的分布式事务保障机制

在线事务处理(online transaction processing,OLTP)应用面临并发量和数据量持续增长的问题,并且高并发读写操作使得后台数据库成为瓶颈。内存数据网格(in-memory data grid,IMDG)是基于内存的新型分布式数据访问平台,是解决系统数据库写操作瓶颈的有效技术途径之一。然而内存数据网格中数据访问操作涉及的数据分布是不可预知的,需要提供分布式事务保障。针对内存数据网格的系统特点,提出了一种分布式事务保障机制,设计实现了事务处理模型、请求处理和数据定位方法以及事务保障协议,并规范化地定义了客户端与服务器端以及服务器端之间的操作接口。在事务处理基准测试TPC-W上的实验结果表明,新机制可以提高在线事务应用的处理速度,并具备良好的扩展性。

内存数据网格数据访问引擎的设计与实现

由于遵循简单的key/value数据模型,内存数据网格缺乏对SQL标准的支持,不能兼容面向关系型数据库的遗留系统。为解决这一问题,设计和实现了内存数据网格数据访问引擎。引擎提供了自动数据加载、SQL语句解析和执行、数据持久化等功能,支持了包括Join操作在内的常用SQL接口,实现了遗留系统从关系型数据库到内存数据网格的无缝迁移,带来了巨大的性能提升。

基于内存数据网格文件存储分析

内存数据网格存储系统能够大大提高数据的存储速度,现有的内存数据网格原型系统大多支持数据键值对的存储。该文通过利用现有的数据网格原型系统,实现了分布式的内存文件存储工具。并对该工具的存储性能进行分析,并提出几种影响分布式内存数据网格文件存储性能的因素。

考虑频繁项集的智能电网统一数据模型构建

在构建的智能电网数据模型中,存在模型类型纷杂、计算耗时较长等问题,对此构建一种考虑频繁项集的智能电网统一数据模型。提出了频繁项集设计改进的Aprioro算法,改进时考虑4个方面:通过矩阵思想映射事务数据库;优化连接步;优化剪枝步;压缩事务数据库,实施智能电网在线分析系统中文件数据的挖掘。对于挖掘到的文件数据内容,对其实施一系列预处理,包括时序数据修复、时序数据甄别。通过分布式内存数据网格技术实施智能电网统一数据模型的构建,在模型设计中,序列化方法选用writeData方法,反序列化方法选用readData方法,通过3个步骤实现模型的搭建。测试结果:模型分析计算时间为0.35 s,当更新数据的母线个数达到70条,模型能够保持60 000次/min左右的更新频率,当更新数据的节点个数达到800个,模型能够保持110 000次/min以上的更新频率;模型的未来态潮流计算与灵敏度计算耗时均较低。