面向内存数据网格的分布式事务保障机制

在线事务处理(online transaction processing,OLTP)应用面临并发量和数据量持续增长的问题,并且高并发读写操作使得后台数据库成为瓶颈。内存数据网格(in-memory data grid,IMDG)是基于内存的新型分布式数据访问平台,是解决系统数据库写操作瓶颈的有效技术途径之一。然而内存数据网格中数据访问操作涉及的数据分布是不可预知的,需要提供分布式事务保障。针对内存数据网格的系统特点,提出了一种分布式事务保障机制,设计实现了事务处理模型、请求处理和数据定位方法以及事务保障协议,并规范化地定义了客户端与服务器端以及服务器端之间的操作接口。在事务处理基准测试TPC-W上的实验结果表明,新机制可以提高在线事务应用的处理速度,并具备良好的扩展性。

内存数据网格数据访问引擎的设计与实现

由于遵循简单的key/value数据模型,内存数据网格缺乏对SQL标准的支持,不能兼容面向关系型数据库的遗留系统。为解决这一问题,设计和实现了内存数据网格数据访问引擎。引擎提供了自动数据加载、SQL语句解析和执行、数据持久化等功能,支持了包括Join操作在内的常用SQL接口,实现了遗留系统从关系型数据库到内存数据网格的无缝迁移,带来了巨大的性能提升。

基于内存数据网格文件存储分析

内存数据网格存储系统能够大大提高数据的存储速度,现有的内存数据网格原型系统大多支持数据键值对的存储。该文通过利用现有的数据网格原型系统,实现了分布式的内存文件存储工具。并对该工具的存储性能进行分析,并提出几种影响分布式内存数据网格文件存储性能的因素。

一个适用于内存数据库系统的多维索引结构

树形结构一直都是数据库系统中建立多维索引最有效的方法之一,其中比较流行的有k-d树,R树等。但是对于内存空间极为宝贵的内存数据库来说,它们都有浪费内存的缺点。而T树作为内存数据库最常使用的一维索引结构,具有存取速度快,节约空间的优点,但是对于多维索引的情况它的效率却不高。该文首先介绍了k-d树,R树的特点及缺点,然后介绍T树的特点,操作和在多维条件下的缺陷,并提出了一种网格+T树的结构对其进行改进,从而使它适用于多维索引的情况。

内存网格调度方法分析

内存网格研究目的是在物理内存不足之时,各个节点之间共享物理内存.在分析内存访问速度、U-disk访问速度、网络带宽的基础上,提出了一种网格内存调度方法及内存管理框架.在某个网格节点内存不足之时,网格节点可以共享各个节点之间的内存,从而提高内存容量.通过分析其他节点内存读取时间、U-disk读取时间、与本地硬盘读取时间的差异,决定是否采用其他网格节点的内存或者U-disk内存.实验表明,提出的内存网格扩展了内存容量,减少了内存替换概率,提高了性能.

内存网格关键技术探析

内存网格的出现主要借鉴了传统的网格计算技术和集群内存共享技术。本文从动态函数截获、缓存数据组织与管理和异步缓存数据写入三方面探讨了内存网格系统的关键技术。

电网GIS平台内存集群数据分区策略

电网GIS平台通过构建内存集群来保障数据访问和计算的实时性。其内存集群根据空间数据、台账数据和配置数据的不同特点进行数据分区。主体采用网格化的方式划分数据,适当采用冗余存储来提高数据的读取效率,支持增加集群节点数来扩容。

考虑频繁项集的智能电网统一数据模型构建

在构建的智能电网数据模型中,存在模型类型纷杂、计算耗时较长等问题,对此构建一种考虑频繁项集的智能电网统一数据模型。提出了频繁项集设计改进的Aprioro算法,改进时考虑4个方面:通过矩阵思想映射事务数据库;优化连接步;优化剪枝步;压缩事务数据库,实施智能电网在线分析系统中文件数据的挖掘。对于挖掘到的文件数据内容,对其实施一系列预处理,包括时序数据修复、时序数据甄别。通过分布式内存数据网格技术实施智能电网统一数据模型的构建,在模型设计中,序列化方法选用writeData方法,反序列化方法选用readData方法,通过3个步骤实现模型的搭建。测试结果:模型分析计算时间为0.35 s,当更新数据的母线个数达到70条,模型能够保持60 000次/min左右的更新频率,当更新数据的节点个数达到800个,模型能够保持110 000次/min以上的更新频率;模型的未来态潮流计算与灵敏度计算耗时均较低。

大数据技术发展的十个前沿方向(中)

6前沿方向四:软硬兼施大数据计算的一个核心要义是软硬两手抓,从具体应用出发,仔细选择软硬件架构实现,并且在运行过程中持续不断地协同优化。首先,从大数据应用角度出发,硬件架构重点体现在计算、存储、互联。6.1计算硬件架构在计算这一块,首先要选择的是大小核。brawny cores是大核。

大规模地形实时绘制算法

该文提出一种适合大规模地形实时绘制的简单高效的LOD简化算法。该算法使用一种紧凑有效的规则网格表示方法,优化网格节点的数目,减少可视化过程中的计算量,降低额外内存开销。探讨该算法相关的数据组织、视域裁剪、LOD层次选择、裂缝消除、三角形化等关键问题。实验结果表明,该算法实现简单,内存开销较少,CPU耗费小,对图形卡要求低,能够在普通机器上实现大规模地形的实时漫游。

最新版Oracle Coherence 3.6上市

业界领先的分布式内存数据网格产品Oracle Coherence的最新版Oracle Coherence3.6近日正式上市。Oracle Coherence3.6引入了Coherence Quorum,有助于更好地控制网格和云环境的容量以及资源管理。