一种可动态配置的分布式内存池缓存一致性机制

在分布式内存系统中,缓存是减少远端内存访问开销的一种有效手段.然而,单一的缓存一致性保证机制往往不能高效适配不同类型负载的访存特性.为此,面向分布式异构内存池系统,设计了基于目录和基于广播相结合的混合缓存一致性保证机制.利用四象限矩阵分析方法,对每个数据对象进行访存模式的判定分析,并为其配置最高效的缓存一致性保证策略,并且可以根据对象访存特征的变化在2种策略之间动态切换.实验结果表明,相比使用单一的缓存一致性保证机制,采用可动态配置的混合缓存一致性保证机制可提升分布式异构内存池系统的读和写,性能平均达32.31%和31.20%.此外,混合的缓存一致性保证机制在客户端数量不断增加时仍然表现出良好的可扩展性.

分布式内存数据库在变电站自动化系统中的应用

针对传统数据库技术难以满足电力系统需求的情况,本文设计了一种分布式数据库(SH_MenDB),该种数据库的索引结构是在平衡二叉排序(AVL)的基础上建立的。首先,介绍了分布式数据库的概念;其次,详细分析了内存数据库的设计;再次,设计了内存数据库的系统结构;最后,通过应用事例介绍了分布式数据库(SH_MenDB)在变电站自动化系统中的服务方式。

基于分布/共享内存层次结构的并行程序设计

分布内存结构和共享内存结构各具特点,又有很强的互补性,分布/共享内存层次结构将两种结构相结合,以充分发挥其优势。文中主要讨论基于分布/共享内存层次结构的并行程序设计问题,介绍了MPI和OpenMP混合并行程序设计模式。

基于分布式内存计算的深度学习方法

为了提升深度学习技术并行化学习效率,设计了一种面向计算机集群的分布式内存计算方法。构建分布式内存环境,建立数据分片处理和多任务调度机制,使模型参数和神经元节点的计算和存储并行运行于该环境中,避免了磁盘I/O对训练速率的影响;采用深度信念网络模型,以多个副本异步并行计算的方式进行模型训练,并使用dropout方法防止模型训练过拟合。对CIFAR-10图像数据集进行分类训练,试验结果表明,该方法可以明显提高深度神经网络的训练效率,并具备良好的可扩展性。

分布式内存数据库在变电站自动化系统中应用

变电站自动化系统需要使用内存数据库对实时数据进行存取。提出采用稳定、高性能的分布式内存数据库SH_MemDB,该数据库基于构造平衡二叉排序(AVL)树建立索引结构以加快各种操作的速度和确保紧密的数据结构。介绍了内存数据库记录分配所采用的动态、静态分配相结合的方法。对于每个二维表对象系统创建了内存缓冲池链表,每个缓冲池中含有2个队列,用于分配和回收内存数据。二维表对象通过提供的应用编程接口(API)创建,并可通过结构化查询语言(SQL)操作记录。为保证多个进程可以共享实时数据库的资源,系统中以二维表为单位进行加锁操作。SH_MemDB可以通过以服务方式或守护者进程方式单独运行,并给出了SQL方式和使用API对内存数据库操作的代码。介绍了SH_MemDB服务方式的应用实例。

适合分布式实时内存数据库的全局一致性模糊备份策略

当站点介质故障导致本地磁盘数据库和日志文件都遭受破坏的情况下,为了确保能迅速而有效地将全局数据库恢复到某个一致性状态,全局备份操作策略变得非常关键。本文提出了一个适合分布式实时内存数据库的全局一致性模糊备份策略,在此基础上给出了相应的故障恢复方法。

分布内存系统中节点间软流水优化技术

Maximize parallelism and minimize communication overheads are important issues for distributed memory systems. Communication and data redistribution cannot be avoided even when considering global optimization of data distribution and computation decomposition. A new approach based on loop fusion is presented exploiting pipelining parallelism, thus communication overhead can be hidden and data redistribution can be avoided. This technique exploits pipelining from complex loop structures, which distinguishes itself from traditional pipelining techniques. Ex-periments show that the technique is superior to other optimizations.

分布式内存机器中优化调度问题的数学模型

对分布式内存机器中相互依赖多任务的优化调度问题,将约束条件归纳为任务约束、链路约束和资源约束,建立了允许任务复制情况下多任务静态调度问题的数学模型.描述了有向无回路图的构造性定义,指出问题一定有不超过所有任务执行时间总和的解.推出以最短时间完成任务集所需的最小资源数与任务数一样大.阐明了问题具有可计算性.研究结果改进了原有的问题描述和数学模型,使对问题的认识更深入,并有利于寻求更好的求解策略.

基于分布内存的层次短语机器翻译并行化算法

近年来,为了提高统计机器翻译系统的准确性,普遍应用海量语料训练出大规模语言模型和翻译模型.而模型规模的不断增大,给统计机器翻译带来了突出的计算性能问题,使得现有的单机串行化翻译处理难以在较快的时间内完成计算,该问题在处理联机翻译时更为突出.为了克服单机机器翻译算法在这方面的局限性,提高大规模统计机器翻译处理的计算性能,面向一个实际的联机翻译系统,提出了一个分布式和并行化翻译解码算法框架,对整个大规模语言模型和翻译模型同时采用分布式存储和并行化查询机制,在此基础上进一步研究实现完整的翻译解码并行化算法.研究实现了一个基于分布式内存数据库的层次短语并行化机器翻译解码器,该解码器使用分布式内存数据库存储和查询大数据量的翻译模型表和语言模型表,克服了传统的机器翻译系统所面临的内存容量和并发度方面的限制.为了进一步提高并行解码速度,还研究实现了另外3项优化技术:1)将翻译模型表的同步规则和Trie树结构的语言模型表转化为基于内存数据库的"键-值"结构的Hash索引表的方法;2)对Cube-Pruning算法进行了修改使其适用于批量查询;3)采用并优化了批量查询方式减少语言和翻译模型查询时的网络传输开销.所提出的解码算法实现了基于大规模语料统计机器翻译时的快速解码,并具备优异的系统可扩展性.实验结果表明:与单机解码器相比,单句翻译速度可提高2.7倍,批量翻译作业的总体解码性能可提高至少11.7倍,实现了显著的计算性能提升.

大数据网络分布式独立内存分配算法研究

传统的大数据内存分配算法因数据承载方式混乱等原因而存在运行速度慢、分配不均匀的问题,为此,研究一种新的大数据网络分布式独立内存分配算法。通过多层限制玻尓兹曼机堆叠形成数据库管理系统,并构建大数据网络分布式内存框架;然后利用无监督贪婪模式逐层训练方法构建并行框架,采用分布式存储的方法实现数据承载。同时,对较小内存Task做分化处理,小内存Task实际申请到的内存为本文算法直接给予其申请内存的一半或空闲内存的最小数值,大内存Task则是在源码所利用的公平分配算法内对所有的Task能够适用内存的最小保障,以此避免不必要的溢出操作。实验发现:该算法的内存分配情况更合理、运行速度快,内存分配效果明显优于传统系统。

基于分布式内存计算的三元N-gram算法的并行化研究

面对新媒体平台每日高达百万篇需处理的语料信息,提出了基于分布式内存计算模型的三元N-gram并行化算法的思想,基于分布式内存计算模型并行训练三元N-gram的算法,将数据信息和运算逻辑存储于内存中,有效缩减了Mapper到Reducer之间的传输的中间数据过程,减少了读写操作。在应用此算法对大规模语料库进行训练之后,结果表明此类算法对海量数据的处理能够发挥理想的效果,很大程度上解决了传统算法在处理海量数据集计算时间过长的问题。

基于分布式内存数据库的移动对象全时态索引

针对现有移动索引仅对内存/磁盘两层结构进行优化,忽略了索引节点在内存中的缓存敏感性,提出一种基于分布式内存数据库的全时态索引结构DFTB^x树。该索引结构针对存储器Cache、内存和磁盘3层结构进行优化,根据Cache行、指令数量和TLB失配数等多个条件设计内存索引节点的大小。同时,根据磁盘数据页的大小设计历史数据迁移链节点的大小,使得Cache和内存能够一次读取索引节点和迁移链节点数据,避免多次读取数据带来的延迟。此外,构建历史数据迁移链,实现历史数据持久化,从而支持移动对象全时态索引。实验结果表明:与Bx树、Bdual树、TPR*树和STRIPES算法相比,DFTBx树具有较高的查询和更新效率。

分布式内存数据库系统的容错管理

在大数据背景下,分布式系统被企业广泛部署和应用,随着分布式系统节点规模的扩大,系统故障的概率也将随之增加,在分布式系统中引入容错机制,对提升分布式系统可用性、可靠性、可恢复性至关重要.CLAIMS系统是面向金融领域的对实时数据进行实时分析的内存数据库系统——在数据不断注入系统时,提供近实时的查询、分析任务.本文主要探讨CLAIMS系统中容错机制.依据租约机制,实现系统中异常节点的快速发现及标记(即Fail-fast).在标记异常节点之后,实现对受影响分析任务的重启(即Fail-over);对异常节点全局内存状态的恢复(即Fail-back).实验结果表明,本文所提算法能够较好地实现CLAIMS系统的容错特性.

基于广播的分布式共享内存

提出一种基于软件实现的分布式共享内存.借鉴基于广播的缓存一致性,采用不同于以往内存一致性的协议设计,以通过减少维护内存一致性所需要等待的网络消息来提高分布式共享内存的整体性能.基于这种协议设计,进一步给出切实的实现方法和针对性的优化.测试表明,这种设计相较于以往的分布式内存协议,最高可以获得45%的性能提升.

基于SDN多播的分布式共享内存研究

在分布式共享内存(DSM)中使用多播进行节点间的消息传输,可以大幅节省通信开销,但传统多播具有不可控性。为此,提出一种将基于软件定义网络(SDN)实现的多播应用于DSM中的方案。设计一种基于多播的DSM系统,并以基于SDN实现的多播为其提供数据传输。实验结果表明,与传统以太网相比,该方法能够有效降低DSM中的数据传输延迟,为DSM系统提供良好的通信性能保障。

分布式内存数据库的恢复

对分布式内存数据库的恢复进行了讨论,内容包括:转储、分布式事务提交及日志。在最后提出了一个日志生成算法,该算法针对机群式环境下的应用,对两阶段提交协议(2-Phase-CommitmentProtocol)进行了改进,有着良好的实用前景。

集成消息服务和定时通知的分布式内存数据库

作者主持研发的UniBase是同时提供数据缓存、消息服务和定时通知三种常见服务的分布式内存数据库。本文简要介绍了该产品的整体系统架构和关键实现方法。同时集成多个功能的UniBase在降低系统资源占用和项目整体成本上有着显著的优势。

基于分布式内存数据的数据同步设计与实现

在变电站综合自动化系统中,需要对遥测、脉冲、遥信等实时数据进行处理,由于电力系统对这些数据的存取具有较高的实时性,因此监控系统通常会采用实时数据库进行数据的存储管理。随着监控系统需要处理数据单元的增加和机器节点数的增长,监控系统普遍采用分布式内存数据库进行实时数据的存储。分布式内存数据库的一个重要问题就是如何实现多个机器节点之间的数据更新同步,提出了利用多播和TCP实现快速有效的数据同步方式,支持灵活的组网方式,并设计了一套稳定可靠的数据传输机制,使得分布式内存数据库的各个节点的数据保持良好的一致性。

浅谈分布式内存数据库系统设计

随着近三十多年计算机硬件、软件技术、计算机系统和互联网的发展，播客越来越多地应用在各个大型网站。目前国内外已经存在大量关于内存数据库、分布式数据库的成功研究经验，这对研究分布式内存数据库项目极具指导意义。

数据压缩在分布式内存数据库同步中的设计与实现

智能电网的发展,一方面带来了电网运行和设备检测或监测数据的不断增多,另一方面是有限的网络通信资源影响实时数据的传输,针对该问题,本文提出在分布式内存数据库系统采用数据压缩算法来实现分布式数据的实时快速同步,使得分布式内存数据库的各个节点数据保持一致性,进而保证对全网数据进行准确分析。