内存数据管理技术在族谱信息系统中的应用

设计并实现了具有数据录入、数据服务、数据输出功能的族谱信息系统.族谱信息系统采用了分布式结构,在每个分布数据节点引入内存数据管理技术,采用列存储模型,自动初始化热点数据,并根据用户请求组织数据建立索引,同时利用事务日志对每个分布数据节点的内外存进行数据同步,对中心数据节点和分布数据节点进行数据同步.

SanssouciDB应用列式存储和内存数据管理研究

内存数据管理和列式存储与内存数据库的结合是解决海量数据实时查询的可行方案之一,其代表之一是SAP的HANA内存数据库。SanssouciDB作为HANA的原型内存数据库是一个很好的研究对象。文章将从内存数据管理、内存中数据存储布局(包括行式和列式存储布局)、日志机制等方面研究SanssouciDB如何实现存储优化,查询优化。文章还将通过计算来对比列式和行式扫描的性能。最后分享实际工作中使用内存数据库所遇到的问题。

HDFS分级存储系统元数据管理方法的研究

随着高能物理实验规模的不断扩大和实验复杂度的提高,研究人员正面临海量数据存储的挑战,考虑到成本、能耗、存储周期及运维管理等问题,具有存储容量大、成本低特点的磁带库成为高能物理领域海量存储系统中必不可少的选择。但HDFS现有异构存储研究不支持磁带库存储,无法满足高能物理Hadoop平台海量实验数据持久化和备份过程对于存储系统高性价比的需求。针对上述问题,为了构建支持磁盘-磁带存储的HDFS分级存储系统,使磁带层文件在HDFS中无缝融合,为用户提供统一的文件系统命名空间,调研了分布式文件系统元数据管理方法,在此基础上设计实现了HDFS分级存储系统中统一的元数据管理方法。该方法通过重新设计内存文件元数据结构,构建分级存储系统统一的内存目录树并实现其访问管理和可靠性保障,完成分级存储系统中不同层级文件元数据的集中统一管理。测试结果表明,该方法实现了分级存储系统异构资源上文件元数据的统一管理,提供了高效的元数据操作。基于该方法构建的分级存储系统可靠性高,在对不同规模大小的文件读写时,其读写吞吐量较优于高能物理领域传统分级存储系统EOSCTA。

具有服务仲裁机制的内存数据库管理器的研究与设计

介绍了一个具有服务仲裁机制的多线程内存数据库管理器 (CS2 1)的研究与设计 ,重点阐述了 CS2 1中的数据库服务仲裁器 (DSM) .DSM采用指数平均法进行消息执行时间的预测 :如果一个消息预计可以在给定的时限内执行完 ,则该服务请求将被接受 ;否则就被抛弃 ,以提高系统的实时性 .另外 ,还简述了 CS2 1中的内存管理及数据索引技术 .该系统已经在一个移动通信系统中得到了应用 ,实际应用表明 ,DSM对系统负荷进行了有效的控制 。

用于嵌入式系统的微型内存数据库管理系统的设计

本文描述了一个用于嵌入式系统的微型内存数据库管理系统,该系统可以实现数据的查询、插入、删除和修改;可以支持排序、索引和二分查询;可以通过事务机制来进行安全防护,并对其实现进行了详细的分析。

内存集群计算:交互式数据分析

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.

内存数据库关键技术研究

随着存储器价格的下降、64位系统的引入和广泛使用,内存数据库(MMDB)技术得到了更广泛的研究,并出现了一些原型系统和商业系统。首先对比了内存数据库与磁盘数据库在查询处理、索引技术等几个方面的差异,总结分析了内存数据库的关键技术和研究内容,内存数据库需要研究的问题,最后展望了未来的研究方向。

移动计费系统中数据异常的预防与检测

为了满足移动计费应用的基本要求,需要将大批量的基本数据常驻内存。分析了内存中 数据异常产生的原因,在借鉴数据通信中的CRC技术的基础上,探讨了在内存数据管理中,采用在每 个数据片断上都设置一个校验码的方式,进行内存数据一致性的检查,结合传统数据库的日志技术和 检查点技术,给出了实现内存数据异常检测和预防的基本方法。

基于日志的脏数据检测与恢复

由于性能和其他要求,存在一类特殊的应用,它们要求大批量数据常驻内存,并直接在内存中对数据进行存取访问,增加内存中产生脏数据的可能性。该文对内存中的脏数据进行了分类,并结合传统数据库的日志技术和检查点技术,给出了脏数据的预防、静态检测和恢复的基本方法。该方法在移动计费系统中得到了应用。

云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求。分布式缓存技术是最好的高性能缓存解决方案。本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理。在此基础上,分析并设计了分布式缓存系统的部署和整体架构。并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试。测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟。