Oracle Timesten内存数据库自动数据清理机制探究

随着IT系统的逐渐大规模使用,数据量越来越大,支撑的用户也越来越多,所以对IT系统的实时性和可控性的响应时间要求越来越高了。而这些需求是现有的基于磁盘存储的关系型数据库无法满足的,所以出现了内存型数据库,其中最有名的是Oracl Timesten,该文主要对Timesten中自动数据清理机制做了一些探究。

基于TimesTen内存数据库提升股道现车同步应用性能的研究与测试

介绍铁路运输信息集成平台股道现车同步应用的现状和存在问题,针对目前Oracle数据库环境下应用处理的性能,使用TimesTen内存数据库进行了性能和高可用测试。测试结果表明,TimesTen可大幅提升应用处理效率,其高可用性保证了业务处理的连续性和数据的完整性,且运维人员仅需对既有应用进行部分适应性修改就可实现Oracle数据库到TimesTen内存数据库的迁移,为全面提升股道现车同步应用性能提供了科学依据和有力支撑。

利用TimesTen内存数据库搭建高可用性的电信IT系统

本文介绍了利用TimesTen内存数据库来搭建具备高可用性的IT系统的典型部署架构,并举例进行了详细阐述。

MMOS:支持超卖的多租户数据库内存资源共享方法

多租户数据库为每个租户分配固定的资源配额,而这些资源配额通常未全部得到有效利用,这种静态分配策略导致资源利用率不高。若在不影响租户性能的前提下将未利用的空闲资源共享给其他租户使用,即实现资源超卖,则可以提高资源利用率、提升平台收益。为了支持资源超卖,需要准确预测租户的资源需求,动态地按需为租户分配资源。已有的针对多租户数据库的资源共享方法的研究对象主要是CPU资源,鲜有支持超卖的内存资源共享方法。鉴于此,在联机分析处理场景下,提出了一种支持超卖的多租户数据库内存资源共享方法MMOS(Multi-tenant database Memory resource Overselling and Sharing)。该方法通过准确预测每个租户的内存需求区间,按照区间上限为租户动态调整内存配额,在不影响租户性能的前提下,统一管理空闲内存资源以支持更多租户,实现内存超卖。实验结果表明,MMOS在租户负载动态变化的场景下具有较好效果。在不同资源量的资源池下,支持的租户数可以增加2~2.6倍,资源利用率峰值提升175%~238%。同时,每个租户的业务与性能未受影响。

面向内存数据库的类字典树索引综述与性能比较

如何快速存取海量数据是大数据时代数据库系统面临的重大挑战.利用大内存构建内存数据库系统是实现大数据实时存取的可行途径.在此背景下,用于加速内存数据存取的内存数据库索引成为近几年国内外的研究热点.但是,内存数据库索引也面临着诸多挑战.以常见的内存B+树索引为例,第一个问题是索引的空间效率较低,这是因为内存B+树索引的节点内部存在较大的空间浪费;第二个问题是索引的查询复杂度较高,B+树的查询复杂度受限于数据规模,随着数据规模的扩张,索引的搜索效率也会下降;第三个问题是变长数据支持弱,B+树对于变长键的支持比较差,往往难以适应实际应用的需要.近年来,由于字典树具有空间代价低、查询效率与数据规模无关、支持变长键等优点,逐步成为了内存数据库索引研究中的一个主要方向.本论文围绕面向内存数据库的类字典树索引,首先介绍了字典树的概念、特点和历史,然后系统梳理和总结了类字典树索引的现状和最新进展,之后提出了一种全新的分类方法对类字典树索引进行了分类.在此基础上,论文对主流的六种类字典树索引进行了实验,在多个数据集和负载上进行了性能对比,并基于实验结果讨论了类字典树索引的设计和使用建议,最后展望了未来类字典树索引的发展方向.

基于优先级排列的内存数据库负载均衡仿真

针对因云计算环境数据基数较大、数据种类过多、特征难提取,导致的数据储存比例失衡问题,提出一种内存数据库负载均衡优化算法。根据云计算环境下内存数据的数据特征、状态等参数,建立负载失衡问题模型,将存在问题的数据代入,求得负载率和虚拟资源参数关联变化。考虑到云计算环境下数据基数过大、数据离散性强的问题,将内存数据看作为分布复杂的资源网络,数据点看作网络节点,求解节点跟随网络状态发生的位置、速度以及状态更改,建立数据负载率的位置与更新速度规则,求解不同数据的负载均衡尺度,并排列优先级顺序,采集内存数据库参数输入至负载尺度函数中求解,根据每个数据点的最新负载尺度实行重新配比调整,完成均衡优化。实验结果表明,所提方法的负载均衡优化效率和效果较好,环境适应能力强。

一种基于管算存分离的内存数据库实现技术

在多核处理器、大内存、非易失内存等新硬件技术的支持下,异构存储与计算平台成为主流的高性能计算平台.传统的数据库引擎采用一体化设计,新兴数据库则采用存算分离和算子下推技术以更好适应新型分布式存储架构.提出了一种新颖的基于管算存分离方法的内存数据库实现技术,在存算分离技术的基础上进一步根据数据库模式、数据分布与负载计算特征将数据集划分为元数据集和数值集,将统一的查询引擎分解为元数据管理引擎、计算引擎和存储引擎,将包含语义信息的元数据管理抽象为独立的管理层,将无语义的数值存储和计算抽象为计算存储层,其中计算密集型负载定义为计算层,数据密集型负载设计为存储层,并根据硬件平台的不同分离或合并计算与存储层.内存数据库的实现技术分为几个层次:1)模式优化,实现数据库存储中“数(数值)”与“据(元数据)”的分离,根据数据的内在特性选择不同的存储与计算策略;2)模型优化,采用Fusion OLAP模型,实现在关系存储模型上的高性能多维计算;3)算法优化,通过代理键索引、向量索引支持优化的向量连接、向量聚集算法,提高OLAP性能;4)系统设计优化,通过数据库引擎分层技术实现管理与计算分离、存储与计算分离以及多维计算算子下推到存储层.实验结果表明,管算存分离计算模型可以灵活地支持CPU-GPU异构计算平台、DRAM-PM(Persistent Memory,持久内存)异构存储平台和外部存储平台,采用开源的Arrow内存列存储引擎作为数据库“数”的存储引擎,以及应用多维计算算子下推到Arrow存储引擎技术的OLAP实现技术在SSB基准测试中与存算结合的内存OLAP实现技术性能相当,查询性能优于主流内存数据库Hyper和OmniSciDB,以及基于Arrow存储的GPU数据库PG-Strom.

面向复杂对象的高性能内存映射数据库MMDB

为提高数据存取效率,更好地支撑后台业务系统的高性能高并发要求,实现一种基于内存映射的非关系型嵌入式数据库系统MMDB。结合类型定义模板、数据预处理器、内存映射文件、自定义内存分配器、地址空间管理等多项技术,支持以键值结构存储任意C/C++格式数据类,为复杂数据对象提供极快存取速度,尤为适用于部分特定的数据量庞大、数据对象复杂、访问读多写少的后台服务系统场景。实验结果表明,在复杂对象存取场景时,与目前主流内存数据库相比,MMDB拥有明显的效率优势。

基于分布式内存数据库的HIRFL-CSR真空监控系统

简要介绍了国家"九五"重大科学工程——兰州重离子加速器冷却储存环(HIRFL-CSR)真空监控系统的总体结构,分析了在Web构架下,基于分布式内存数据库的多层真空监控系统的实现方法。采用分布式内存数据库,解决了基于Web构架的分布式实时应用环境下对系统和网络资源的消耗问题。在软件控制方面采用了统一调度,既简化了软件实现过程,又提高了系统的安全性、高效性和易维护性。该系统已成功运行。

基于持久化内存和共享缓存架构的高性能数据库

云原生数据库的崛起,使得共享缓存架构再度受到重视.虽然共享缓存架构能够有效地解决多个读写节点间的缓存一致性问题,但其他问题仍然存在,例如持久化速度缓慢、维护缓存目录的延迟高、时间戳瓶颈等.针对上述问题,提出了一种基于共享缓存架构,并结合新型硬件——持久化内存的解决方案,从而构建了一个包括内存层、持久化内存层、存储层的三层共享架构数据库——TampoDB.基于此架构,重新设计了事务的执行流程,并对时间戳和目录进行了优化,以解决上述问题.实验结果表明,TampoDB有效地提高了事务的持久化速度.

开源内存数据库容器化探索与研究

为打破传统数据库架构的瓶颈,利用Kubernetes(K8S)实现对Redis的容器化管理和应用,笔者团队围绕Redis的使用特点,从存储、网络、Redis集群高可用、Redis集群扩缩容等四方面开展验证实践,创新提出组件选型和部署方案的优化建议,并进一步探讨了后续研究方向。

分布式内存数据库在变电站自动化系统中的应用

针对传统数据库技术难以满足电力系统需求的情况,本文设计了一种分布式数据库(SH_MenDB),该种数据库的索引结构是在平衡二叉排序(AVL)的基础上建立的。首先,介绍了分布式数据库的概念;其次,详细分析了内存数据库的设计;再次,设计了内存数据库的系统结构;最后,通过应用事例介绍了分布式数据库(SH_MenDB)在变电站自动化系统中的服务方式。

一种基于分布式全内存的关系型数据库技术的研究与实现

随着大数据时代的迅猛发展,对海量数据的挖掘、存储、分析、计算处理需要依赖一系列的大数据技术,例如分布式计算、高并发处理、高可用处理、集群、实时性计算等,当海量数据的高并发访问成为常态,为应对这样的问题,也产生了各类分布式架构设计思路,文章将主要介绍基于分布式全内存的关系型数据库技术的能力及应用。

内存数据库关键技术研究

随着存储器价格的下降、64位系统的引入和广泛使用,内存数据库(MMDB)技术得到了更广泛的研究,并出现了一些原型系统和商业系统。首先对比了内存数据库与磁盘数据库在查询处理、索引技术等几个方面的差异,总结分析了内存数据库的关键技术和研究内容,内存数据库需要研究的问题,最后展望了未来的研究方向。

嵌入式实时内存数据库故障恢复技术

故障发生后,迅速而有效地恢复对数据库系统而言是至关重要的。本文针对嵌入式实时内存数据库的特征,结合一个具体的嵌入式实时内存数据库系统(ARTs-EDB),给出了相应基于日志的恢复策略和实现技术。

一个支持实时内存数据库的恢复系统

实时数据库要求以内存数据库 (MMDB)作为其底层支持 .内存数据库存储介质的易失性 ,以及实时数据库系统应用目标的根本转变使得 MMDB数据库的恢复对系统整体性能的影响极大 .传统的数据库恢复技术已不再适用 ,为此本文给出了一个完整的支持实时数据库的 MMDB恢复系统 .文中给出了恢复系统的体系结构、重要数据结构、执行模型和执行算法 .同时 ,文中对一些关键技术 ,如 L

实时内存数据库的装入

实时数据库 (real- time database,简称 RTDB)要求以内存数据库 (main memory database,简称 MMDB)作为其底层支持 .内存数据库的脆弱性使得数据库的装入 (包括初装和重装 )极为频繁 ,对系统性能影响极大 ,而传统的装入算法对实时内存数据库不适用 .为此给出影响数据装入的实时数据及事务特征 ,并提出一种数据装入策略与算法 .

采用内存数据访问对象提高数据库访问速度

将内存数据库的思想溶于传统磁盘数据库 (DRDB)中 ,采用内存数据访问对象 (MMDAO)技术 ,在当前主流计算机所能提供的有限内存中实现应用程序与数据库系统之间的接口 ,使数据库检索、存取等过程在内存中进行 ,避免大量的磁盘数据I/O ,从而实现数据库应用程序中数据的高速存取、检索和操纵 。

用于内存数据库的Hash索引的设计与实现

电信领域已成为数据密集型行业,需要高性能的数据库系统作为支撑系统,基于磁盘的数据库系统不能满足"实时"、"近实时"访问数据库的需求,将数据库核心数据驻留在内存中,可以使用内存数据库来满足需求。Hash索引是数据库系统中广泛使用的索引技术之一,它能够快速地访问数据,易于设计和实现。该文根据内存数据库的特点,为电信网管系统的内存数据库设计并实现了Hash索引。

一种主动实时数据库的系统内存管理方法

通过对一个主动实时数据库(ARTs DB)的研究,借鉴操作系统的内存管理机制,提出了一种具有现代应用特征的数据库系统内存管理模式。文中从ARTs DB的系统内存管理定义出发,探讨了主动实时数据库系统内存管理的目标及实现策略,并详细介绍了一种实现方法。