ORACLEREDO LOG文件分析及C语言描述

Oracle数据库系统通过 REDO L OG技术来管理数据操作和事务 ,如何分析跟踪 REDO L OG文件 ,实现对数据库操作的监控 ,在数据库审计、数据库复制和数据库安全等方面具有重要的实用价值 .本文对 ORACL E REDO L OG文件进行了详尽的分析 ,给出了 REDO L OG文件头、文件体块结构和文件数据结构的 C语言描述 ,以及 REDO L OG事务控制机制的分析 。

基于Redo log的复制技术实现跨平台的数据库容灾应用研究

文中针对Oracle数据库跨平台容灾的目的,通过了解各种数据库复制解决方案,对各种复制技术进行分析和对比。研究基于Redo log复制技术的数据库复制软件原理。结合模拟常用系统环境进行方案设计的试验,得出基于Redo log复制技术的数据库备份方式,不仅具有高效的资源利用、跨平台数据库同步、主备库双活、断点续传等功能,可以实现Oracle数据库的高可用、提高保护数据的安全性、降低业务系统中断时间、减少硬件设备投入成本等迫切需求。而且支持跨平台容灾,为将来核心生产数据库从小型机平台转型到X86架构平台奠定基础。

Oracle Data Guard与GoldenGate技术分析对比

随着财务系统数据库的使用时间增长,数据库中的数据量也会增加,数据量越大也意味着数据库备份与恢复所需要的成本就越高,不仅是备份所需时间越来越长,恢复数据所需时间也随之增长;当数据库发生意外而导致数据库中的数据不可修复的时候,容灾远比备份更能快速有效的恢复生产业务的数据;在实际的使用过程中,我们也可以把容灾当做是一个活动的备份来使用,主要介绍了Oracle Data Guard和GoldenGate。

基于BCV和LogMiner实现增量数据抽取的应用

介绍了不同数据抽取方式的优缺点,基于EMC存储联机业务持续性卷BCV数据备份和Oracle LogMiner分析归档日志原理,分析了数据抽取复制方案,实现了省级数据集中应用生产环境到分析平台中增量数据抽取。

面向内存表的可动态配置预写日志框架

通常情况下,NoSQL数据库管理系统启动后,其多个数据库或数据分区的预写日志(WAL)会固定地写入一个或多个日志文件,因而形成强耦合的对应关系。由于数据库逻辑模型与分区配置是由应用业务和计算环境所决定的,在预写日志被强耦合的情况下,数据库管理系统无法对预写日志的个数、大小等进行配置以实现性能调优。针对该问题,提出了一种面向内存表的可动态配置预写日志框架,该框架记录了重写日志,内存表可以动态地被分配给不同的预写日志队列,支持可变的对应关系,实现了预写日志与具体应用之间的解耦。在物联网时序数据库Apache IoTDB上实现了该框架,并进行了相关实验,结果表明使用可动态配置预写日志框架后可以找到比强耦合的预写日志更优的配置方案,写入性能可提高8%~19%,说明该框架能针对不同计算环境和应用负载实现动态性能调优。

面向交易实时内存数据库的故障恢复方法

论述交易事务更新交易数据的update-in-place和append-only特征,提出了面向交易主存数据库的一种故障恢复方法,给出恢复管理机构的模型,并讨论了该模型的工作机制.采用活动一致检查点技术和重做事务日志技术,实现了基于数据镜像和可恢复事务日志的故障恢复措施,解决了系统故障恢复的正确性和一致性问题.结果表明,该方法满足面向交易主存数据库失败恢复的需要.

Oracle8i数据库系统的优化与调整

主要从内存及盘空间的占用和盘I/O等方面，阐述了如何根据Oracle8i数据库系统的运行参数，按系统应有的最佳运行指标，实现对系统性能的优化和调整。

Java测井平台高效数据操作缓存设计与实现

一体化网络测井平台是国际上首个完全采用Java语言开发、真正意义上跨不同操作系统的大型综合测井处理解释系统。由于平台基于广义测井曲线理论实现了数据底层的一体化,因而可以在不改变原编程语言的基础上,用最小的工作量将其他非Java测井解释系统进行有效集成和二次开发。针对各种不同语言交互处理解释模块的共性,提出了一种先进的曲线代理缓存模式,并用Java语言进行了设计实现。大规模集成测试和大庆油田水淹层解释结果表明,这一代理模式有效解决了不同语言交互处理软件跨平台集成时原有缓存功能不能被继承使用的技术难题,并可视具体情况对原系统的交互缓存处理效率做出进一步改进和提高。

基于影响图的数据库参数的自调节

根据负载的变化,对数据库系统所提供的可调参数或选项进行手动调节是一项很困难的任务。把以概率推理为基础的图形化模型-影响图应用到数据库参数的自调节中,主要分为以下5个步骤:影响图模型的设计,实验数据集的获取,实验数据集的离散化,影响图参数的学习,影响图的评价及使用。以Oracle的重做日志模块的参数调节做实验,结果表明,影响图可以很好地解决这类问题。

Oracle重做日志文件对医保系统性能影响分析

目的:对沈阳军区总医院医保系统进行优化,解决目前出现的性能瓶颈。方法:从性能优化实际出发,分析Oracle数据库的数据更新过程与重做日志机制,通过调整日志文件的方式提高医保系统的性能。结果:系统响应时间明显缩短,性能得到显著提升。结论:实践证明,能够提升系统的稳定性以及事务处理能力,调整方案切实有效。

Oracle重做日志机制分析

Oracle的重做日志机制为数据库崩溃而导致数据丢失的恢复提供了有效的手段。文章阐述了Oracle的Redo机制的组成与实现,分析了对其性能的影响及优化技术。

基于Flex技术的云同步方案

"信息孤岛"在高校校园信息化建设过程中普遍存在,在Oracle数据库的应用系统中,通过使用数据库自带的LogMiner程序来解析数据库中Redo日志文件,然后对解析出的SQL语句利用Flex技术进行相应的词法重构;设计出一种基于Flex技术的日志解析远程云同步方案,以实现数据共享.它不仅可以实现数据库中记录级数据同步、表一级数据同步、异构表间的实时数据同步,而且同步效率极高,非常适用于跨校区的远程数据同步.

DM3故障恢复技术研究

故障恢复是DBMS的重要组成部分。提出了一种基于Redo日志、Undo日志和检查点的系统故障恢复技术 ,并详细介绍了它在数据库系统DM3中的设计和实现 ,最后还给出了相应的恢复算法。

ORACLE中数据库的恢复策略

ORACLE是大型关系数据库的管理系统.恢复子系统是其中非常重要的一部分.对于初学ORACLE者,由于ORACLE恢复机制的复杂性,很难制定出详细的备份和恢复计划.本文通过几个重要概念介绍ORACLE的恢复原理,并对出现的故障进行了分类,针对不同的故障讲了不同的恢复策略.这有助于数据库管理员根据不同情况制定适宜的备份和恢复计划.

Oracle远程数据库同步方法的研究

本文探讨了分布式环境下实现基于Oracle数据库的同步策略，以及数据同步系统需要解决的几个关键问题，提出了一种可行的分布式数据库系统数据同步解决方案。

基于数据块的关系数据库日志挖掘技术

在关系型数据库中数据库通过Redo日志来实现事物的快速提交,并记录事物的操作过程与操作内容.通过对Redo日志的分析与变化数据内容的捕获,将变化数据传送到灾备端,并在灾备端实现变化数据的写入,是目前数据库复制最主要实现原理.本文分析了oralce数据库Redo日志文件结构,阐述了日志文件头标志位信息.结合Redo日志文件头定位分析技术,给出了一种基于数据块的数据库Redo日志挖掘算法.通过测试分析,验证了该Redo日志挖掘技术的可行性与可靠性.最后展望了下一步的研究方向.

基于多线程的并行实例恢复方法

针对数据库实例恢复串行化执行效率低的问题,以神通数据库为基础提出一种基于多线程的并行实例恢复方法。首先,在数据库原有实例恢复模型基础上,增加＂构建脏页表＂和＂脏页预取＂两个步骤,得到改进后的实例恢复模型;其次,结合多线程并发处理思想,提出并行实例恢复方法,对改进的实例恢复模型进行并发处理;最后,由于采用回滚段进行undo日志管理,可以实现undo日志的正常数据化管理,提前结束实例恢复。通过进行TPC-C基准测试,并行实例恢复方法的读取、解析redo日志效率与原有方法相比提高了2~7倍,重做redo日志效率提高了4~9倍,整体所用时间减少为原有方法的20%~40%。实验结果表明,并行实例恢复方法实现了各阶段的并行化,减少了实例恢复所需时间,保证了数据库在实际应用中的高效性。

一种关系数据库数据抽取模型研究

在关系型数据库中数据库通过Redo日志来实现事物的快速提交,并记录事物的操作过程与操作内容。针对关系数据库数据抽取过程中问题经常发生复制中断问题,采用数据库在线Redo日志增量数据快速定位于解析技术,设计一种Redo日志数据抽取模型,给出了INSERT、DELETE、UPDATE 3种DML操作日志数据捕获方法。,通过与OGG抽取软件进行比对测试,验证了该Redo日志数据抽取技术的可行性与可靠性。最后展望了下一步的研究方向。

多源数据库数据复制模型

针对跨数据库平台、跨操作系统平台、跨硬件平台数据交互需求,提出一种基于日志解析的数据交互复制模型。该模型通过对数据库Redo日志的分析与定位,从中抽取增量变化日志数据,然后采用并行同步传输的方式将抽取的日志数据传输到预处理端,在预处理端进行原始数据的事务合并处理,然后在装载发布端通过数据订阅的形式获取预处理端的队列数据,数据内容放入本地缓存队列文件,最后对本地缓存队列文件进行数据转换、数据装载入库,从而实现数据交互复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还具有较低的数据复制延时。

基于交易报文的数据实时同步方法研究

概括并分析了计算机信息系统中常见的异地数据同步方法。针对事务处理系统的大业务量场景,纯系统级的数据实时同步方法受限于线路带宽的制约。提出的基于交易报文的数据实时同步方法,将事务处理系统的交易报文归纳为应用级的报文重做日志,采用报文分解与封装、报文同步与缓冲池管理等方法与策略,以很低的线路带宽实现业务数据的实时同步目标。通过真实业务数据系统性的实验与分析,验证了方法的可行性与有效性。基于提出的方法,大业务量下应用级容灾备份的实现成本可显著降低。