Oracle GoldenGate Veridata数据验证技术的研究与应用

在企业数据中心、灾备中心的建设中广泛采用数据同步复制技术和数据异步复制技术来得到共享数据或灾备数据,许多原因会导致复制两端数据不一致而又很难及时发现。这些不一致会导致采用不准确的数据进行数据恢复和基于不准确数据的企业决策。通过引入Oracle GoldenGate Veridata数据验证技术,可以实现在线校验在不同应用之间共同使用的大量数据,确保数据绝对可信,找到可以常态化的数据一致性、完整性验证方法。

面向海量数据的数据一致性研究

复制是实现海量数据管理的关键技术之一,多副本之间的数据一致性维护是提高分布式系统的容错能力与性能的重要保证。强一致性确保并发的修改操作不会发生冲突,但是限制了系统的可用性、连通性以及副本数量;弱一致性确保副本的最终一致,提高了系统的容错能力。本文从已有的一致性维护方法出发,结合海量数据的特点,对一致性维护过程中所涉及的更新发布、更新传播方式、更新传播内容以及更新冲突解决等几个方面进行了分析,提出了相应的解决方法。

分布式数据库系统中数据一致性维护方法

讨论了在分布式数据库系统中,对于各个数据库副本维护数据一致性的问题,介绍了Oracle8i数据库系统中数据复制的基本概念、基本原理、复制配置以及数据复制的基本配置和实现方法。

Linux平台远程逻辑卷复制系统的设计

提出了一种Linux平台上远程逻辑卷复制系统的设计方案,论述了它的系统结构及实现方法。该系统不依赖于特殊的存储设备或网络,在复制过程中通过保持主、从两端逻辑卷上数据块的更新顺序来保证数据一致性。系统支持同步和异步两种复制模式,可以适合不同的应用环境,为实现通用、经济的远程数据容灾系统提供了可能。

基于Oracle高级复制的分布式数据库系统应用研究

该文以CIMS工程应用为背景,介绍了一种运用Oracle高级复制技术实现企业远程信息分布式处理的方案;详细讨论了实现中的数据一致性问题,并提出了通过设置手动复制、合理设置自动复制周期解决数据弱一致性和处理时间滞后问题的方法,以及基于分组方法解决各种数据冲突的实现策略。

数据复制与一致性

数据复制是分布式数据库和数据仓库中常用的方法,以提高数据的可用性和系统的性能。文中介绍了在数据库系统中广泛使用的数据复制方法,分析了其优缺点和适用的范围,重点讨论了异步复制方法中的一致性恢复、一致性偏离的度量和数据存取的限制等问题,给出了数据复制策略的评价目标。

面向海量非结构化数据的非关系型存储管理机制

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。

支持操作意图一致性的实时协同编辑算法综述

有别于传统分布式系统,实时协同编辑系统强调自然和谐的人人交互和人机交互,允许不同地点的协同用户同时编辑同一共享对象.为了给协同用户提供良好的响应性,实时协同编辑系统有必要采用全复制式体系结构,但又给共享对象的一致性维护问题带来巨大挑战,这一直是协同计算学科的研究热点.近年研究重点逐步从结果一致性发展到操作意图一致性.该文以操作意图一致性为主线,对支持操作意图一致性的实时协同编辑算法进行深入和全面的比较、分析和总结.首先,以Lamport事件偏序关系为起点,对协同编辑系统的因果关系、简单并发关系和偏并发关系概念进行整理.同时,给出实时协同编辑系统中全序关系的分类,操作的全序和操作对象的全序.在对全序关系和优先级进行剖析的基础上,阐述了实时协同编辑系统中的三类一致性模型:CC(Causality-preservation,Convergence)模型、CCI(Causality-preservation,Convergence,Intention-preservation)模型和CA(Causalitypreservation,Admissibility)模型.特别地,文中按照因果一致性、结果一致性和操作意图一致性的分类,给出操作意图一致性的维护路线图.然后,分别综述了各类实时协同编辑算法的研究进展和现状,包括OT(Operational Transformation)算法、AST(Address Space Transformation)算法和CRDT(Commutative Replicated Data Type)算法.进一步,文中给出了各类操作意图一致性算法的基本原理和执行框架,并基于一个代表性协同工作场景和算例对典型算法进行详细解析.接下来,文中从操作意图一致性、支持操作意图一致性的典型算法、操作转换函数和算法时间复杂度这4个关键方面对实时协同编辑算法进行归纳和对比.最后对全文小结,并指出为了进一步发展实时协同编辑系统,未来还需要在优先级策略、算法伸缩性、复杂操作语义类型、粗粒度操作对象以及选择性撤销机制等方面深入开展一些研究工作.

分布式系统中异地数据库的数据一致性维护

大型分布式系统通常需要在异地的数据库中存储同一数据的不同副本,不同副本之间需要维护数据的一致性。文章讨论了维护数据一致性的两种方法:消息队列法和复制控制法,并分别介绍了使用IBMMQSeries消息队列和MicrosoftSQLServer复制机制来维护数据一致的实现过程,对比分析了二者在实际应用中各自的特点,以及在理论上的技术差异。

一种基于数据相关性的优化数据一致性维护方法

针对数据一致性中的数据相关性问题,提出一种优化的数据一致性维护方法.在该方法中,数据对象按固定大小分块,并以数据块作为数据管理的基本单位;数据更新利用Bloomfilter技术压缩表示,并进行双路径传播;发起方和协商方在一致性维护过程中,分别调用各自的协商算法检测和解决更新冲突;动态数据管理算法调节数据更新过程中的动态数据块变化,对数据块进行合并或分解.模拟测试结果表明,在选取适当范围内的分块大小时,该方法在一致性维护开销、动态性和鲁棒性方面均具有较好的性能.文中给出了选定适当分块大小的指导性方法.

分布式数据库系统及其一致性方法研究

分布式数据库系统是数据库领域中的一个主要研究方向,数据一致性维护是分布式数据库系统中的一个非常关键的技术问题。在分析分布式数据库系统体系结构的基础上,讨论了两种一致性方法:两阶段提交和复制服务器,并提出一种具有复制服务器的分布式数据库系统的结构框架,它具有有效性和实用性。

数据复制系统的状态机的研究与设计

在所有的容灾系统中,为了保证数据的可靠性和高可用性,数据复制是实现容灾的关键技术。数据复制系统最基本的要求是要做到确保系统处于正确的状态。目前开发了一个基于Linux的逻辑卷管理器(LVM)的远程数据复制系统———逻辑卷复制器(LVR)。在该系统中,设计并实现了一个状态机来控制系统的状态转换。主要讨论了这个状态机的工作方式以及它是如何保证系统运行在正确的状态下的。

分布式系统中数据复制的研究与应用

维持数据的一致性是复制数据库并发执行的关键。介绍分析了MSSQLServer2000中内置的数据复制构件以及MSSQLServer2000的事务模型,最后结合实际的应用软件开发对数据复制的并发控制原理与措施进行了相关实现。

一种基于关键属性的优化数据一致性维护方法

针对关键属性更新的易描述、更新项较小和弱相关性三个特点。提出一种基于关键属性的优化数据一致性维护方法.在该方法中,首先分离出用户提交的更新请求中关于关键属性的更新;然后采用基于延迟.覆盖的更新传播模型进行更新传播,即基于副本间的网络延迟选择具有最大和最小网络延迟的结点转发更新,并在传播过程中记录和综合考虑更新的确定传播和不确定传播两条路径;在对关键更新冲突分类的基础上,采用更新缓冲区和更新日志两层更新协商机制并结合最新写胜出和分而治之规则,优化关键更新冲突的发现和解决:更新日志信息是方法中各种策略开展的基础,讨论了更新日志中信息管理方法以及结点失效和网络划分发生时信息的维护方法.关键属性更新的优化处理使得不会产生因为关键属性更新的延迟而降低系统基于关键属性的资源定位效率,满足面向Internet的P2P系统的要求.模拟测试结果表明,该方法在一致性维护开销、资源定位开销与资源访问开销以及鲁棒性方面均具有较好的性能.

基于.NET的电子审批系统中数据一致性的研究

通过在.NET框架下开发B/S结构电子政务系统,针对政府部门对外窗口子系统和内部局域网子系统之间需要进行数据交换的特点,设计了系统与多个数据库的动态连接的解决方案,研究了在网络互连的多台SQL Server服务器上保持数据一致的方法,并根据所遇到的问题提出了采用合并复制作为解决办法,采用AFTER触发器技术解决数据同步问题的意见.通过现场测试证明,上述技术安全可靠,对在.NET下开发电子政务系统具有重要的参考价值.

地理信息空间数据管理的对象存储研究

介绍了地理信息空间数据存、管、用的解决方案。从分析海量地理信息数据存储、管理和使用需求出发,围绕数据长期存放、备份能力、数据一致性、数据索引等提出了基于对象存储的分布式架构解决方案。该架构的容量和性能线性扩展,升级替换机制先进,上线后避免了业务中断隐患,经过实际运行,取得了良好效果。分布式对象存储可实现地理信息数据的统一存放和管理,可提升数据的可用性,是广东省自然资源信息化应用的数据基础,将为自然资源大数据分析搭建数据沟通的桥梁。

移动数据管理的研究与发展

一、引言随着社会信息化的不断发展和普及,Internet和无线移动通信技术的成熟,以及计算机处理能力的不断提高,新的业务和应用不断涌现,人们要求不仅能够在办公室和家庭等固定场所中获得和处理信息,而且能够在移动环境中进行相应的工作.于是,移动计算,这一满足人们移动信息处理要求的新兴技术应运而生.

数据库集群的“无应答严次序发布传播”复制策略(英文)

数据库集群服务器的关键技术是数据复制 .本文在对比分布式文件系统、可靠型多播、对象组服务以及分布式内存等技术的基础上 ,提出了“无应答严次序发布传播”复制策略 .“发布传播”类似但不同于“发布订阅”模型 .该策略采用了IP多播、双钥锁和基于全局 /局部 /状态次序编号的次序管理机制 .双钥锁允许加锁者或下一个申请者释放互斥锁 .次序管理遵循 4个原则来避免“乱序”、“意图歪曲”、“因果牵制”和“反向因果牵制”四个数据不一致问题 .本文详细讨论了该策略的设计目标、主要问题及解决途径、特征、基本原则以及算法轮廓 .

一种支持EB级存储的可扩展存储空间管理方法

随着海量数据应用的增多,机群文件系统需要具备对PB甚至EB级存储空间进行管理的能力.受数据位置信息维护方法的限制,在面对需要管理的百亿甚至万亿个对象时,对象存储服务器在数据定位、负载均衡和复本维护方面均存在可扩展处理的问题.为了满足日益增长的存储需求,提出了一种可扩展的存储空间管理方法.首先,该方法将存储空间中的对象位置信息通过Extendible Hashing以两级索引结构的方式进行组织,以此来支持对海量对象位置信息的扩展性管理;其次,该方法依靠对象位置信息在多服务器的分布结果来放置对象,文件系统能通过对索引结构的调整以较低开销实现负载均衡;最后,该方法以数据位置信息组织的索引结构为粒度进行复本维护以降低复本位置信息的维护开销.实验评测表明,存储空间管理方法能够支持海量数据的高效管理.在负载均衡方法的作用下,多存储服务器的I/O聚合带宽因负载均衡而能够取得10%的提升.相比Lustre和DCFS3,该系统在多客户端并发访问环境下具有更好的扩展性能.

DDBS中实现分割数据库重构的一致性算法

如何使分割后的ＤＤＢＳ保持多复本之间的数据一致性，是ＤＤＢＳ中的一个重要问题．文中提出了一种有效的解决分割数据库重构的一致性算法，详细地介绍了算法的有关定义和详细描述．可以证明此算法是正确的和高效的．