OceanBase分布式关系数据库架构与技术

关系数据库是当今社会的关键信息基础设施,互联网和数字化带来了高并发和海量数据,传统关系数据库均为集中式架构,处理能力和存储容量都捉襟见肘.OceanBase分布式关系数据库基于通用PC服务器,不仅实现了在线水平伸缩,还实现了机房故障自动无损容灾以及高倍率数据压缩等,已经应用于金融、政务、通信和互联网等行业.介绍了OceanBase分布式关系数据库的系统架构和关键技术,包括分布式事务处理、基于LSM-tree的存储系统以及分布式SQL优化器.详细阐述了OceanBase数据库的高可用和数据一致性,包括RPO为0和RTO小于8 s.也介绍了OceanBase数据库多租户机制,即采用了集群内原生多租户设计,在集群内实现多个互相独立的数据库服务.基于Sysbench和TPC-H评测基准,对比实验结果表明:1)在单机模式下,OceanBase的性能是MySQL的1.27倍至2倍多;2)在单主模式下,OceanBase的性能是MySQL的1.25倍至近2倍;3)在多主模式下,OceanBase的性能是MySQL的1.09倍至3.1倍,对于OLAP的复杂查询,OceanBase的性能是MySQL的6倍到327倍.

分布式关系数据库架构在AS/400集群下的应用

分布式关系数据库是对关系数据库的一种扩展。探讨了分布式关系数据库的几种类型,具体阐述了中国农业银行江苏省分行AS/400集群环境的构造,以及分布式关系数据库在AS/400集群构架下的构建,最后说明了如何在应用程序中使用SQL语言实现分布式数据库的连接。

互联网时代分布式关系数据库的有益探索

在实现分布式数据库的技术方案上,业界存在不同的选择.第一种方式需要对应用系统进行拆分,通过分库分表将原本单个数据库管理的数据分散到多个集中式数据库.分库分表方案要求应用系统重构,跨库访问效率较低,关系数据库的重要功能,如外键、全局唯一性约束.

一种新的基于A算法的分布式关系数据库查询优化

分布式查询优化是当今数据库理论的一个重要研究方向。该文首先阐明了分布式查询优化的主要目的。接着主要介绍了著名的SDD-1算法和由Fegaras提出的基于查询图的贪婪算法,分析了两者的特点和不足,提出了一些改进建议。最后,在以上算法的基础上,该文提出了基于人工智能理论的A算法和A算法。通过讨论,笔者认为对于中大规模的查询优化,A算法是个不错的选择。

关系数据库中分布式大数据的集成冲突消解算法

针对现有关系数据库中分布式大数据集成冲突消解研究的不足,提出一种新的集成冲突消解算法。依据关系数据库中分布式大数据的集成过程对冲突进行分类,将其划分成语义冲突、模式冲突以及实例冲突。针对语义冲突,通过句法融合、逻辑树融合和频率融合法实现冲突消解。通过属性有向图对关系数据库中模式数据和实例数据的属性进行描述。从属性关系参与分布式大数据集成冲突的状态分析,通过关系的权重值对属性关系的重要程度进行量化处理。通过有向图全部关系的权重和对所有属性有向图的重要程度进行描述。综合分析冲突数与权重定义代价函数,在此基础上给出关系数据库分布式大数据集成冲突消解详细过程。实验结果表明,所提算法冲突识别和消解性能高。

关系数据库中分布式大数据集成冲突消解仿真

针对当前方法在进行冲突消解时存在消解耗时较长、消解成功率较低的问题,提出一种基于BP神经网络的关系数据库分布式大数据集成冲突消解方法,利用相似度度量方法提取关系数据库中分布式大数据集成过程数据属性特征在语义上的冲突特征,包括字符类型属性值的数据、数值类型属性值的数据、布尔类型属性值的数据,还有区间值类型属性值的数据四种;在相似度计算基础上,实现不同属性值类型数据的冲突特征提取,将这些冲突特征输入到训练好的BP神经网络模型中,判断关系数据库中分布式大数据集成过程是否存在冲突,并对存在的冲突进行消解。仿真对比测试结果证明,所提方法能够实现关系数据库中分布式大数据集成过程的冲突消解,而且具有耗时低、成功率高的优点。

基于OptiConnect的分布式关系数据库互连的实现

OptiConnect是指在本地环境下多道系统之间提供高速互连的区域网络。分布式关系数据库是对关系数据库的一种扩展,它提供了对主机数据的远程工作单元访问和分布式工作单元访问两种访问形式。本文介绍了OptiConnect和分布式关系数据库的工作原理,并详细论述了基于OptiConnect的分布式关系数据库互连的实现。

支持分布式数据库系统的客户机/服务器体系结构及关系数据库

文章分析了客户机/服务器体系结构和分布式数据库系统特性,结合INGRES智能关系数据库的INGRES/STAR和INGRES/NET介绍,指出客户机/服务器体系结构结构与关系数据库的良好配合是多用户联机事务处理必由之路.也是当今国际计算机应用水平的体现.

OceanBase关系数据库架构

传统关系数据库本质上是单机系统,通常采用昂贵的高端服务器和高端存储,难以应对互联网应用的高可扩展、高性能、高可用和低成本的挑战.OceanBase是阿里巴巴研制的开源分布式无共享关系数据库,采用主流通用PC服务器,很好地满足了互联网对关系数据库的需求.OceanBase已经用于淘宝、天猫和支付宝的多个生产系统.本文介绍了OceanBase关系数据库系统的架构、目标和系统特点,特别分析了基于该系统架构的读写事务流程.

分布式文件系统与MPP数据库的混搭架构在电信大数据平台中的应用

通过对分布式文件系统和MPP数据库这两种大数据技术领域重要方向的研究比较,提出了采用混搭架构进行大数据平台架构规划和设计的思路和实现方法,并在具体项目中进行了实际验证。该架构能够兼具两种技术的优点,适应不同场景的大数据存储和处理要求。

利用CORBA和JDBC实现对各类关系数据库的访问

研究集成CORBA及关系数据库的三层式结构,并使用CORBA、Java及JDBC设计一个CORBA/RDBWrap-per,通过这个Wrapper,就可以很容易实现一个将CORBA与关系数据库集成起来的应用程序,而客户端通过支持Java的浏览器就可以访问关系数据库中的数据,进而达到分布式储存及计算的目的。

基于分布式多层数据库的图书管理系统设计

本研究旨在设计一个基于分布式多层数据库的图书管理系统,以提高图书管理的效率和可靠性。系统采用分布式数据库架构,将数据存储在多个位置分散的服务器上,以实现数据的高可用性和灾难恢复能力。本文深入分析了该系统在不同网络条件、负载和数据规模下的性能表现。实验结果显示,在复杂场景下尽管系统性能有所下降,但其总体稳定性和数据一致性仍有较好表现。

融合架构的分布式数据库技术在气象大数据平台上的应用实践

随着信息技术的发展和应用,气象发展已融入到政治、经济、民生等各领域的发展中,气象数据呈现数据体量大、实时性要求高、数据种类丰富的大数据特征,数据的应用效果随时间呈断崖式下降的趋势非常明显,是区别其他行业数据应用的明显差异点。传统关系型数据库暴露出长序列数据访问效率低、软硬件架构成本高、性能扩展能力弱等缺陷,已无法满足业务发展的需要,该文通过融合架构的分布式数据库在气象业务中的应用效果分析,从技术原理和实践两个角度,为气象大数据的应用提供技术借鉴。

基于OPC UA的分布式数据采集处理系统架构研究

随着物联网与互联网融合的不断深化,感知层与应用层之间的互联互通要求不断提高。针对现有数据采集系统存在的规范性、扩展性和适应性不足的问题,文章提出一套基于对象连接与嵌入过程控制统一架构(object linking and embedding for process control unified architecture,OPC UA)协议的分布式数据采集处理系统架构。对数据采集处理系统各个模块进行功能解耦和架构重组,分别介绍该系统硬件和软件架构;针对发布订阅模式下负载的特异性,提出一种改进的适用于OPC UA分布式订阅的负载均衡算法;最后在某车企实例验证该系统架构。结果表明,基于OPC UA的分布式数据采集处理系统数据采集处理效果良好,证明了该系统架构的可行性及有效性。

浅谈分布式数据库架构

本文在分析传统数据库架构的基础上分析了分布式数据库架构的特点,并说明了它的工作原理。

夯实分布式数据库核心底座,保障分布式核心系统平稳运行

近年来,随着银行业数字化转型的持续深入、业务和用户需求的不断升级以及客户对服务质量和数据安全要求的不断提高,传统集中式银行核心系统已难以满足当前业务的发展需求。作为银行应用系统的大脑——银行核心系统在开放性、稳健性和拓展性上面临着更高的要求。顺应数字化转型趋势,广发银行加强关键核心技术攻关,开展核心系统分布式转型实践,完成了从大型主机到分布式架构的自主可控转型。

分布式数据库系统环境的“无感”升级

近年来,伴随数字化转型的持续深入,银行关键业务系统对业务连续性的要求不断提高,传统的数据库变更方式已愈发难以满足新时期的业务需求。针对该领域,本文结合杭州银行实践,深入探讨了利用高可用机制实现业务“无感”升级的方案路径,并重点阐述了分布式架构在可维护性方面的技术优势,希望为金融同业提供有价值的参考和借鉴。

浅谈分布式数据库系统架构

本文介绍了无共享分布式数据库系统架构,包括总体逻辑架构、计算节点、数据节点、管理节点、全局事物管理等节点,理论上可以实现水平扩展不受限制,实现高可靠,支持高并发访问,特别适用于电信行业和金融行业。

基于分布式数据库的移动Agent安全体系架构

针对现有的几种分布计算技术在安全管理机制上的不足,提出基于分布式数据库的移动Agent安全体系架构。描述它更强的安全管理机制特点、组成和各功能模块,讨论它的协作性、互操作性和运行环境,以及基于它的Java设计方法和进一步的工作。

基于非关系数据库的全球时空大数据组织管理研究

为了解决多类型、多尺度、多时相的全球时空大数据的高效组织管理问题,针对传统数据存储管理技术的限制,基于非关系数据库技术,围绕全球时空信息的无缝组织,非关系存储和分布式管理,提出了全球多源时空大数据的无缝组织与管理解决方案。首先分析了非关系数据库技术的特点,以及当前主流海量空间数据组织技术的局限性;然后基于等经纬度格网剖分模型,采用分级组织、分块存储的技术,构造了多分辨率金字塔,结合非关系数据库技术特点,设计了瓦片化数据和键值对数据这两类数据结构的组织管理框架,并探讨了该方案在网络环境下的非关系数据库分布式组织管理机制;最后基于开源非关系数据库MongoDB构建了原型系统,对比实验表明本文方法比基于关系数据库的管理方法在管理效率上有大幅提升。