大数据统一SQL引擎研究与设计

大数据统一SQL引擎不管是从现实要求,还是从大数据应用方面来讲,都值得深入研究,目前大数据生态系统中的不同SQL引擎都有各自适合的应用场景,性能指标也不相同,很难选择一种SQL引擎覆盖所有的应用需求。本文提出了大数据统一SQL引擎方案,集成多个SQL引擎,并提供统一的访问接口,用户可以根据需要灵活选用相应的SQL执行引擎,解决传统应用如何快速移植到大数据平台以及多个大数据SQL引擎选型难的问题。

基于多中心集群协同计算的大数据平台技术研究与应用

中国电信面向横跨多个地域、拥有众多集群的大型政企机构,推出可以高效协同各类资源的广域大数据架构体系——云边智算大数据平台。该平台从集群维度对数据分区进行逻辑抽象,将独立分散的数据集整合为一个“虚拟数据集”,实现了一对多的数据集映射管理。同时,该平台的计算负载数据集具有泛化特征,能够灵活应对不同场景下的数据处理需求。另外,该平台以关系表达式为中间表示,支持多种计算引擎和调度系统,能够在复杂的大型数据处理高容错场景中高效地完成批处理任务负载。目前,云边智算大数据平台已在多种应用场景中落地,平台在5G Core能力调度子系统(5GC)多中心大数据作业开发、运营方面提效17%,且已实现8省前置大数据集群共计42 PB存储、84 TB内存、24984 VCore计算资源的协同调度,日均完成80308次前置-核心两级任务调度。

基于ORACLE数据库的多媒体数据SQL级操作探究

探索ORACLE数据库平台下多媒体数据在SQL级直接操作的可行性。以Oracle interMedia为背景,运用多媒体数据PL/SQL API实现多媒体数据文件存取。虽然在关系数据库中对多媒体数据即非结构化数据进行操作时,和结构化数据的处理方式不同,但在ORACLE数据库平台下将基本SQL和多媒体数据PL/SQL API整合运用,屏蔽了多媒体数据处理的复杂性,对外呈现出一致的SQL级操作是可能的。在ORACLE10g的数据库平台上,通过分析Oracle interMedia体系结构和多媒体数据的特点以及在ORACLE中的存储方式,探索在SQL级实现常规结构化数据类型与表示多媒体内容的非结构化数据类型统一操作的可行性和实现途径。