面向存算分离架构的混合粒度缓存策略

存储计算分离方案已成为一种提高大规模数据处理性能及效率的系统架构,但其存储层的访问效率低、网络开销大、对小文件不友好,存在着极大的性能瓶颈.基于MergeTree的数据库ClickHouse在数据存储过程中会产生很多小文件. ClickHouse和S3存算分离方案中文件粒度固定的SSD (solid state driver)缓存区不仅和内存数据不匹配,还会造成缓存区空间浪费.提出了一种面向存算分离架构的缓存管理方案HG-Buffer (hybrid granularity buffer),旨在优化ClickHouse和S3的存储计算分离方案以及对象存储的小文件问题,以提高缓存空间的利用率,从而提高系统访问效率. HG-Buffer通过将SSD作为计算层和存储层之间的缓存层,并将SSD缓冲区组织成两个粒度的缓冲区来实现:对象缓冲区和块缓冲区。对象缓存粒度是对象存储中的数据粒度;而块缓存粒度是系统访问数据的数据粒度,其中块缓存粒度是对象缓存粒度的子集. HG-Buffer通过统计数据热度信息,自适应地选择数据存储的位置,以提高SSD空间的利用率,从而提高系统性能.在ClickHouse和S3上进行的实验评估证明了HG-Buffer的有效性和稳健性.

存算分离架构下Part元数据的单独管理策略

针对ClickHouse存在的硬件资源无法被充分利用、缺少弹性和节点启动过慢的问题,在存算分离架构下,提出了一套针对描述数据信息的元数据(Part元数据)的管理策略. Part元数据是元数据中最重要的组成成分.为了能够有效管理远程共享存储上的数据,采集了所有Part元数据文件,并将其合并后,经过键值映射、序列化和反序列化,存入分布式键值数据库中.此外,还设计了一套同步策略,以确保远程共享存储上的数据与分布式键值数据库中的元数据的一致性.利用Part元数据管理策略及相关的同步策略,实现了一个针对Part元数据的管理系统,解决了ClickHouse节点启动过慢的问题,并支持高效的节点动态扩缩容.

存算分离的原位传感器观测接入方法

原位传感器是智慧城市建设的重要数据来源,其在城市资源协调、灾害预警、动态监测分析等领域发挥决定性作用.当前传感器观测接入方法未考虑传感器数据的流式特征,无统一的接入模型,导致无法统一过滤特定时空场景下的观测结果,传感器接入组件可复用性差.本文提出一种存算分离的原位传感器观测接入方法,以站点为中心的传感器统一接入模型为基础,将流式处理框架下的原位传感器观测接入过程分为数据获取、观测过滤与观测存储三个部分.实验证明该方法能够基于传感器统一接入模型有效接入网络结构异构的原位传感器站点,并实现对多个原位传感器观测结果特定时间、空间场景下的属性过滤.

数据中心网络信息安全管理系统日志存储存算分离架构重组方案探究

为满足工信部信息安全监管要求,运营商的数据中心 IDC 网络建设了 IDC/ISP 信息安全管理系统,目前日志存储已达到 PB 级数据规模,需占用近千台服务器资源。CU 存储采用 Hadoop 平台部署,采用存算一体架构,三副本数据保护方式,存储利用率极低。为解决此问题,文章采用存算分离架构进行架构重组,并引入 EC 纠删码备份技术作为高效数据冗余算法,提升资源利用率,节省约 50% 的项目硬件投资和运营成本,实现降本增效的目标。

一种基于管算存分离的内存数据库实现技术

在多核处理器、大内存、非易失内存等新硬件技术的支持下,异构存储与计算平台成为主流的高性能计算平台.传统的数据库引擎采用一体化设计,新兴数据库则采用存算分离和算子下推技术以更好适应新型分布式存储架构.提出了一种新颖的基于管算存分离方法的内存数据库实现技术,在存算分离技术的基础上进一步根据数据库模式、数据分布与负载计算特征将数据集划分为元数据集和数值集,将统一的查询引擎分解为元数据管理引擎、计算引擎和存储引擎,将包含语义信息的元数据管理抽象为独立的管理层,将无语义的数值存储和计算抽象为计算存储层,其中计算密集型负载定义为计算层,数据密集型负载设计为存储层,并根据硬件平台的不同分离或合并计算与存储层.内存数据库的实现技术分为几个层次:1)模式优化,实现数据库存储中“数(数值)”与“据(元数据)”的分离,根据数据的内在特性选择不同的存储与计算策略;2)模型优化,采用Fusion OLAP模型,实现在关系存储模型上的高性能多维计算;3)算法优化,通过代理键索引、向量索引支持优化的向量连接、向量聚集算法,提高OLAP性能;4)系统设计优化,通过数据库引擎分层技术实现管理与计算分离、存储与计算分离以及多维计算算子下推到存储层.实验结果表明,管算存分离计算模型可以灵活地支持CPU-GPU异构计算平台、DRAM-PM(Persistent Memory,持久内存)异构存储平台和外部存储平台,采用开源的Arrow内存列存储引擎作为数据库“数”的存储引擎,以及应用多维计算算子下推到Arrow存储引擎技术的OLAP实现技术在SSB基准测试中与存算结合的内存OLAP实现技术性能相当,查询性能优于主流内存数据库Hyper和OmniSciDB,以及基于Arrow存储的GPU数据库PG-Strom.

银行湖仓一体大数据平台的探索与实践

商业银行数据量爆炸式增长,数据平台在数据存储及处理方面遇到的挑战越来越大,采用何种技术来构建和迭代一直是业界研究的热点。湖仓一体(Lakehouse)作为新一代大数据技术架构,融合了数据湖与数据仓库的优势,形成一体化、开放式数据处理平台的技术,正成为新一代大数据架构的演进方向。广西北部湾银行借鉴互联网企业数据应用的先进理念及优秀实践经验,基于大数据平台、MPP数据库、存算分离、湖仓一体、流批一体、一套数据存储多个计算引擎等先进理念和技术,规划设计了湖仓一体大数据平台,建设数据研发平台及数据服务平台,实现对行内及行外结构化数据、非结构化数据和半结构化数据的集成管理、分析挖掘,缩短数据加工路径,提升数据应用及服务响应效率,全面支撑各类数据应用场景,加速数据价值变现。

分离式数据中心的存储系统研究进展

随着全球数据的指数级激增,数据中心在存储和管理数据方面正面临空前挑战,基于服务器架构的传统数据中心在资源利用率、扩展性、性能等方面的缺陷日益显著,已经愈发难以满足业务需求.近年来,一种分离式数据中心架构得到了学术界和工业界的广泛关注:该架构下,硬件资源被拆分为不同的硬件资源池(例如处理器池、内存池、存储池等),并通过高速网络互连;管理员可以按需扩展特定的硬件资源池,且各类硬件资源可以在不同应用间灵活共享.然而,分离式数据中心架构在访存模式、存储层级、容错模型、软件开销等方面呈现出显著差异,这为构建分离式架构友好的存储系统带来了新的挑战.首先,分析了分离式数据中心的驱动因素,阐述了其架构特点及优势,并综述了对应存储系统的关键技术和代表性研究工作;然后,围绕数据容错、异构计算及异构网络,展望了未来的发展趋势并给出了总结.