高职院校数据清洗仓湖一体架构的研究

为了有效地应对多元化应用对于数据实时性新需求,构建一个适应数据实时性新需求的数据清洗新架构十分必要。ETL和ELT是常用的数据清洗架构,二者在处理数据质量和实时性方面各有其优势和不足。本文设计一种更适应多元化数据应用需求的清洗架构,以解决高职院校在数据治理工作中面临的数据质量和数据实时性的平衡问题,为高职院校数据治理提供一个新尝试。

基于“湖仓一体”技术的城轨大数据平台设计与升级改造实践

为了探寻城市轨道交通行业大数据平台建设与升级改造的最优方案,本文以城轨大数据平台为研究对象,从城轨大数据平台发展历程出发,梳理城轨大数据平台发展的3个阶段,分析各阶段大数据平台所采用的技术与优缺点,重点总结当前阶段“湖仓一体”大数据技术所具备的湖仓一体、流批一体、OLTP+OLAP、多重负载等优点,研究了基于该技术的大数据平台架构升级改造设计要点,并将该技术在北京地铁数据中心的大数据平台升级改造中进行应用验证。结果表明:“湖仓一体”大数据平台技术兼具数据湖的低成本、数据仓库的高性能等优点,解决了原大数据平台在性能、容量与多用途支持上的不足,为城轨行业大数据平台建设与升级改造提供了新的解决思路。

铁路数据分布式湖仓一体架构分析与设计

科学合理的数据资源分类方法和行之有效的数据湖架构体系,可以支撑起铁路全业务数据的高效存储、组织和利用,并进一步支持并优化各项运营业务。文章首先对现有数据湖架构进行简要分析,确定选用湖仓一体的概念,将铁路数据以主题进行分类以适应业务处理需求;其次设计了铁路数据分布式湖仓一体架构,阐述了路局级子湖仓一体与国铁集团总湖仓一体的架构与功能,以及两者之间的数据流转过程;最后分析了所设计架构的特性与存在的问题,为进一步构建有效的铁路运营数据湖提供了参考。

金融业湖仓一体化大数据平台建设模式探索与实践

为支撑金融企业创新发展,围绕长期规划、分步实施、融合互通、湖仓一体化、容器化等建设要求,进行了大数据平台建设模式的探索,并介绍了大数据平台的建设步骤、框架设计、自助查询等建设实践,为同类项目建设提供参考。

银行湖仓一体大数据平台的探索与实践

商业银行数据量爆炸式增长,数据平台在数据存储及处理方面遇到的挑战越来越大,采用何种技术来构建和迭代一直是业界研究的热点。湖仓一体(Lakehouse)作为新一代大数据技术架构,融合了数据湖与数据仓库的优势,形成一体化、开放式数据处理平台的技术,正成为新一代大数据架构的演进方向。广西北部湾银行借鉴互联网企业数据应用的先进理念及优秀实践经验,基于大数据平台、MPP数据库、存算分离、湖仓一体、流批一体、一套数据存储多个计算引擎等先进理念和技术,规划设计了湖仓一体大数据平台,建设数据研发平台及数据服务平台,实现对行内及行外结构化数据、非结构化数据和半结构化数据的集成管理、分析挖掘,缩短数据加工路径,提升数据应用及服务响应效率,全面支撑各类数据应用场景,加速数据价值变现。

数据治理视角下的湖仓一体架构研究

海量分布异构数据给企业数据治理带来严重挑战,加速数据仓库和数据湖向结合二者功能的湖仓一体转变。通过比较数据仓库、数据湖和湖仓一体之间的差异性,分析湖仓一体的优势及其面临的挑战,再通过划分业务领域并映射到数据视角来构建分布式湖仓一体架构,综合已有研究和相关技术构建湖仓一体功能模块,并阐述动态流批一体数据流转过程。分布式湖仓一体架构包括数据领域解耦、跨领域数据共享、联合数据治理等构建理念;湖仓一体功能模块主要包括数据源、湖仓一体核心功能区和用户;流批一体数据流转过程包括批量数据过程和实时数据过程。本研究可为湖仓一体融入有效数据治理过程,构建较为完善的湖仓一体架构体系,从而为相关研究或企业提供参考。

基于数据湖的海量异构实时处理技术的研究与应用

按照数字中国“2522”的整体框架要求,需持续夯实数据资源体系,充分发挥数据作为新生产要素的关键作用,在新一代数字科技的支撑和引领下,以数据为关键要素,以价值释放为核心,以数据赋能为主线,推动数字化转型,通过“上云用数赋智”行动,实现高质量的发展。随着企业业务的发展,企业数据数据量不断膨胀,在当前环境下,流批数据复用场景越来越多。传统架构使用数据仓库来处理批计算场景,使用流平台处理流计算场景。相对传统架构,数据湖可以一份存储、批流两用,实现近实时的处理能力,直接进行高效的数据分析。文中提出了一种基于数据湖的数据处理方案,在解决流式处理痛点的同时,实时批流一体处理模式。相对于传统的数据处理模式,流式数据处理有着更高的处理效率和成本控制能力。

大数据环境下的绿色会计数智化核算平台研究

绿色会计核算已经成为企业可持续发展的重要助力。大数据环境下,企业经具备了应用绿色会计数智化核算平台的理论基础,区块链、湖仓一体化存储架构、云会计以及财务共享系统也能予以技术方面的有效支撑。在此基础之上,文章重点就大数据环境下的绿色会计数智化核算平台进行实务方面研究,以企业绿色成本为例进行核算操作,并从系统兼容性等方面提出具有适用性的后续对策,为绿色会计数智化核算平台在其他企业的推广与应用提供参考。

基于大数据的无线电数据中心应用分析

本文以山西省无线电管理一体化平台为对象,基于当前数据管理的现状,利用大数据技术,探索数据中心架构的可行性,提出了数据中心建设的逻辑框架、建设步骤、技术路线,并给出了几个目前可行的数据综合应用方向,以期进一步挖掘无线电监测数据价值,更好地服务日常无线电监测和无线电管理工作。

基于分布式架构的银行数字化转型实践

随着数字化浪潮的涌动,银行业务的数字化转型已成为提升竞争力的关键一环,构建分布式底座作为数字化转型的基石,显得尤为重要。提出湖仓一体平台建设目标,分析湖仓一体平台架构选型,详细阐述了湖仓一体平台底座搭建、智能调度平台构建、应用平台对接以及上层数据应用建设实践,从而赋能银行业务数字化转型,实现提质增效。

商业银行算力平台升级研究与实践

针对商业银行数字化转型中算力瓶颈等问题,基于算力平台升级需求分析和平台能力评估,将原有大数据平台从单一数仓架构升级为具备多模数据处理与存储能力的实时湖仓一体结构,全面满足“一仓N平台N集市”建设要求,并在架构设计、项目管理与能力评估、软硬件升级、应用成效等多个方面进一步探索商业银行大数据平台算力升级路径,为商业银行大数据平台建设提供参考。

试飞数据平台数据架构设计与应用

试飞数据是民机飞行试验的重要产物,具有测量参数数量大,数据体量大,飞行试验数据与试飞任务信息关联性强等特征,支撑飞机型号取证与设计优化等任务;试飞数据平台数据架构对多源异构数据集成接入、多类形态数据存储管理、多种层次数据处理分析等技术进行了研究,采用湖仓一体的关键技术和方法打造试飞数据全集;试飞数据接入采用流批一体的数据处理技术,融合Spark和Flink主流数据处理引擎,具备试飞数据快速入库能力;提出按秒聚合方法,具备PB级多维度试飞数据压缩存储功能,存储性能提升近10倍;采用以秒为索引条件支持快速检索,强化数据湖查询能力;研究数据仓库技术,设计试飞数据多层数据模型,具备多维信息精细查询,多层数据灵活钻取,多功能自定义函数集成等功能,并成功应用在某型国产民机的飞行试验数据管理中,服务于试飞数据用户,提高了试飞数据管理效率与试飞数据应用价值。