基于分布式数据库ClickHouse的大数据平台在执法检查中的应用实践

为解决现场检查中人工比对效率低、检查数据处理困难等问题,人民银行江苏省分行总结近年来对接入机构执法检查的经验,探索研发了基于分布式数据库的现场综合执法检查平台。该平台实现了亿级业务检查数据的入库、查询、分析和筛查等各项功能,能够较好地满足现场检查的实务需求,有效提升执法检查工作的质效。

京东零售基于ClickHouse的增量刷岗方法

刷岗是对某个最小存货单位(SKU)对应的岗位等维度字段发生变更,按照最新的SKU岗位等维度数据回溯、覆写的过程,刷岗这一行为在典型的电商企业(京东(JD)、淘宝)较为常见。针对京东零售业务场景下明细表和维表数据量庞大导致刷岗操作的运行时间过长的问题,提出一种基于ClickHouse的增量刷岗方法。首先,将维度表加载为ClickHouse字典表,采用明细表关联ClickHouse字典表的方法进行刷岗;其次,采用增量刷岗方法取代传统全量刷岗的形式,不仅提升刷岗效率,同时减少刷岗带来的集群资源消耗;最后,加入验数逻辑和并发控制机制保证数据准确性和集群的稳定。将该技术与传统的刷岗技术在实际业务生产场景中进行亿级数据的刷岗测试对比,实验结果表明,在硬件设备相同的情况下,提出的增量刷岗方法刷岗时间缩短80%,集群资源(CPU、内存)的使用减少50%,显著提高刷海量数据岗效率。

基于ClickHouse的实时数据仓库的基础架构研究

随着移动互联网技术的进步,用户对网购参与程度的提高,电商企业每天、甚至每小时都在收获大量用户行为日志和业务数据,传统实时计算系统已无法满足对这些日志和业务数据进行在线分析和实时性统计。在该项需求的启发下,基于分层设计理念对用户行为数据实时处理的基础型架构进行研究,以期在面对大量实时计算时,通过沉淀中间结果的方式提高计算复用性,降低开发成本。该架构采用实时分析型列式数据库ClickHouse和Flink实时流式处理框架作为核心技术,通过实时计算获得天级、分钟级、秒级甚至亚秒级数据,便于企业对业务进行快速反应和调整,满足新时代下的实时计算需求。

分析数据库ClickHouse在国家地球物理台网中心的应用

面对日益增长的地球物理观测数据,传统的Oracle数据库已经力不从心。根据地球物理历史数据可大量被读取的使用特点,通过技术选型,以具备横向扩展能力的分布式OLAP数据库ClickHouse作为数据底座,重新设计适用于ClickHouse的地球物理观测数据表结构。经过全库迁移、增量迁移和数据对比,国家地球物理台网中心的Oracle数据库中约13 TB的数据已经迁移到ClickHouse并每日更新。实际测试表明:ClickHouse显著提升数据读写性能,增强了数据统计查询能力,并且通过多副本保证了数据库的一致性和安全性。

基于ClickHouse的实时数仓实践

随着信息时代的到来,数据量急剧增长,如何高效地处理和分析数据成为各个行业面临的重要问题。实时数仓作为一种高效的数据处理和分析方案,受到了越来越多企业和机构的青睐。文章介绍了基于ClickHouse的实时数仓实践,并阐述了Flink与ClickHouse的集成方式及其优点。ClickHouse作为一款高速的列式存储数据库,在实现实时数仓时具有优秀的性能和扩展性。Flink作为一款高性能的流式计算框架,提供了丰富的API和工具,可以方便地对实时数据进行处理和分析。将ClickHouse和Flink集成,可以实现高效的实时数据处理和分析,为企业提供更加准确、实时的数据支持。文章通过一个实际的案例,详细介绍了如何使用ClickHouse和Flink构建实时数仓。

基于ClickHouse的5G专网感知系统的设计和实现

随着联通集约化5G专网管理平台的建设和发展,系统承载的设备日益增多,设备产生的外部数据表示法(ExternalDataRepresentation,XDR)话单也相应持续增加。现有平台中的网络感知系统采用了以MySQL为主的传统软件结构,越来越不适用于大数据场景。因此,5G专网管理平台提出了以ClickHouse列式数据库为引擎的网络质量实时分析架构,以满足系统功能和性能需要。

基于ClickHouse的版本化数据迁移方法

针对ClickHouse进行数据迁移过程中存在的业务开发周期较长、数据空窗和集群性能下降的问题,提出了一种版本化的数据迁移方法。首先采用参数化配置模式提升开发人员在不同业务场景下的开发效率;其次,利用ClickHouse中的原生ATTACH方法在源数据表和目标表之间构建一张版本表,保证数据迁移过程对用户无感知;接着,通过数据预处理以及对集群状态的实时监控,选择负载最小的副本方法来减少集群负担;此外,还加入验数逻辑和分片级的数据回滚功能来保证数据准确性。在广泛使用的业务生产场景中进行亿级数据的迁移测试对比,结果表明,该方法优于市面上最先进的技术,在硬件设备相同的情况下数据迁移时间缩短90%以上。

基于ClickHouse的用户事件分析系统的设计与实现

在大数据时代,随着数据越来越多,基于传统数据库的商业智能(Business Intelligence,BI)系统,在查询、分析数据时会存在查询效率慢、查询超时、拖垮数据库等问题,因此有必要引入新型BI系统.笔者首先介绍了传统BI系统的起源和劣势,论述了基于ClickHouse新型BI的优势,并根据企业业务的实际情况,采用ClickHouse作为新型BI的存储引擎,对其进行架构设计、功能设计、程序实现.

Clickhouse在采油厂数据湖技术生态中的应用前景

在数据量日益增长的当下,传统数据库的查询性能已满足不了业务需求。近年来大量开源架构为探索流批一体实时数仓的大数据研发工程师提供了丰富的资源,同时也增加了工程师在学习成本、框架的多样化和复杂度等方面选择合适工具的难度。此情景下,整合开源框架、工具、库、平台势在必行。该文引入Clickhouse数据库管理系统,并在数字化油田构建实时数仓的建设中构想其应用前景。

基于Clickhouse的大数据对比分析应用案例

阐述一个新型的OLAP数据库Clickhouse,从多个维度切入、分析了纽约出租车大数据的4个场景,在分析过程中,使用Clickhouse,PostgreSql的行式模式和列式模式进行性能对比。测试结果表明,使用Clickhouse数据库在存储效率,导入性能,分析性能方面均大幅胜出,在OLAP领域应用非常合适。

轻量级海量时空数据处理分析服务框架

为提升海上船舶态势监控信息化水平,构建了轻量级海量时空数据处理分析服务框架。采用PostgreSQL数据库存储大批量实时动态目标,结合时空索引构建实时目标数据服务和船舶分布绿点图服务,采用ClickHouse数据库存储海量目标航迹数据,结合数据聚合等技术构建历史轨迹调取服务和统计分析数据服务,从而为业务系统提供实时目标获取、船舶分布显示、历史轨迹调阅和动态划线划区统计等服务。该服务框架具有性能高、适应性强和扩展灵活等特征,可用于客户端/服务器端(C/S)系统、浏览器端/服务器端(B/S)系统、手机应用程序(App)和轻应用等。

大规模空间轨迹数据管理方法研究

设计了基于新型大数据管理框架ClickHouse的空间轨迹大数据管理方案,以Geohash编码规则为内部空间轨迹数据的空间索引生成方式,同时将Geohash编码特性运用到大规模轨迹数据的检索方案设计中。通过AIS船舶轨迹数据与传统的PostGIS空间数据存储框架进行数据管理与检索的效率对比,验证本文框架的优越性能。

基于电网调度域设备监测实时数据采集的实现方法

本文介绍一种基于电网调度域设备监测实时数据采集的实现方法。通过分布式任务调度技术、实时流数据处理技术和海量时间序列数据库技术,解决电网调度域设备监测实时数据采集不及时且与业务管理数据无法互通的问题,实现电网调度域设备监测数据的实时采集、处理和存储。

基于特定场景的大数据实时分析平台的设计与实现

为了解决单表数据记录条数在亿级以上的数据实时统计分析问题,针对聚合运算后的结果数据记录数量显著少于原始记录数量的一类特定场景,提出构建大数据实时分析平台的方案。通过对比流式架构、Lambda架构、Kappa架构、Unifield架构等4种主流数据处理架构的优缺点,提出选择Kappa架构,并基于Apache Flink计算引擎来构建大数据实时分析平台,并通过全量数据全运算(会定期运行)、增量数据实时运算两个流处理过程来实现。该方案设计了3种运算结果存储方案,以满足不同应用情形下对最终运算结果的查询效率要求。