CarbonData在网络安全日志分析场景下的性能评估

本文针对企业网络安全日志分析场景,采用实际网络安全日志数据,设计建表和测试方法,使用大数据引擎Spark SQL和Presto对索引行列混合式数据格式CarbonData进行了性能评估。通过测试得出,基于Spark SQL+CarbonData方案的数据查询和统计效率较高,能满足多种数据处理和分析要求,适用于网络安全日志分析应用。本文为企业网络安全日志分析方案的技术选型和设计提供参考。

浅析CARBONDATA在清单查询中的应用

现在的社会是一个高速发展的社会,随着互联网的快速发展,产生的数据量越来越大。对于大数据的处理,原有传统架构的IT系统往往难于承载的了,新的系统架构都往分布式架构方向发展,以便提供快速、海量数据的处理能力。

军人电子健康档案大数据即席查询统计子系统的设计与实现

目的利用列存储和分布式内存计算等大数据处理技术实现军人电子健康档案(MEHR)即席查询统计的快速响应,提高统计效率,改善交互体验。方法对MEHR即席查询统计子系统进行需求分析和功能设计,提出了"档案存储层——数据预处理层——统计应用层"的三层技术架构。经过对大数据处理技术的选型评估,在业务领域数据建模和预处理的基础上,采用Carbon Data列存储技术实现预处理后的数据存储,Spark SQL交互式处理框架实现查询统计的计算。结果分别对MEHR原先的数据统计子系统和该文实现的即席查询统计子系统,测试5个即席查询统计任务,后者在统计效率上有数十倍的提升,对200万人档案、1亿条数据记录量级的即席查询统计能达到秒级响应的性能。结论该文设计和实现的即席查询统计系统为MEHR大数据的统计分析提供了强大灵活的技术支撑。