-
题名基于HBase的高能物理数据存储及分析平台
被引量:7
- 1
-
-
作者
雷晓凤
李强
孙功星
-
机构
中国科学院高能物理研究所
中国科学院大学
-
出处
《计算机工程》
CAS
CSCD
北大核心
2015年第6期49-55,共7页
-
基金
国家自然科学基金资助项目(11375223
11375221)
+1 种基金
国家自然科学基金A3前瞻计划基金资助项目(61161140454)
国家自然科学基金委员会-中国科学院大科学装置联合基金资助项目(11179020)
-
文摘
高能物理对撞机产生数百亿计的物理事例,而物理分析则是从中选取几千个有意义的事例,该分析过程是一个典型的大数据处理及数据挖掘应用。由此,设计高效的数据结构、存储及访问机制,快速挑选出有意义的物理事例十分重要。介绍事例的数据结构、存储和处理技术,分析高能物理数据的特点,提出一种以HBase,ROOT,BEAN及Map Reduce为基础的新型高能物理数据存储及处理技术系统。利用HBase存储数据、Map Reduce实现并行处理,选择ROOT和BEAN作为高能物理分析框架,并给出具体设计与实现方案。测试结果表明,与传统高能物理数据存储系统相比,该系统具有更快的数据处理速度,当预筛选服务生效时能够更加有效地利用I/O和CPU资源。
-
关键词
高能物理数据
大数据
HBase数据库
ROOT框架
bean框架
MAPREDUCE框架
-
Keywords
high energy physics data
big data
HBase database
ROOT frame
bean framework
MapReduce frame-work
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-