期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息

利用位图索引加速大规模科学数据按需访问 被引量：4

Using Bitmap Index to Accelerate Accessing Large Scale Scientific Data on Demand
下载PDF
导出
摘要 在分析TB及以上规模复杂科学数据时,实现关键数据的快速定位是一项非常具有挑战性的任务.通过引进目前国际最新位图索引技术,设计并实现科学数据按需访问软件系统,综合利用分段、编码、WAH压缩等位图索引改进策略,减少索引尺寸规模和查询响应时间.通过实际数据性能结果表明,此方法可以将大规模科学数据的按需访问速度提高2～10倍. 在分析TB及以上规模复杂科学数据时,实现关键数据的快速定位是一项非常具有挑战性的任务.通过引进目前国际最新位图索引技术,设计并实现科学数据按需访问软件系统,综合利用分段、编码、WAH压缩等位图索引改进策略,减少索引尺寸规模和查询响应时间.通过实际数据性能结果表明,此方法可以将大规模科学数据的按需访问速度提高2～10倍.
作者 夏芳 陈虹 曹立强 沈卫超
机构地区 北京应用物理与计算数学研究所高性能计算中心
出处 《计算机研究与发展》 EI CSCD 北大核心 2011年第S1期94-99,共6页 Journal of Computer Research and Development
基金 国家"八六三"高技术研究发展计划基金项目(2010AA8030415)
关键词 科学数据 按需访问 位图索引 查询处理 scientific data accessing on demand bitmap index query processing
分类号 TP3 [自动化与计算机技术—计算机科学与技术]
  • 相关文献

参考文献5

二级参考文献21

  • 1InmonWH.Building the data warehouse[M].北京:机械工业出版社,2000..
  • 2Inmon W H. Building the data warehouse[M]. New York:John Wiley & Sons,1996. 10-100.
  • 3Chaudhuri S, Dayal U. An overview of data warehousing and OLAP technology [J]. ACM SIGMOD Record, 1997, 26(1):65-74.
  • 4Chaudhuri U, Dayal U. Data warehousing and OLAP for decision support[J]. ACM SIGMOD Record, 1997, 26(2): 507-508.
  • 5Codd E F. Codd S B, Salley C T. Providing OLAP (on-line analytical processing) to user-analysts: an IT mandate[R]. San Jose: Codd ＆ Date Inc, 1993. 1-31.
  • 6Neil P O, Quass D. Improved query performance with variant indexes[A]. In: Peckham J, ed. Proc of the ACM SIGMOD International Conference on Management of Data [C]. New York:ACM Press, 1997. 38-49.
  • 7Gupta H, Harinarayan V, Rajaranman A, et al. Index selection of OLAP[A]. In: Gray A, Larson P, eds. Proc of the 13th International Conference on Data Engineering (ICDE) [C]. Los Alamitos:IEEE Computer Society Press, 1997. 208-219.
  • 8Chan C Y, Ioannidis Y E. Bitmap index design and evaluation[A]. In: Haas L M,Tiwary A, eds. Proc of the ACM SIGMOD International Conference on Management of Data[C]. New York: ACM Press, 1998. 355-366.
  • 9Wu M C. Query optimization for selections using bitmaps[A]. In: Delis A, Faloutsos C, Ghandeharizadeh S, eds. Proc of the ACM SIGMOD International Conference on Management of Data[C]. New York: ACM Press, 1999. 227-238.
  • 10Wu K, Otoo E J, Shoshani A. A performance comparison of bitmap indexes[A]. In: Paques H, Liu L, Grossman D, eds. Proc of the 10th International Conference on Information and Knowledge Management(CIKM) [C]. New York:ACM Press, 2001. 559-561.

共引文献9

同被引文献26

  • 1秦学勇,姚燕生.可扩展数据仓库若干关键问题研究与分析[J].计算机技术与发展,2006,16(12):136-138. 被引量：4
  • 2万怀宇,黄厚宽.位图索引及其在数据仓库中的应用研究[J].铁路计算机应用,2006,15(12):31-33. 被引量：6
  • 3夏芳,陈虹,宋磊,等.数值模拟网格数据模型设计与实现[J].计算机研究与发展,2009,46(s2):258-264.
  • 4Papadias D, Tao Y, Kalnis P, et al. Indexing spatio-ternporal data warehouses[C]//Proc of International Conference on Data Engineering. 2002:166-175.
  • 5Kesheng Wu. Fast Bit reference guide[R]. LBNL Tech Report LBNL/PUB-3192, 2007.
  • 6Williams D N, Ananthakrishnan R, Bernholdt D E, et al. Data management and analysis for the Earth System Grid[J]. Journal of Phys- ics : Conference Series, 2008, 125:1-15.
  • 7Adamova D. Experience of the WLCG data management system from the first two years of the LHC data taking[C]//Proeeedings of Sci- ence. 2012:014.
  • 8Klasky S. Data management on the fusion computational pipeline[J]. Journal of Physics : Conference Series, 2005, 16:510-520.
  • 9Shoshani A. The scientific data management center: Providing technologies for large scale scientific exploration[J]. Lecture Notes in Com- puter Science, 2009, 5566 : 1-2.
  • 10The HDF Group. HDF5 User's Guide[EB/OL] [2012-03-31]. http://www.hdfgroup.org/HDF5/doe/UG/.

引证文献4

计算机研究与发展
2011年 第S1期

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部