平方千米阵列(Square Kilometre Array,SKA)科学数据处理产生的数据超出了所有已存在的分布式处理系统的处理能力,如何实现一个分布式执行框架是当前科学数据处理的一个重要研究内容。Spark是一个非常成熟的商业框架,在互联网中被广泛应...平方千米阵列(Square Kilometre Array,SKA)科学数据处理产生的数据超出了所有已存在的分布式处理系统的处理能力,如何实现一个分布式执行框架是当前科学数据处理的一个重要研究内容。Spark是一个非常成熟的商业框架,在互联网中被广泛应用,根据平方千米阵列项目进展的要求,重点研究了如何将算法参考库(Algorithm Reference Library,ARL)中的部分管线移植到Spark上执行。对部分实现过程进行了分析讨论,给出了相应的任务流程。最终结果表明,移植后代码生成结果符合预期,Spark能够满足部分分布式数据的要求,但迫切需要解决自身存在的一系列问题。展开更多
基金Supported by the National Natural Science Foundation of China(10633010,11173009)the 973 programme (2007CB815405)+3 种基金the Bureau of Education of Guangzhou Municipality(No.11 Sui-Jiao-Ke[2009])Guangdong Province Universities and Colleges Pearl River Scholar Funded Scheme(GDUPS)(2009)Yangcheng Scholar Funded Scheme(10A027S)the Joint Laboratory for Optical Astronomy of Chinese Academy of Sciences
基金This work is supported by the National 973 project (NKBRSF G19990754)the National Science Fund for Distinguished YoungScholars (10125313)+1 种基金the Fundfor Top Scholars of Guangdong Provience (Q02114)This research has made use of data fromthe University of Michigan Radio Astronomy Observatory which has been supported by the University of Michigan and the National Science Foundation
文摘平方千米阵列(Square Kilometre Array,SKA)科学数据处理产生的数据超出了所有已存在的分布式处理系统的处理能力,如何实现一个分布式执行框架是当前科学数据处理的一个重要研究内容。Spark是一个非常成熟的商业框架,在互联网中被广泛应用,根据平方千米阵列项目进展的要求,重点研究了如何将算法参考库(Algorithm Reference Library,ARL)中的部分管线移植到Spark上执行。对部分实现过程进行了分析讨论,给出了相应的任务流程。最终结果表明,移植后代码生成结果符合预期,Spark能够满足部分分布式数据的要求,但迫切需要解决自身存在的一系列问题。
基金Supported by National Natural Science Foundation of China(11073007,10573005,10273019)National Natural Science Foundation of China(NSFC 10633010)+2 种基金the 973 programme(2007CB815405)the Bureau of Education of Guangzhou Municipality(11 Sui-Jiao-Ke[2009])GDUPS(2009)
文摘提出和完善了一个分析类星体能谱数据的方法.利用该方法,可以发现并测出类星体的吸收线.文章还通过取自Sloan Digital Sky Survey样本的3个类星体的能谱数据。
基金This Workis National Natural Science Fund(10403001),and the Scientific Research Project of Education Department of Hunan Province(05C724),and supported by Natural Science Funds of Hunan University of Arts and Science.