科学数据网络:概念、系统与应用

【应用背景】科学数据具有分散化、差异化、孤岛化等典型特征,构建可打破各种孤岛、有效整合分布式科学数据资源的基础设施具有重要意义。【方法】本文梳理了国内外类网络科学数据平台、技术与系统的进展,阐明了科学数据网络的概念、特征、功能与关键技术,并针对新型科研范式下科学数据的协作利用需求,提出并设计了科学数据协作网络RDCN。【结论】科学数据网络可有效改善科学数据的分散化、差异化、孤岛化问题,RDCN在生物多样性研究、生态系统野外台站观测研究、多信使天文学研究等融合科学协作场景中将发挥重大的作用。

太阳耀斑预报深度学习建模中样本不均衡研究

不同等级耀斑发生的频次存在数量级上的差别,使基于常规卷积神经网络的耀斑预报模型通常难以捕捉M和X类耀斑先兆特征,导致高等级耀斑预报精度低的问题.本文对于这种耀斑预报中的长尾分布问题,通过控制变量法讨论不同深度长尾学习方法对于耀斑预报精度提升.尝试从训练集优化、损失函数优化、网络权重优化等角度改进模型对于M和X类耀斑的预报性能.在SDO/HMI太阳磁图预报未来24 h耀斑的实验中,相比于常规方法训练的基准模型,改进模型在M和X类耀斑预报的精确率分别有了53.10%和38.50%的提升,同时在召回率上有64%和52%的提升.表明在耀斑预报问题中,数据长尾分布的处理至关重要,验证了深度长尾学习方法的有效性.这种提升尾部类预报精确率的方法不仅可以应用于耀斑预报领域,还可以迁移到其他具有长尾分布现象的空间天气典型事件的预报分析中.

基于贝叶斯证据的全球地磁场模型主磁场阶数分析

全球主磁场模型描述了主磁场的时空分布特征。模型的主磁场阶数是构建主磁场模型的关键问题之一。使用贝叶斯推理分析全球主磁场模型,依据贝叶斯证据比较模型阶数,为主磁场的阶数分析提供一种统计依据。利用Swarm卫星磁测数据,估计不同阶数的主磁场模型的证据。结果表明,在1~20的模型阶数中,阶数N=12具有全局最佳证据。参照Jefrrey’s scale的阈值区间,数据对阶数N=12的偏好显著优于其他阶数。实验表明,主磁场阶数的证据推理可用于研究主磁场贡献,结果与14阶球谐函数的功率谱分析相匹配。

基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。

IA:一种科学数据云分析服务管理引擎

【目的】随着科学大数据技术的发展,问题导向的数据端分析成为常态。科学数据处理以云计算的形式跑在数据端,并提供安全的用户访问方式、可选的算法资源库、高效的数据存取接口、便捷的用户交互工具、有效扩展的计算和存储资源,将有力提升科学家的数据分析探索效率。【方法】本文提出一种基于容器技术的科学数据端云分析服务管理引擎设计方案:资源节点以自动注册的方式进行横向扩展,资源节点可以是物理主机或虚拟主机;当在用资源达到阈值,管理节点通过接口启动资源节点的注册,同时资源入池;可选的算法资源库、高效的数据和计算访问接口均以容器镜像的方式进行版本控制,在构造资源池时选用。容器实例池的健康度在节点内部进行维护,根据用户的最长使用时间、静默时间等进行实例生命周期管理;内部资源池的容器实例有准备中、准备好、使用中、消亡中几种状态,并始终维护资源池的固定大小。用户认证访问时,根据用户的领域算法库的选择和资源池的使用率进行新用户资源的接入,并通过代理配置提供唯一的标识入口以供用户访问;用户以安全加密的网络访问方式访问交互编程组件或交互应用组件,即可使用数据端的数据资源和计算资源。每个交互组件均在独立的容器实例中,可以进行有效的资源隔离。【结果】基于以上科学数据端云分析服务管理引擎构建的交互分析云服务系统IA(Interactive Analysis Cloud Service System)V1.0,实现了科学数据端云分析资源的统一管理服务,可以通过服务门户直接面向终端科学家使用,也可以通过API接口以docker容器交付的方式给其它现有数据系统调用。已逐步构建生命健康、生态环境、气象水文等领域的科学数据端云分析服务,已应用于中国科学院战略先导专项A、中国科学院战略先导专项B、国家烟草专卖局重大专项等重大项目;已应用于国家微生物科学数据中心、国家空间科学数据中心等国家科学数据中心;已应用于地理空间数据云、DarwinTree分子数据与应用环境等领域公共平台。并提供面向R、TensorFlow、Data Science、All Spark等的常用工具服务,用户可以https的方式访问交互编程组件(iJupyter)或交互应用组件(iWorkflow),即可使用数据端的数据资源和计算资源。

空间科学卫星数据处理框架研究与系统实现

基于我国空间科学战略发展需求,针对我国空间科学先导专项当前在役与未来即将开展的众多卫星任务,对卫星地面段的数据处理框架及关键技术进行研究,提出了一种通用的具有任务级与资源级双层调度引擎的空间科学卫星数据处理技术框架(space science satellite data processing framework,SDPF),设计实现了自动、高效、实时、标准化的空间科学卫星数据处理系统,使得多卫星任务、多载荷数据源的大规模数据的高度复杂的处理过程得以快速并行完成,在数据处理能力、计算资源规划、应对故障的可靠性、灵活性和可拓展性等方面体现出非常好的应用效果,也可为其他领域相关系统的设计提供参考思路。

大数据开放背景下的我国空间科学数据出版实践

阐述国内外数据开放共享与出版背景,分析我国的科学数据出版现状,探讨我国国家空间科学数据中心的科学数据出版实践,提出科学数据出版中存在的大部分期刊尚未对论文数据做出要求、数据利益相关者积极性不高、缺乏数据权益保护机制、数据仓储的国际认可度低且经费存在可持续等问题,并针对这些问题提出相应的建议。

科技计划项目数据管理过程模型

面向未来日益增多的各类科技计划项目和快速增长的科学数据资源,为了深入加强和规范科学数据管理,以项目周期为轴线,融合数据生命周期和数据管护理念,定义了项目周期内有序开展的7项数据活动,提出了适用于各类科技计划的科技计划项目数据管理过程模型。描述了项目各阶段内依序开展的数据产出分析与管理策划、数据产品定义、产品生产与处理、产品汇交与编目、开放与服务、评价与反馈、维护与保存7项数据活动的内容、输入与产出,并结合任务书签署、年度/中期检查、综合绩效评价等管理节点给出了数据活动产出控制措施。此外,提出了项目阶段与管理节点增设、数据活动拆分合并、产出内容与管理角色细化等模型实施建议,以提高对不同类型科技计划项目的适用性。

基于U-net的紫外极光观测极光卵形态提取

极光卵形态提取是极光研究的重要手段.如何提高强干扰背景下的紫外极光图像极光卵形态提取精度,目前仍是一个难题.本文提出一种基于深度学习语义分割模型U-net的方法,实现了对极光卵形态的高精度提取.在Polar卫星紫外极光观测数据的实验结果表明,该方法相比于已有算法精度更高,对完整型极光卵和缺口型极光卵图像均能得到更加精确的提取结果,特别是针对强日辉干扰、灰度不均匀和对比度低情况下的紫外极光图像时,该方法显示了明显优势.

利用转移熵研究引起磁暴扰动的太阳风参数重要性排序

磁暴是重要空间天气灾害性事件,能够影响卫星的安全在轨运行和地面电网系统等。目前,对于太阳风–磁层相互作用的研究多集中在分析相关系数的线性关系,而基于信息论的转移熵可以提供强大的无模型有向统计量,可用来分析传统相关性分析和模型假设检测不到的非线性关系。本文利用转移熵的方法,研究了磁暴期间的太阳风驱动参数。利用第23和24太阳活动周的小时精度数据进行长时间尺度分析,发现太阳风向地磁的信息传递呈双峰分布,表现出与太阳活动水平的一致性。利用2010-2018年93个地磁暴期间的分钟精度数据进行短时间尺度分析,结果表明:行星际电场(E)和行星际磁场南向分量(B_(z))对地磁指数Sym-H在时间延迟为60 min时信息传递较强,而太阳风速度v_(sw)、温度T_(sw)、数密度D_(sw)、磁场B和动压P_(sw)对Sym-H指数的信息传递较弱。上述研究结果能够为太阳风-磁层相互作用的建模提供参数选择及确定预测范围的依据。

空间科学数据产品组织模型的应用研究

科学数据产品规范化组织是科学数据管理过程中的重要环节,对空间科学领域多学科多类型数据资源的统一组织是发挥数据价值,支撑科技创新的有效保障。本文基于国家科学数据中心构建的科学数据产品组织模型,以空间科学先导专项为例,从数据汇交与处理、管理与归档、发布共享3个数据活动关键环节,系统地介绍其在空间科学数据管理活动中的应用,总结科学数据产品组织模型实际应用效果。

Has the maximum of Solar Cycle 23 appeared?

In this note, we define firstly a compositive parameter as an index describing the level of solar activity in a solar cycle. The parameter is derived from a combination of the smoothed monthly mean sunspot number with the fluctuation of the associated monthly mean sunspot numbers to the smoothed one. Then, a method is developed for estimating the time of the appearance of a solar maximum based on the conception of similar cycles. An application ofthe method to the 23rd solar cycle shows that the maximum of the cycle should have appeared in the period from April to August 2000, and the descending phase of Cycle 23 has come.