国家高能物理科学数据安全保障体系

为解决国家高能物理科学数据中心面临的数据安全问题,本文在传统的网络安全相关研究基础上,分析我国高能物理科学数据中心面临的科学数据安全风险,总结出高能物理科学数据安全保障的特点,提出了适合我国高能物理领域科学数据的安全管理体系、技术体系和运维体系,以期为科学数据安全问题的实践应用提供参考借鉴。本文提出的高能物理科学数据安全保障体系,覆盖数据全生命周期,可以有效保障数据在传输、存储和使用过程中的机密性、完整性和可用性,防止未经授权的访问、窃取、破坏、篡改和泄露等安全事件的发生。

基于Rucio的高能物理网格数据管理的研究和应用

【目的】近年来,高能物理网格数据规模和用户需求产生重大变革,需要研究和应用新兴网格数据管理技术以应对需求变化。【方法】基于新型网格数据管理系统Rucio,利用其高伸缩性、模块化和可扩展性的软件特点,发挥其分布式数据恢复、自适应的数据复制的功能特性,为多个国内主导的国际合作实验设计了面向实验需求的网格数据管理解决方案。【结果】实现了分布式数据统一命名、数据增删改查等基础管理功能、多站点数据副本管理、原始数据分发管理、实验软件数据管理接口嵌入等多种功能,并先后进入了测试应用阶段。【结论】本研究为未来国内主导的国际合作的高能物理实验网格数据管理方案的设计和开发进行了探索和尝试,希望进一步在网格架构上开展深入研究,实现国内实验通用标准的网格数据管理方案。

基于人工智能的高能物理大数据技术与应用

【目的】高能物理的科学目标是探索物质微观结构以及相互作用的基本原理,这些研究均依赖于超大规模的高能物理实验装置。由高能物理加速器技术衍生出来的同步辐射光源、自由电子激光、散裂中子源装置成为材料科学、生物医学、环境科学、地质学、物理、化学等学科领域的基础和应用研究的不可替代的工具。新一代高能物理实验装置的规模和复杂度得到巨大的提升,实验产生的数据量出现数量级的增长。人工智能和大数据技术逐步成为应对高能物理装置运行以及数据处理挑战的有效工具,并带来科研范式的变革。【方法】本文讨论了高能物理在大数据方面的挑战、国内外大数据与AI在高能物理领域的应用现状。文章介绍了国内高能物理大数据与AI的战略部署和相关研究,同时介绍了一些应用示范案例。【结论】文章最后对大数据与AI带来的科研范式变革进行了讨论。

高能物理大数据挑战与海量事例特征索引技术研究

新一代高能物理实验装置的建成与运行,产生了PB乃至EB量级的数据,这对数据采集、存储、传输与共享、分析与处理等数据管理技术提出了巨大挑战.事例是高能物理实验的基本数据单元,一次大型实验即可产生万亿级的事例.传统高能物理数据处理以ROOT文件为基本存储和处理单位,每个ROOT文件可以包含数千至数亿个事例.这种基于文件的处理方式虽然降低了高能物理数据管理系统的开发难度,但物理分析仅对极少量的稀有事例感兴趣,这导致了数据传输量大、I?O瓶颈以及数据处理效率低等问题.提出一种面向事例的高能物理数据管理方法,重点研究海量事例特征高效索引技术.在这种方法中,将物理学家感兴趣的事例的特征量抽取出来建立专门的索引,存储在NoSQL数据库中.为便于物理分析处理,事例的原始数据仍然存放在ROOT文件中.最后,通过系统验证和分析表明,基于事例特征索引进行事例筛选是可行的,优化后的HBase系统可以满足事例索引的需求.

基于MapReduce的高能物理数据分析系统

将MapReduce思想引入到高能物理数据分析中，提出一个基于Hadoop框架的高能物理数据分析系统。通过建立事例的TAG信息数据库，将需要进一步分析的事例数减少2-3个数量级，从而减轻I／O压力，提高分析作业的效率。利用基于TAG信息的事例预筛选模型以及事例分析的MapReduce模型，设计适用于ROOT框架的数据拆分、事例读取、结果合并等MapReduce类库。在北京正负电子对撞机实验上进行系统实现后，将其应用于一个8节点实验集群上进行测试，结果表明，该系统可使4×10-6个事例的分析时间缩短23％，当增加节点个数时，每秒钟能够并发分析的事例数与集群的节点数基本呈正比，说明事例分析集群具有良好的扩展性。

分布式站点间的跨域文件系统

高能物理科学研究大多依托固定站点大科学装置,拥有海量实验数据。因此数据计算往往基于异地站点的海量实验数据。针对这些海量的分布式实验数据,传统的高能物理计算模式中采用了网格的方式进行跨域数据共享,但资源利用率低、响应时间长以及部署维护困难等问题,限制了网格技术在中小型站点间的数据共享。针对高能物理计算环境中,中小型站点间的数据共享问题,以Streaming&Cache为核心思想,设计一种远程文件系统,提出远程数据访问本地化,提供高实时性数据访问模式,实现基于HTTP协议的按需数据传输与管理,拥有数据块散列存储和文件统一化视图管理。与高能物理计算中常用分布式文件系统EOS、Lustre、GlusterFS相比,具有广域网可用性、网络时延不敏感性和高性能数据访问模式。

基于HBase的高能物理数据存储及分析平台

高能物理对撞机产生数百亿计的物理事例,而物理分析则是从中选取几千个有意义的事例,该分析过程是一个典型的大数据处理及数据挖掘应用。由此,设计高效的数据结构、存储及访问机制,快速挑选出有意义的物理事例十分重要。介绍事例的数据结构、存储和处理技术,分析高能物理数据的特点,提出一种以HBase,ROOT,BEAN及Map Reduce为基础的新型高能物理数据存储及处理技术系统。利用HBase存储数据、Map Reduce实现并行处理,选择ROOT和BEAN作为高能物理分析框架,并给出具体设计与实现方案。测试结果表明,与传统高能物理数据存储系统相比,该系统具有更快的数据处理速度,当预筛选服务生效时能够更加有效地利用I/O和CPU资源。

高能物理事例级数据管理与传输系统的研究

高能物理实验不断的进步与发展产生了PB乃至EB级的数据,这些数据的采集、存储、传输与共享、分析与管理都面临着极大的问题与挑战。为了应对这些挑战,设计和实现了面向事例的数据管理系统,有效解决事例数据处理效率低以及分站点资源利用率低的问题。设计了一个基于Nosql数据库的事例索引系统,通过事例数据特征抽取,选取物理学家最感兴趣的属性作为索引,存储在数据库中,并采用倒排索引技术,提高事例数据检索的效率。针对事例数据进行缓存优化,减少数据转化和存储开销。提出数据跨域传输方案,充分利用网络带宽,降低分站点处理数据的延迟。系统进行了相关验证,实验结果表明,事例级的索引技术能够显著提高事例数据的检索效率,数据传输系统的网络带宽也可以利用到百分之九十以上。

支持异构集群并行的高能物理数据处理系统

传统集群计算系统无法充分利用本地磁盘的存储资源和I/O,大量网络I/O成为系统瓶颈,导致资源利用率降低,并造成高昂的存储和网络成本。使用Hadoop处理分析作业可有效利用本地磁盘存储和I/O资源,而集群资源统一管理工具Mesos则使用轻量化的设计和高效的通信机制,能在不同计算集群之间动态共享集群资源。为此,分析高能物理数据处理的特点,利用Mesos构建异构集群间资源共享的高能物理实验数据处理系统,实现Torque/Maui和Hadoop集群的集成。测试结果表明,该系统能够在集群间动态分配集群资源,并利用本地存储和磁盘I/O显著降低网络I/O,提高集群资源利用率。

高能物理网格数据管理关键技术研究

首先概要介绍高能物理网格的需求和发展,然后对其中数据管理的关键技术进行深入分析和探讨,包括名字服务、数据复制管理、数据传输、海量存储系统、用户访问接口等。最后,介绍一个用于高能物理网格数据管理的文件系统原型设计。

多网格平台上的高能物理数据共享

当前,高能物理网格计算平台主要依赖于单一的网格中间件与操作系统.而实际上,越来越多的异构资源需要被整合进来.因此,如何在多个平台上(包括不同的网格中间件与操作系统)共享高能物理网格数据是一个基本的研究课题.本文在不改动原有平台的基础上,提出并实现一个网格数据共享系统.基于该系统用户可以透明的在多个平台上管理和共享海量数据.本文主要描述这个系统的体系结构、实现方法、性能优化以及使用场景.

神光Ⅱ激光装置集中控制系统设计

为提高神光Ⅱ激光装置的计算机控制水平,以控制系统软件开发工具EPICS为框架,设计并开发了神光Ⅱ装置的集中控制系统。具体介绍了该控制系统的总体结构和软件的逻辑组成,并以数据库和驱动程序为实例探讨了在Linux环境下EPICS软件的开发和应用。实验结果表明:该控制系统能够满足神光Ⅱ装置对计算机集中控制系统的功能要求,也为高功率激光装置的集中控制提供了新方案。

高能物理与相关学科数据库建设研究与实现

科学数据库是国内综合性最强的科学信息服务系统,高能物理与相关学科是科学数据库中不可分割的一部分。以高能天体物理和核分析两个典型的高能物理研究方向为例,研究高能物理学科数据库的建设。在分析数据特征的基础上,设计了数据库的具体结构,分析了数据处理流程;设计了以J2EE开放标准为基础架构,JAVA为主要开发工具的三层体系结构,实现了完整的用户应用系统;介绍了目前在高能物理学科数据库建设方面的进展现状。

面向高能物理计算的网格文件系统

针对网格环境下高能物理计算的需求,基于现有的网格中间件,提出并设计了一个网格文件系统HEP-GridFS,目的是将异构的、动态变化的、大规模的网格存储资源虚拟成单一的、稳定的文件系统视图,并根据用户实际需求提供不同的服务质量。描述了它的体系结构以及关键技术,主要包括名字服务、存储资源管理、数据复制、用户访问接口、工作流程等。

高能物理科学数据服务与应用

高能物理科学数据是用于研究物质的基本构成以及宇宙起源基础研究的重要资源。利用网络、计算、存储等基础设施可以提供包括数据汇交、数据共享、数据处理等高能物理科学数据服务,研究探讨高能物理科学数据的服务与应用具有重要意义。本文阐述国家高能物理科学数据中心支持的包括宇宙线观测、空间科学、粒子物理和材料科学领域的数据应用模式以及所采用的技术手段和方法,并通过典型服务案例介绍国内高能物理科学数据服务与应用。

基于SDN的高能物理数据交换虚拟专用网研究

提出一种基于软件定义网络架构的大批量高能物理科学数据交换虚拟专用网思想,构建跨地域的高能物理实验合作单位之间SDN架构网络,设计数据传输智能路径选择算法,利用充足的IPv6链路资源服务于高能物理科学数据传输,解决大批量高能物理科学数据传输需求对现有网络带宽不足的压力,保障高能物理科学数据在合作单位之间高速、稳定、安全地传输。

EPICS IOC冗余技术研究

为了提高反应堆及其他高安全等级控制系统的安全可靠性,设计了一种基于Heartbeat软件和Autosave软件的EPICS IOC冗余测试平台。在此测试平台中,Heartbeat用于心跳监测,实现IOC的冗余切换;Autosave动态保存IOC记录的域到网络文件系统(NFS)服务器中,以实现数据同步。经测试,该系统运行良好,可快速实现IOC的冗余切换和数据信息同步。基于Heartbeat和Autosave的EPICS IOC冗余技术可在高可靠性等级控制系统得到进一步应用。

高能物理与网格计算

概略介绍了高能物理实验计算环境的最新发展情况,包括近一些年来国际高能物理实验发展和对计算需求的增长变化;以正在建造中的LHC上的实验为例介绍了为满足这些需求而制订的计算环境规划;网格计算技术诞生的历史及国际高能物理网格技术研究的现状;高能物理网格所需要的网络基础设施的发展情况等。最后介绍了正在起步中的我国高能物理网格技术研究。

基于国产处理器架构的高能物理数据处理系统

随着规模的不断扩大,高能物理实验产生了越来越多的科学数据,迫切需要先进的数据处理系统来支撑科学研究。目前,以ARM架构等为代表的国产处理器发展迅速,高能物理数据处理系统面临着新的机遇与挑战。首先总结了高能物理数据处理系统的需求及体系架构;然后描述了在国产处理器上开展的高能物理数据处理软件移植等相关工作,并提出了一种新的面向高能物理数据处理的可计算存储技术方案;最后给出了在国产处理器架构上的典型应用评测结果。

新一代高能物理实验中的计算机技术

本文介绍了新一代高能加速器实验对物理实验技术的要求，特别是对数据获取系统和计算机技术的挑战。