基于Daisy的天文卫星数据处理软件系统设计与实现

天文卫星数据处理是开展空间天文学领域科学研究的重要内容,也是当前研究的热点。然而,在大数据背景下,由于需要进行大规模数据处理,传统的数据处理方式已经无法满足当前应用的需求。针对这一问题,本文提出了一种数据处理软件系统,该系统基于Daisy(Data Analysis Integrated Software System)研发,实现天文卫星数据处理流程的自动化和规范化。首先,通过分析卫星数据产品间的依赖关系,采用数据分块处理技术,实现系统内存管理;其次,通过对数据处理算法和工具进行标准化,实现底层代码的统一管理;最后,研发工作流调度平台,实现数据处理流程的自定义配置和实时监控。实验验证了该系统具有有效性和实用性,能够克服传统数据处理方法的不足,实现数据处理流程的自动化和规范化,为相关软件系统的设计提供指导。

基于科学工作流的通用卫星数据处理调度系统

天文卫星产生的海量观测数据下传至地面后,需要经过一系列的处理流程生成可供科学研究人员的数据产品。传统数据处理方式需要耗费大量的时间和人力成本,同时存在缺乏灵活性、任务管理困难及执行效率低下等缺陷。基于上述问题,为实现卫星数据产品生成的自动化和规范化,该文研究并设计了一种基于科学工作流的通用卫星数据处理调度系统。通过封装卫星数据处理算法,结合科学工作流、可视化编辑等相关技术,实现卫星数据处理的自动化和可配置,用户更新需求时无需修改代码,只需重新配置参数;利用可拔插组件设计机制实现系统的通用性,满足不断扩增的卫星的不同数据处理需求。根据已有卫星的数据处理需求进行应用测试,应用实例表明,该系统能够实现卫星数据的自动化处理,并且能够极大地提高处理流程的灵活性、可维护性和执行效率,有利于科学研究人员根据自己的需求获取卫星数据产品。

基于R软件包(Polysat)的巴山木竹多倍体植物微卫星数据处理

针对目前多倍体植物的微卫星数据等位基因拷贝数据处理困难、数据格式转换等问题,利用R语言下Polysat软件包,以巴山木竹13个种群260份样本的微卫星数据为例,进行微卫星数据的导入、输出和基因分析,如微卫星等位基因信息统计SSR数据的基因型判断及无性系克隆的划分,种群间的PCA分析,种群间的Fst值分析等。认为与其它多倍体数据处理软件相比,该软件R编程环境具备的多功能性和数据输入、输出方法简单等特性,为相关研究人员提供了方便。

导航工程专业卫星导航数据处理方法课程建设与思考

文章首先简要介绍了武汉大学新增的导航工程专业,然后对导航工程专业下设的一门专业课——卫星导航数据处理方法的建设进行了探讨。重点围绕该课程的教学目标、课程设置、教学方法与手段进行了一些有益的探索与思考。

地球物理探测卫星数据分析处理技术与地震预测应用研究项目及研究进展

地震监测预警和预测预报是当前地球科学及相关学科所面临的最艰巨的问题之一,是关系到人类社会安全与国计民生的亟待攻克的科学难题。为进一步提高地震预测科学研究水平,推进地震监测预测能力建设,我国于世纪之交提出了建立地震立体观测体系的战略发展思路,并希望突破三维地球物理场获取能力瓶颈,发展地球多圈层耦合模型,通过卫星观测获取全球大地震的震例信息,以有效推进地震监测预测科学探索。地球物理卫星探测作为天基平台成为地震立体监测预测科学探索的新的重要方向。2018年2月我国首颗地球物理场卫星电磁监测试验卫星ZH1(01)成功发射入轨,并顺利通过在轨测试。针对我国电磁卫星数据处理技术接近国际并跑状态,重力卫星数据处理尚处于跟踪研究阶段,全球地磁场建模方面处于起步阶段,电离层建模技术达到国际并跑水平的问题,以及多圈层耦合的地球物理场多参量综合分析面临的科学问题。本项目开展了星载电磁场、电离层数据处理与定标校验技术、星载重力场数据处理技术、全球/区域地球物理场精细建模技术、地球物理场多参量综合分析与地震异常识别技术的研究,实现了相应算法和模块的研发,建立了全球地球物理场模型和主要地震震例特征库及样本库,构建了卫星地震监测预测应用平台,完成全球及中国强震震例积累,并在川滇地区开展地震监测预测应用示范和震情跟踪检验,示范应用取得明显成效。主要成果体现在:取得新技术3个:(1)高精度三频信标电离层反演技术;(2)VLF电波FDTD传播模型;(3)星载重力梯度数据的精细处理技术。新方法3个:(1)高精度磁场数据的优化处理方法;(2)卫星磁场扰动信号提取算法;(3)卫星多参量综合分析方法。新产品3个:(1)全球主磁场模型,成功纳入新一代全球地磁场参考模型IGRF2020.0,为全球地球物理场建模百年来首个中国模型;(2)全球三维电离层电子密度模型;(3)全球时变重力场模型。新理论1项:多源异质地震异常信息融合与异常识别。新平台1个:卫星地震监测预测应用平台。

通用遥感卫星基带数据二级并行处理算法设计与实现

针对星上高速率下传的遥感数据,为实现地面基带数据处理系统的快速实时处理,本文设计和实现了一种通用的遥感卫星基带数据的二级并行处理算法。该算法利用外部配置和软件设计模式的方式解决了通用性设计,利用高性能计算技术实现基带数据快速处理。通过对卫星地面基带数据处理在不同卫星中的差异性进行分析,合理设计了外部配置文件和软件抽象模型;对卫星基带数据处理过程中计算最复杂的解压缩部分,利用MPI+OpenMP并行编程技术,提高了基带数据处理速度。实验结果表明,本文算法具有良好的通用性和扩展性,可通过设置配置文件和极少改变原有代码的情况下实现了资源三号卫星1、2星的处理;此外.本算法在5台各配置2个4核Intel Xeon E5620处理器的刀片服务器上实现了450 Mbit/s的双通道数据快速实时处理,具有良好的性能。

遥感卫星数据预处理系统复杂任务调度模型研究与实现

针对遥感卫星数据预处理系统同时对多卫星数据处理任务进行调度时,因资源分配不合理,导致计算资源浪费、系统吞吐量低、无法满足卫星数据时效性要求的问题,提出了一种基于预处理任务性能及预处理系统工作流特性的调度模型。该模型通过研究预处理任务算法的一般特征,对不同资源分配情况下的任务执行时间进行预估,并根据预处理任务工作流对卫星数据产品所需总时间进行预估;在此基础上,采用基于任务时效性和系统资源利用率的二次资源动态分配算法对预处理任务进行调度。实验结果表明,该调度模型在满足多卫星数据处理的时效性要求的同时,合理地减小调度过程中存在的资源浪费,提高了系统的吞吐量。

可编程配置高码速率遥感卫星数据帧同步记录设备的研制

介绍了可编程配置高码速率遥感卫星数据帧同步记录设备的研制和实际测试结果。对帧同步器、PCI总线接口逻辑、数据记录及软件编程等进行了较详尽地说明。最后,集中概括了该设备的突出特点,即完全可编程控制、帧同步速度快、数据记录速率高、易扩展等。

GECAM卫星快速预处理流程设计与实现

引力波暴高能电磁对应体全天监测器(Gravitational wave high-energy Electromagnetic Counterpart All-sky Monitor,GECAM)是专门针对引力波伽马暴的研究机遇而提出的中国科学院空间科学(二期)先导专项卫星任务。GECAM卫星通过数传、遥测和北斗短报文3个通道下行触发、事例、并道、工程以及短报文等多种类型的数据,数据预处理过程需要对这些数据进行快速正确处理,以满足科学家对天文事件数据正确性和时效性的要求。针对GECAM卫星数据处理时效性要求高、数据连续完整、多信道数据融合处理以及触发事件数据切分等特点,对科学数据处理流程和天文警报信息处理流程进行了设计,概述了关键核心算法的思路与实现方法。卫星发射入轨后,数据预处理软件运行良好,正确性和及时性指标满足要求,为后续爱因斯坦探针(Einstein Probe,EP)卫星、中法天文卫星(Space-based multi-band astronomical Variable Objects Monitor,SVOM)等空间天文卫星开展数据预处理工作提供了参考。

卫星遥测遥控数据库设计

卫星的测控系统正在利用计算机技术发展成一个开放的系统环境。在开放结构系统中,所有网络数据的建立、处理和显示均以数据库为基础。以国军标为依据,从国内各类卫星平台的测控系统实际出发,兼顾预研型号的发展方向,研究和分析了各种PCM遥测帧格式、遥测数据处理方法和遥控指令及遥控帧结构;利用数据库建模技术建立了一个通用的卫星遥测遥控数据库模型;提出了数据库的总体设计方案;结合国内外同类数据库的特点,设计并实现了符合我国卫星实际发展需要,既具有继承性,同时又有通用性和可靠性的通用卫星遥测遥控数据库。可满足对多颗星同时测控的需求,适用于不同的卫星平台;采用资源共享模式,提供灵活的接口;实现了遥测和遥控参数的综合管理。

风云系列气象卫星关键业务监控报警系统的设计与实现

风云系列气象卫星关键业务监控报警系统(CBMS)的设计与实施为高可靠星地业务运行提供了保障。信息收集器与报警平台间的星状结构确保了CBMS的灵活性和可扩展性,使CBMS与业务系统得以无缝集成;对短消息(SMS)等多样化报警手段的有效支持确保了监控报警的时效性和良好的用户体验。实践表明,CBMS能够在提高气象卫星业务系统运行可靠性的同时有效减轻卫星运行维护人员的工作压力。

一种新的数据融合方法——广义融合法

数据融合的目的是合并或者综合多个数据集,成为一个完整的性能更好的数据集。基于广义延拓插值外推法提出建立两组或两组以上方程解集和数据序列融合优化的数学模型,称之为广义融合法,此方法能充分发挥数据和量测资源的潜力,运用创新的集成和互校算法,解决数据融合面临的难题。介绍了广义融合数学模型的建立和求解方法的主要步骤;对模型中权值的分配原则做了分析;最后应用于卫星导航数据处理领域。实验证明该方法实用性好,数据平稳性好,外推稳定度高,有望成为一种新的解决数据融合问题的普适求解方法。

新一代遥感数据中心建设的关键技术

为满足大型业务发展需要,建设新一代数据中心已成为一种共识。根据国际正常运行时间协会(UI)的划分,数据中心从基础级、冗余部件级发展到可并行维护级和容错级,其可用性和可靠性得到明显提高。针对大容量遥感资料对于数据传输和处理高时效、系统计算负载和存储容量高增长的要求,在研究新一代数据中心(NDC:NewDataCenter)六大关键技术的基础上,重点对自动化动态资源部署、优化资源的利用效率、统一的基础设施管理、完善的资源和数据保护、信息技术架构的可扩展性、节能技术和产品等方面进行了应用与实践,促进了新一代遥感数据中心的成功建设。文章结合新型气象卫星风云三号地面系统的建设实践,阐述了新一代遥感数据处理中心建设中若干关键技术的实现方法。

电磁环境对GNSS观测数据质量的影响

通过在35、110、220、500、800kV 5种不同电压等级的变电站开展全球卫星导航定位系统(GNSS)观测实验,从数据完整率、多路径、信噪比、观测值与周跳比4项指标对各测试站点的GNSS观测数据质量进行统计分析,研究不同电压等级下电磁环境对各GNSS系统观测数据质量的影响。结果表明:不同电压等级下电磁环境对各GNSS系统的观测数据质量无负影响,该结论为论证变电站建设GNSS连续运行参考站(CORS站)的可行性提供了一定的参考价值,促进了卫星导航定位技术在电力行业的应用。

微机控制的极轨卫星全自动跟踪接收系统

有关微机控制的卫星全自动跟踪系统进行了分析和探讨,本系统在原有卫星基础上,积极的吸取了有关国外工作系统的优化,实现了无人控制的全自动跟踪系统。

基于地理模型和多源遥感的林草生态综合监测方法——以日照市莒县为例

随着生态系统保护工作的不断推进,林草生态系统成为人们关注的重点问题。分析林草生态监测现状可确定目前林草生态监测存在的问题。针对当前林草生态综合监测过程,由于遥感图像分析能力不足,造成监测结果精度不足等问题,提出基于地理模型和多源遥感的林草生态综合监测方法。采集遥感图像,完成3D标定及预处理工作。通过纹理特征提取与支持向量机算法,对林草生态环境遥感影像进行判读。应用多源遥感技术构建地理加权回归模型,实现林草地图斑监测。将图斑带入马尔科夫矩阵模型中,获取林草生态综合变化监测结果。至此,基于地理模型和多源遥感的林草生态综合监测方法设计完成。通过实验证实,此方法的遥感图像分类精度以及监测精度均优于当前方法。

东海赤潮遥感自动监测系统开发与应用

赤潮是最严重的海洋灾害之一,它不仅破坏海洋渔业生产、恶化海洋环境、影响滨海旅游业,而且还会影响人类健康。卫星遥感技术具有覆盖范围广、重复率高、成本低廉等优势,近年来已成为赤潮监测不可或缺的重要手段。本研究利用C++语言建立了一套赤潮遥感监测系统。该系统能自动接收和处理遥感数据,并利用赤潮水体的光谱和固有光学量特征自动提取赤潮信息。在实际业务化应用中,该系统被国家监测部门采用,在2013年4月至9月东海赤潮高发期间,该系统制作了55期赤潮遥感监测产品,用于指导船舶现场监测工作,取得了良好的应用效果。利用本系统对近年来东海发生的27次大型赤潮事件进行了发生位置和面积的提取,并与现场观测结果进行比较。结果显示,系统对大部分赤潮范围的识别有较好的效果,对赤潮识别准确度大概在80%左右。

软件帧格式同步器设计及查找表的运用

帧格式同步是卫星原始数据地面处理前端的必经步骤。软件帧格式同步具有很好的灵活性,易于修改以适应各种情况的变化,缺点是处理速度较硬件慢。文章介绍了在软件帧格式同步程序设计中,应用各种查找表来提高处理速度,快速锁定同步字和还原帧数据的方法。经过实际应用验证,效果很好。

Small Target Extraction Based on Independent Component Analysis for Hyperspectral Imagery

A small target detection approach based on independent component analysis for hyperspectral data is put forward. In this algorithm, firstly the fast independent component analysis(FICA) is used to collect target information hided in high-dimensional data and projects them into low-dimensional space.Secondly, the feature images are selected with kurtosis .At last, small targets are extracted with histogram image segmentation which has been labeled by skewness.