基于容器的脉冲星数据处理软件部署与测试

随着天文观测技术的飞速发展,天文数据处理软件日趋复杂,天文数据处理环境的部署与管理日渐繁琐。利用容器技术将脉冲星数据处理环境封装成容器镜像并建立私有镜像库,科研人员可以根据数据处理需求选择镜像,实现数据处理环境的快速部署。利用实体计算机、虚拟机和容器中对脉冲星基带数据进行相干消色散处理,对比不同平台的资源利用率与数据处理效率。实验结果表明,容器的性能与实体计算机相近;在多任务并发的数据处理测试中,容器的资源分配更加合理,相较虚拟机可以提高计算资源利用效率。在新疆天文台脉冲星数据处理服务器上实现了基于容器的数据处理架构部署,设计并开发了容器管理图形用户界面,通过优化多用户登录、身份验证、数据卷挂载管理等功能,提高利用容器技术进行天文数据处理的效率。

分布式文件系统在脉冲星数据处理中的应用

随着500 m口径球面射电望远镜(fi ve hundred meters aperture spherical telescope,FAST)巡天扫描的数据量不断增加,现有分布式计算集群所采用的文件存储系统逐渐成为限制计算速度的瓶颈之一。通过对计算集群架构的分析,将脉冲星数据处理与分布式文件系统技术相结合,针对目前计算集群中存在的问题,提出使用Alluxio+HDFS的分布式文件系统代替原先使用的Lustre文件系统,并根据脉冲星数据处理计算的特点和文件系统机制重新设计了任务分配算法和计算任务。实验表明使用该存储系统能够在相同的网络环境下提高网络带宽和节点内存利用率,减少网络传输时延及冗余磁盘读写开销,提高集群脉冲星数据处理的整体计算效率。

一种面向FAST PB量级脉冲星数据处理加速方法及系统

500 m口径球面射电望远镜(Five-hundred-meter Aperture Spherical Telescope,FAST)已投入科学运行,其中脉冲星漂移扫描巡天采集数据量已达数PB,预计每年至少新增5 PB。现有的数据处理软件如PRESTO,SIGPROC等无法满足PB量级数据的快速处理要求。提出了一种基于PRESTO的分布式并行计算方法,整合利用数据库技术和异地异构计算资源,构建了一套命名为Craber的计算加速系统,由FAST早期科学数据中心与国家天文台共同设计实现。启用Craber子网计算集群D中55个计算节点,应用澳大利亚帕克斯(Parkes)望远镜多波束巡天数据集和500 m口径球面射电望远镜漂移扫描数据验证了系统流程和搜索数据库。单个100 MB帕克斯巡天数据文件平均耗时36 s,单个128 MB 500 m口径球面射电望远镜巡天数据文件平均耗时22 s。该系统目前已实际参与数据处理并发现了数十颗脉冲星,有效帮助500 m口径球面射电望远镜加速数据处理和扩大新样本数量。

国家测震台网中心强震动数据处理系统的设计与实现

为满足国家测震台网海量强震动观测数据的处理时效性、格式标准化、产品丰富度等需求,国家测震台网中心开发了兼容多类强震动观测站点的具备数据快速汇集、处理及归档等功能的强震动数据处理系统。该系统提供地震波形人机交互数据预处理界面,对加速度记录进行预处理,进一步分析预处理后的加速度事件波形数据,计算得到地震动各项参数。

人工智能助力化工高校数据的处理与分析

化工数据通常涵盖实验数据、生产过程数据以及设备监控数据等,由于其庞大和复杂的特性,对数据存储和管理系统提出了更高的要求;有效地处理这些数据,不仅需要强大的技术支撑来应对大规模数据处理的挑战,还需要精确的数据清洗和预处理技术以消除错误、缺失值或数据不一致性,保障数据分析的准确性;同时,化工领域数据来源多样,包括实验室仪器、工业传感器及手工记录等,不同来源的数据格式和标准的不一致性,进一步增加了数据处理的复杂度。

直升机数据处理现状及远期规划

本文针对直升机数据处理现状进行了分析,提出了后续直升机数据处理系统的发展规划,在直升机数据处理软件开发领域起到了参考启示作用。为了检验直升机的动力性、可操作性、安全性等设计方案是否合理,新型直升机一般要经过成百上千次的试飞。直升机进行试飞时,机载测试系统对航空总线、旋翼系统、尾桨系统、机身的振动、载荷、温度等其他模拟信号及数字总线数据进行采集,将数字化的数据流合并记录在机载数字记录仪。机载记录的直升机试飞数据经数据处理软件解码预处理并进行初步判读后,需根据任务的需求将处理后的试飞数据分发给各专业科室成员进行分析。

科学的数据记录与处理助力交叉复合型创新人才科学素养的培养与提升

通过梳理实验教学中学生数据记录与处理存在的典型问题,归纳总结了科学的数据记录与处理的重要性。分析了学生实验数据记录与处理不规范的原因,并提出基于科学素养培养与提升下的数据记录与处理的一些思考。在实验数据信息化形势下,制定和推广电子化数据记录要求,加强学生数据诚信与责任意识,对交叉复合型创新人才科学素养的培养与提升具有重要意义。

一种基于DSPSR和GPU的脉冲星相干消色散基带数据处理技术

相比于非相干消色散,相干消色散具有色散消除更彻底、可保留原始数据相位、时间分辨率信息等优势,但同时具有运算量大、数据处理耗时长等问题。为实现脉冲星基带数据相干消色散处理,对数据处理流程进行加速,开发一种以DSPSR(digital signal processing software for pulsar)和GPU(graphics processing unit)为数据处理核心的脉冲星数据处理技术。利用高速共享内存实现对环形缓存区两路极化基带数据的读取,结合图形处理器高性能计算技术,使用DSPSR对基带数据进行相干消色散处理。数据处理结果表明,相比于多线程非相干消色散系统,此数据处理技术在数据处理速度方面具有更好的优越性,并可获得更精细的脉冲轮廓。

飞参记录数据计算机处理的有关问题研究

飞参记录仪因电子系统的工作特点,会产生一些数据失真、丢失等非正常数据情况。用计算机进行飞参数据批量自动处理时,必须要准确判断、去伪存真,才能保证飞参数据的真实可靠。通过分析大量飞参数据,总结出用计算机编程进行非真实数据处理的一些有效的判断条件及处理方法,探讨了对不同采样率参数进行数据补充的处理方法。以实际飞行数据为基础,比较了不同采样率载荷数据对疲劳损伤计算结果的影响,为飞参记录仪的设计、改进及地面处理提供依据。研究表明,疲劳损伤计算结果随载荷采样率增大而增大,为保证疲劳损伤计算结果的真实可靠,法向过载采样率应该大于4。

基于多项式回归算法的飞参记录数据预处理研究

提出利用多项式回归算法对飞参记录数据存在的随机量测误差、野点以及数据丢失等现象进行有效的数据预处理,算法在消除量测误差、剔除和补正野点、补充丢失的数据及数据平滑等方面均具有较高的精度和可靠性并已有效地应用在多型飞机飞参记录数据预处理工作中。利用该算法在Matlab环境下对飞参记录的航姿系统俯仰通道部分数据预处理过程进行了仿真。

有效数字教学助力化学实验数据记录和处理

规范地进行实验数据记录和处理是每个理工科工作者必备的科学素养和基本技能。能否掌握此技能很大程度上取决于对有效数字概念的理解和运算规则的正确运用。大学阶段是系统学习有效数字的最后阶段,但往往出现知识虽简单易懂,掌握却成为难点的现象。分析发现,教师对相关教学内容的重视程度、理论与实践联系的紧密程度、课程间要求的统一性不够是此现象形成的主要原因。针对这几个原因,制定了强化有效数字教学的各项改革措施,经过四年的实践,成效较为显著。

雷达校飞数据的记录和处理

本文介绍了一种利用 IBM—PC 通用计算机作为雷达校飞数据记录和处理设备的方法,分硬件和软件两部分进行介绍。实践表明,该方法适用性较强,费用低,并有良好的应用前景。

基于Mini700记录器的1553B数据处理软件设计

随着新型机载飞行数据记录器Mini700在飞行试验中的广泛应用,总线数据的记录格式发生变化,数据处理通用软件对1553B数据处理不仅流程复杂而且效率低下。为解决这一问题,针对Mini700记录器的数据格式进行了分析,重点研究了其数据绝对时间的计算及数据格式的解析算法,设计开发了基于Mini700记录格式的1553B总线数据处理软件。测试结果表明,新软件不仅改进简化了当前的数据处理流程,而且大幅提高了数据处理效率。

硬介质记录的数字化方法及数据处理技术

介绍了一种将记录在硬介质上的数据曲线数字化并自动录入计算机的方法以及相关的数据处理技术。其基本原理是 :利用计算机数字化仪将连续的记录曲线输入AutoCAD软件系统 ,并自动离散成一系列首尾相连的线段 ,再从AutoCAD内部数据库中提取出各线段端点的坐标数据 ,最后对这些不规范的弦步长采样数据进行处理 ,将其转换成规范的坐标步长采样数据。采用这种方法可以方便地完成各种硬记录数据曲线的采样 ,采样数据自动输入计算机 ,同时又可以生成直观、准确、易于编辑的图形文件。该方法简便易行 ,采样效率高 ,采样步长可任意调整 ,采样误差小 。

运行记录器通信及数据处理的探讨

本文研究了列车运行记录器车载系统的记录格式，压缩的方法，论述了车载系统与转储盒以及转储盒与ＰＣ机的通讯接口的硬软件设计，同时对地面数据处理软件的特点以及功能进行了阐述，并且给出了系统在现场实际运行的实验结果。

实时数据接收、处理与记录系统的设计与实现

讨论了对一个“实时数据接收、处理与记录系统”的设计与实现方法 ,介绍了系统的软硬件结构和基本功能 ,讨论了在设计和实现过程中需要重点考虑的几个问题 ,并对系统实现中涉及的多线程技术、串行通信技术。

灌浆自动记录及综合数据处理系统

提出一种水利工程灌浆施工质量监测管理系统,系统由灌浆自动记录装置和综合数据处理系统构成松散耦合的自动化管理网络。系统已在多个工地实验应用,证明具有良好的可靠性,能满足我国当前灌浆自动化的要求。

高速连续数据流记录系统中并行处理接口的研究

为了解决高速数据流的连续记录/读取与存储介质速度慢之间的矛盾,文中用FPGA设计了基于RAID结构的并行处理接口,实现了高速数据的分割降速、合并/恢复、纠错重构,解决了高速数据流连续存储中的I/O瓶颈问题。并行处理接口采用了流水线的设计方式及动态的逻辑配置,使得系统性能得到很大的优化,解决了高速数据处理中的延迟、数据错误、工作时序不同步等问题。并行处理接口最终在实验系统中实现了对高达160MB/S连续实时数据流的处理。

论对高校化学专业学生化学实验数据的正确记录与正确处理能力的培养

在分析化学实验中 ,记录实验数据和计算结果应保留几位数字是一件很重要的事 ,不能随便增加或减少位数 .如何培养高校化学专业学生对化学实验数据的正确记录和正确处理的能力呢 ?笔者认为 :强调有效数字的意义及位数 ,强调有效数字的运算规则 ,在分析化学实验教学中 ,注意运用有效数字的运算规则 ,利于培养高校学生对化学实验数据的正确记录和正确处理的能力 .

强震动记录的数据处理流程:去噪滤波

强震动记录一直以来被用于工程结构弹塑性时程分析的地震动输入,其由仪器观测获得,需在使用前进行必要的数据处理工作。中国台网目前已累积了大量强震动观测记录,但始终缺乏标准化的数据处理流程,给使用者造成了诸多不便,不能最大程度发挥其科学应用价值。该文针对我国观测数据现状,提出了一套完整的面向工程应用的强震动记录数据处理流程,给出了高通滤波截止频率的选取原则,包括:记录的傅里叶振幅谱低频段须符合w^(2)震源模型、信噪比须大于3、确保与物理分辨率一致。研究了因果滤波与非因果滤波对记录时程的影响,结果表明:这两种滤波方式具有各自特性,因果滤波会引起记录相变、而非因果滤波则会引起信号前干扰震动;针对芦山地震数据集及2017年部分观测记录,研究了这两种滤波方式对伪加速度反应谱(PSA)的影响,结果表明因果滤波引起的相变会对有效周期范围内的PSA造成计算偏差,因此建议面向工程应用的强震动记录选用非因果滤波方式。此项工作有助于指导和规范强震动记录的合理使用。