气象数据处理及可视化平台的设计与实现

气象资料数据作为典型的地球科学数据,具有明显的时空属性,数据体量巨大,种类繁杂,在实际应用中对时效性的要求较高。由此,如何快速获取、处理并展示实时气象数据是其应用关键。为解决上述问题,提出一种基于微服务架构的气象数据处理及可视化平台设计,结合用户实际需求,将平台拆分为多个功能模块。通过平台实现与测试结果证明,所提出的平台设计能够达到预期目标,具有较高的可用性与稳定性。

基于典型气象数据分析的南北方 供暖特性研究

针对南、北方供暖的需求差异,基于历年气象数据,综合考虑累年最冷月平均温度、供暖度日数HDD18、供暖期天数等多种因素,分析了中国南、北方8个典型城市的气候特征;同时结合需求调研和温度分布、波动差异对比情况,讨论了不同地区热负荷动态特性及负荷求解宜使用的方法;分析总结了南、北方地区的系统运行特征情况,给出了关于供暖系统设计、系统形式、运行策略的建议;并通过实际案例具体分析了供暖系统设置的适宜性问题,为后续供暖设计方法、参数确定,供暖方式选择和系统设置提供基础。

基于国密的气象数据业务安全架构研究

随着我国数字经济持续快速发展,气象数据在广泛流动释放价值的同时,也面临着被窃取、泄露、滥用等巨大威胁。为了更好地提升气象数据业务整体安全保护措施,通过对资料精细分级分类,在数据采集、数据传输、数据服务等过程中评估常用密码加解密性能,提出一种主要基于国密(SM2、SM4、ZUC等)的气象业务数据全链条安全保护策略,并在台站采集端、传输过程、数据存储、接口服务等环节对资料进行仿真评估,从时效影响、保护强度、低代价改造等方面,表明本方案的可行性和适用性。

建立健全气象数据流通交易基础制度的思考

在全球新一轮科技革命和产业变革趋势下,中国亟须加快培育发展数据要素市场,构建以数据为关键要素的数字经济。加快建设相关基础制度对推进气象数据流通交易尤为重要。虽然近年来气象部门紧锣密鼓出台相应的规制措施,取得了一定的成效,但权属界定尚不明晰、市场化配置效率不够、管理体系不完善、收益分配不健全等问题仍然突出,需要气象部门在数据产权、开放共享、安全管理、要素交易、市场治理、收益分配等相关制度上加以健全完善。

基于STM32和LabVIEW的气象数据监测系统设计

针对气象数据监测系统设计环节较繁琐,建设费用较高,部分环节不规范的现状,研发了一套低成本、低功耗的基于STM32和LabVIEW的气象数据监测系统。利用传感器测量气压、温度和湿度,并通过语音播报和LCD显示信息。系统PC上位机监控界面使用LabVIEW软件设计,直观显示STM32单片机传输来气象数据,实现监控功能。实验结果表明:系统能实时监测和记录环境温湿度、气压参数,具备报警功能,测量的误差不超过3%,满足了实际需求。

三维可视化技术在气象数据分析中的应用初探

随着三维仿真技术的不断发展,将数据进行三维可视化已经成为天气分析中的趋势。福建省气象部门基于气象数据的三维可视化应用尚未全面开展。因此,详细阐述气象预报和实况数据的三维可视化及绘制处理技术方法,实现对气象数据的三维模拟和仿真。通过实际业务场景,将复杂的网格数据以三维可视化形式呈现出台风气流方向、雷达回波的演变状态等趋势信息,为气象预报和分析提供帮助。

基于Vue的气象数据可视化系统的设计与实现

针对气象数据来源冗杂、数据量庞大且数据展示直观度低的问题,提出了一套基于Vue的气象数据可视化系统。系统采用前后端分离的架构,首先,使用斯普瑞布特(spring boot)作为后端框架完成系统的逻辑判断和数据处理,能够对来自不同数据源的气象数据进行统一的格式化处理,并使用MySQL数据库对数据进行存储。其次,系统前端使用Vue框架来完成页面的构建,并采用ECharts组件来实现数据的可视化展示。最后,设计并实现了一个内容充实,简单易用的气象数据可视化系统。结果表明,本系统不但可以向用户提供清晰直观的实时天气情况,而且可以展示气象业务系统的告警信息,提高值班人员的工作效率。

气象数据驱动的拉林铁路简支T梁温致变形预测

为快速、准确预测日照环境下高原铁路桥梁的温度变形效应,基于长短期记忆神经网络(LSTM)提出了一种气象数据驱动的桥梁温度变形智能预测模型。以拉林铁路简支T梁为背景,采用热力耦合有限元仿真分析,构建了“气象数据—温度变形”映射的样本数据库,以此训练预测模型并对桥梁温致变形进行预测。结果表明,LSTM模型表现出了较高的精度和优势,其梁体竖向挠度预测的决定系数(R2)超过0.97,平均绝对误差(MAE)和均方根误差(RMSE)较反向传播神经网络(BP)模型提升超过70%,较随机森林(RF)模型分别提升了24%和27%。预测挠度与真实值在趋势和数值方面均基本一致,表明所提出的预测方法性能优异,为高原铁路轨道平顺性变化规律研究及动态检测数据评价提供参考。

2019-2020年西安城市PM_(2.5)、气体污染物及气象数据集

通过近几年的治理,我国空气污染得到一定的改善,但关中地区由于其特殊的地理位置和气候环境,大气污染治理仍面临着巨大的压力和挑战,以臭氧(O3)等污染气体和细颗粒物(PM_(2.5))为特征的区域性复合型大气污染日益严重。厘清大气污染成因并进行污染治理,需要更细致的观测数据提供科学支撑。本数据集是在陕西关中平原区域生态环境变化与综合治理国家野外科学观测站的高新子观测场利用气体分析仪获取的环境大气中的氮氧化物、二氧化硫、臭氧、一氧化碳等污染气体的浓度。通过气象站对站点周边的温湿度、气压、太阳辐射,风速风向等气象数据进行观测;采集了离线PM_(2.5)滤膜并分析出质量浓度数据。观测场位于西安市城市核心区域,数据的观测时间范围是2019年1月到2020年12月,其中污染气体数据的时间分辨率是5分钟,气象数据的时间分辨率是1分钟,PM_(2.5)数据的时间分辨率是24小时。观测仪器每周进行维护和检测以保证仪器的采集质量,分析仪器每月进行仪器校准和标定保证数据质量。本数据集可以为关中地区大气环境提供基础数据记录,也为进一步的污染评价、控制和治理等提供了数据支撑,为关中区域大气污染过程、成因机制,大气污染防控提供科学建议。

2017-2021年吉林大安农田生态系统国家野外科学观测研究站气象数据集

气象数据可以提供准确的天气预警,同时对农业生产有着重要意义。吉林大安农田生态系统国家野外科学观测研究站地处松嫩平原西部,属中温带大陆性季风气候,全年光照充足,雨热同期,有利于农作物生长。但该区大面积分布的盐碱土严重影响了农业发展和生态安全。本数据集利用大安站气象观测场的原始数据,经过数据处理和质量控制,以时尺度、日尺度和月尺度将2017-2021年的气象观测数据汇编成集,内容包括气温、气压、相对湿度、风速、降雨、土壤温度(0-20 cm)、总辐射、反射辐射、光合有效辐射、土壤热通量和日照时数,旨在为研究东北苏打盐碱土,发展盐碱地特色生态农业,保障粮食安全和生态安全提供基础数据,为我国盐碱荒漠化治理与盐碱地综合利用等提供数据支撑。

基于分布式的省级气象数据中心硬件监控告警系统

随着气象行业的快速发展,各级气象部门对信息化建设支持的力度不断增加,而气象业务的开展需要依赖各类信息系统和基础设施。目前省级气象数据中心承载了多种气象业务,业务种类繁多,存在多种异构设备,缺乏有效的集中硬件监控告警系统,给业务运维人员带来了极大的困难。针对此问题,本文分析多源复杂的气象数据环境中异构设备的差异及监控现状,设计“全流程”“集中化”“可视化”的综合硬件监控系统,采用Mycat+MySQL+Haproxy+Keepalived的技术架构,构建一个高可用、高性能和可扩展的分布式数据库集群,实现对硬件监控数据的采集、加工处理、存储、自定义告警和可视化展示。目前,该系统已在甘肃省气象数据中心进行了业务使用,运行稳定,安全可靠,能够帮助运维人员及时定位系统故障,从而提高了硬件设备监控运维的效率,能够为社会用户提供高效的气象数据服务。

基于Spark技术的气象数据分析

近些年来,气象数据规模及复杂性大大增加,这对气象数据的存储、利用及加工分析提出了更高的要求。需采用适当的技术及策略,更好地利用分析气象数据,为天气预报、气候研究及社会公共服务提供更大的价值。通过网络爬虫爬取实时天气数据,发送实时数据到Kafka消息系统中,利用Spark技术从消息队列中获取实时数据并进行数据清洗、转换、归一化、聚合、汇总、分组等操作,实现气象数据的多维度分析,利用Spark计算结果将处理后的数据进行可视化,以图表、图形等形式进行展示。

气象数据分析与预测模型在城市气候调控下农业生态环境保护的研究

阐述了气象数据分析与预测模型在城市气候调控中的应用以及气象数据在农业生态环境保护中的作用与影响,探讨了气象预测模型在城市气候调控中的应用。

基于气象数据深度挖掘的雷电灾害自动化监测系统设计

为提高雷电灾害的预防和应对能力,设计基于气象数据深度挖掘的雷电灾害自动化监测系统。通过360度雷电传感器获取当前环境中云闪、地闪电磁波脉冲频率与次数数据,利用定位模块获取雷电发生经纬度信息,将气象数据经过Oracle10数据库存储后,使用深度挖掘算法中的Clus⁃tream算法,建立雷电灾害自动化监测框架,将气象数据输入到该框架内,使用多机器学习单元对气象数据训练集进行学习,得到基分类器,通过该分类器挖掘气象数据内的雷电灾害监测结果,实现雷电灾害自动化监测。实验结果表明,该系统具备较强的云闪电磁波采集能力和监测雷电灾害能力,应用性强。

基于异源数据融合与并行计算的电力气象数据分析技术研究

针对短期电力负荷进行预测时易受到不确定气象因素影响而导致预测准确率较低的问题,文中提出了一种基于气象数据融合与并行计算的电力负荷预测算法。该算法将时间和气象因子相结合来对预测的日气象数据进行关联度匹配,进而提升算法的准确率。通过对深度神经网络加以改进,并增加扩张卷积使模型具有更强的视觉野。同时结合Bi-GRU网络,利用其时序特征提取属性进一步增强算法的性能,再将算法部署至Spark并行平台以提高总体的运行效率。实验测试中,所提算法的MAPE、RMSE指标在所有对比算法中均为最优,且领先其他同类算法约0.2%和0.05,而增加运算节点后,算法的运行时间也会相应缩短,表明其具有良好的综合性能。

面向电力气象数据的多源异构数据融合方法研究

输电线路覆冰是影响电网可靠性的重要因素,针对传统人工巡检提取数据的方法存在安全性较差且计算效率偏低的问题,文中对多源异构的相关电力气象数据进行了融合处理与分析,并提出了一种覆冰等级检测算法。该算法使用改进SVM对数据进行分类,以弥补计算冗余的不足,同时采用WOA算法对LS-SVM算法的参数加以优化,从而提高了算法的实时性和准确度。通过LSTM网络对分类后的数据进行特征提取,实现了对相关数据时序特征的分析。在实验测试中,所提算法的准确率、召回率及F1值等指标均优于对比算法,且准确率可达92.69%,证明其具有良好的运算性能,能够利用多源气象数据对输电线路的覆冰等级进行准确预测。

基于Hadoop技术的气象数据实时传输监控系统设计

气象数据在传输过程中,可能会出现数据丢失、重复、错误等问题,为准确分析气象问题表现情况,实现对气象问题的实时监控,设计了基于Hadoop技术的气象数据实时传输监控系统;联合JTAG调试电路与数据采集器,调节风速风向、雨雪、雷电、温湿度4个基础监控模块,完成气象数据实时传输监控系统的硬件设计;根据Hadoop架构体系连接形式,搭建Hadoop架构体系,预处理气象数据;在此基础上,匹配数据库机制与业务信息表单,实现应用系统的实时传输监控功能,再联合相关系统硬件,完成基于Hadoop技术的气象数据实时传输监控系统的设计;实验结果表明,在文章设计系统作用下,A、B、C三个场景的风力、降雨、降雪、雷电等级监控结果均与气象数据取样结果保持一致,能够有效实现对风、雨、雪、雷4种气象问题的实时监测,可以准确分析气象问题表现情况,且平均响应时间仅为61.3 ms,具有较好的实时性。

基于气象数据的光伏组件积灰损失评估方法研究

光伏组件表面的积灰对其发电性能会产生严重影响,进而影响整个光伏电站的发电效率和输出稳定性。因此,准确评估实际应用的光伏电站中光伏组件表面积灰造成的损失(下文简称为“积灰损失”),制定合理的清洗策略,将有助于提升光伏电站的发电量。提出了一种基于气象数据进行光伏组件积灰损失的评估方法,建立了积灰损失评估模型,并以光伏电站现场实际发电数据和气象数据为数据基础,通过实验对传统的基于光伏电站系统效率(PR)的积灰损失评估方法和基于气象数据的光伏组件积灰损失评估方法进行了对比验证。研究结果表明:与传统的基于光伏电站PR的积灰损失评估方法相比,基于气象数据的光伏组件积灰损失评估方法具有更好的预测性能,其模拟得到的发电量更接近实际发电量状态;可用于快速定量评估光伏电站的积灰程度,为光伏电站的发电性能模拟提供可靠的数据支持。

基于局域网的气象数据智能监控系统

为解决目前局域网下数据监控不精准的问题,提出基于局域网的气象数据智能监控系统。采用固定路径和移动路径交换帧线的冗余备份方式,设计局域网冗余结构实现备份。设计数据采集模块,通过轮询扫描监控模块,实现系统设备智能监控。根据关联规则确定告警信息的匹配程度,划分智能告警匹配度等级,计算告警信息权值,并寻找合适的阈值,减少监控系统中的虚警次数。通过构建监控误报抑制的迭代算法模型,对监控误报起到良好抑制效果。实验结果表明,该系统能精准监控气象数据,监控气温、气压数据误差为0,监控湿度和降水量最大误差分别为1%、20 mm。

基于NB-IoT技术的气象数据传输控制系统设计

气象数据具有变化速度快、数据量大等特点,在复杂的通信环境下容易出现数据丢失或错误等问题。为了提高气象数据传输质量和速率,利用NB-IoT技术优化设计了气象数据传输控制系统。改装气象数据采集器和传输控制器,加设窄带物联网模块,实现硬件系统的优化。利用NB-IoT技术采集气象传输数据,综合考虑气象数据传输量、信道容量等因素选择气象数据传输信道,最终从传输安全和传输速度两方面,实现气象数据的传输控制功能。通过系统测试实验得出结论:与传统控制系统相比,优化设计的控制系统传输气象数据的丢失率和误码率分别降低了约2.63%和0.96%,同时有效缩短了气象数据传输时延。