云计算环境下气象数据存储与处理的优化策略

一、引言随着气象监测设备和技术的发展,气象部门每天需要收集、处理和分析海量的观测数据。这些包括卫星、雷达、气象站等多源异构数据,数据量呈爆炸式增长。海量气象数据的高效存储和智能分析对于天气预报和防灾减灾意义重大。然而传统的数据中心很难适应数PB级数据的存储和低延时处理需求。基于分布式并行计算和扩展存储的云计算平台为解决这一挑战提供了可行方案。

2018~2022年淮河航道强风的时空特征及聚类分析

强风,特别是区域性强风天气严重影响淮河通航安全,因此研究淮河航道强风的时空分布特征及其变化规律,分析区域性强风发生的天气环流背景十分重要,可以为及时发布预报预警、做好气象防灾减灾工作提供重要参考。利用安徽省气象信息中心提供的2018~2022年淮河航道93个气象站的小时观测资料,结合业务规定和预警需求,筛选出5a来淮河航道出现的所有强风事件,分析淮河航道强风的时空变化特征及其对航运安全的影响,并对区域性强风天气过程的环流背景进行分类。结果显示:淮河航道强风年平均日数33 d,年强风日数最多为103 d,最少为5 d;淮河航道强风年平均小时数110 h,年小时数最多为524 h,最少为10 h;淮河航道日强风风险概率大部分在20%以下,有78.5%的站点日强风风险概率在5%~15%之间,最大值为28%,最小值为1%。结果表明:淮河航道强风次数的时间变化整体趋势较为一致,春、冬季多,秋季最少,3月最多,9月最少,夜间多,白天少,峰值一般出现早晨;淮河航道每月都有影响航运安全的强风发生,强风以瞬时风为主,风速的极大值多出现在夏季;淮河航道北岸、下游出现强风的概率较大,风向以偏北风为主,其中大多是偏北横向风;淮南港与蚌埠港之间强风盛行风向存在东、西方向的突变,3月和7月是港口发生强风的高峰期;淮河航道区域性强风过程主要由强冷空气和强盛偏南季风引起的,分为东北冷涡型(Ⅰ)、西南强风型(Ⅱ)、冷空气大风型(Ⅲ) 3类。

基于概率密度匹配的潜在蒸散量估算

利用安徽省1998—2015年日气象资料,通过对日大型蒸发量和日潜在蒸散量的相关性和差异性进行分析,表明利用日大型蒸发量估算潜在蒸散量是可行的。由1998—2013年日数据计算大型蒸发量与潜在蒸散量概率密度关系,通过概率密度匹配估算2014—2015年的日潜在蒸散量,并与Penman-Monteith公式计算值对比分析验证,结果表明,安徽省全省各站有明显的年月日变化,日、月的相对误差较大,而年的相对误差较小。单站年相对误差最小为0. 2%,最大为21. 3%。除了最大值21. 3%外,其他各站年相对误差均在11%以下,平均相对误差为2. 7%;对于安徽省全省而言,年平均相对误差为2. 71%。因此本研究提出的概率密度匹配法在安徽省区域及单站的潜在蒸散量估算中有一定效果。

作物花粉自动采集传感器的研制与定标

作物花粉自动采集传感器通过ARM(advanced RIS Cmachines)控制简易机械臂操作采样平台上的载玻片捕获空气中自由扩散的花粉粒子,并将载玻片置于生物显微镜下,通过CMOS(complementary metal-oxide-semiconductor)视频传感器将生物显微镜生成的光学图像转换成数字图像,经嵌入式ARM单片机计算处理并存储。利用外场实测资料和标准医用血球计数板,对仪器进行几何尺度标定及载玻片拍摄抽样定标。仪器光学放大倍数F定为328,视场真实面积S为1.516mm2,当拍摄抽样数N为50次时,花粉密度相关系数大于95%。当抽样精度一定,花粉浓度大时,可适当减少抽样数目。体积较小的水稻花粉需要拍摄抽样40次,而体积较大的玉米花粉则需要拍摄抽样80次。因系统几何失真引起的光学放大倍数F随显微视场半径变化,使得实测取样面积误差最大可达13.75%。

基于高斯随机扰动的潜在蒸散敏感性分析

旨在定量分析不同气象要素对潜在蒸散量敏感性大小的时空分布,以期为提高蒸散量计算精度提供依据。以1961年1月1日—2012年12月31日的日观测资料为基础,通过添加高斯分布随机扰动,计算各要素的敏感系数。研究表明:安徽全区年尺度上,日照时数和平均风速的敏感性最高,敏感系数分为0.1258和0.1089;月尺度上,4—9月蒸散量的主要敏感因素为日照时数,10月至次年3月的主要敏感因素为平均风速和实际水汽压。敏感性空间分布不均,淮河以北地区平均风速为主要敏感因素;淮河以南地区则仍是日照时数为主要敏感因素。

基于粒子群优化-BP神经网络-马尔科夫链的地面能见度观测资料质量控制

自动气象站能见度检测仪多采用光学装置采样,一些雨雪、粉尘等天气因素可能对部分仪器造成镜头污染,导致能见度要素的观测数据不准确。针对能见度数据出错率高的问题,通过粒子群优化算法、BP神经网络,结合马尔科夫链,对地面能见度观测资料进行质量控制。为检验该方法的适用性,首先将安徽省不同区域站点的历史能见度数据加入人工误差,然后运用该方法对处理后的数据进行检错率分析。实验结果表明,该方法可以有效地标记出地面能见度观测资料中的存疑数据,具有检错率高、地区和气候适应性强等优点。

基于SVM-BP神经网络的气象能见度数据缺失值预估

自动气象站能见度检测仪多采用光学装置采样,雨雪、粉尘等天气因素会对部分仪器镜头造成污染,导致能见度要素数据缺测.针对能见度数据缺失问题,本文选用安徽部分气象站的历年数据,首先运用灰色关联分析方法筛选出与能见度密切相关的其他气象要素,通过支持向量机和BP神经网络单一预估方法预估不同地形的能见度缺失值,然后采用最优权重组合将两种方法预估的能见度值进行组合,并与单一预估方法进行对比.结果表明组合方法的预估结果误差均值小、整体准确度高,可以保证台站观测资料的完备性,为短时天气预报、实况分析和气象公共服务工作提供有效依据.

基于遥感测量的淮河流域中部气溶胶光学和微物理特性分析

利用设置在中国气象局寿县国家气候观象台2017年全年的太阳-天空辐射计CE318数据,对当地一年四季气溶胶光学和微物理特征进行分析。结果表明:春季气溶胶光学厚度最高,夏季和秋季最为接近,也最低,冬季介于夏、秋季之间;AE数据集中在0.9~1.5,以细模态粒子为主;四季的气溶胶体积谱分布基本相似,且既有细模态粒子,也有粗模态粒子;夏季气溶胶折射率实部最小,说明当地夏季水汽含量最大,实部与光谱波长没有明显关系,而虚部则有;单次散射反照率均在80%以上,气溶胶散射效应明显;非球形粒子占主要支配地位且在春季数量最多。研究结果对于掌握淮河流域中部区域气溶胶特征,及其对大气辐射、气候变化的影响,监测空气质量,以及提高我国该特定区域大气辐射传输模型计算精度有重要意义。

我国‘砀山酥梨’主要产区栽培适应性对比研究

为明确砀山酥梨的栽培适应性,量化其生态环境条件,为优化砀山酥梨栽培区域提供参考依据,系统调查、分析和讨论了全国砀山酥梨代表性产地砀山酥梨的立地条件、各类气候因子、土壤条件及其生长发育和果实品质特征。结果表明,砀山酥梨对栽培适应性广泛,可在安徽省砀山县、寿县、陕西省蒲城县、山西省祁县、新疆库尔勒地区栽培;在云南省安宁县、禄丰县等地,因冬季温度偏高,其生长发育受到一定的影响。综合砀山酥梨主产区气候环境因子、发育特性和果实品质认为,砀山酥梨最适宜的气候条件在暖温带;最适宜的土壤类型为沙壤土或黄壤土,其pH约为5.8～7.6,有机质含量应在10 g·kg-1以上;年均温度约9.91～15.66℃,≥10℃的有效积温约3 832～5 240℃,生长期适宜的温度约17.00～22.40℃,休眠期适宜的温度在–4.5～7.2℃;年日照2 046～2 965 h;年降雨量应在441.8～739.8 mm,生长期平均相对湿度为55%～80%,休眠期相对湿度为54%～71%。

安徽省GPS/MET水汽反演资料质量控制初步研究

本着提高安徽省GPS/MET水汽反演资料质量的宗旨,利用综合判别法开展了GPS/MET水汽反演资料质量控制。首先,对2011年7月—2014年9月GPS/MET水汽反演资料进行分析,形成该资料的界限值,作为综合判别法的第1步;在第1步的基础上采用偏差(GPS/MET水汽实际观测值与全球再分析GDAS计算可降水量值的偏差)阈值法进行资料的整体质量控制,作为第2步;进一步对偏差较大月份的水汽资料采用双权重法进行质量控制,作为第3步,并且初步给出了GPS/MET水汽反演资料与降水的序列关系,最终形成安徽省GPS/MET水汽反演资料质量控制后的数据集。利用GPS/MET观测系统水汽资料高精度、高时空分辨率的特点,研制的数据集以及相应的质量控制方法能够为后期的水汽资料同化和融合奠定基础。

安徽省地基GPS大气可降水量时空演化特征分析及应用研究

安徽地处梅雨区域,研究此区域的大气可降水量(PWV)时空分布和演化特征对理解水汽相关过程如降雨、蒸发和对流活动等起到重要的作用。笔者分析了安徽地区两个时间段(2012年6月—2012年9月和2014年6月—2014年9月)逐时GPS/PWV资料,揭示了GPS/PWV平均值和地形高度变化存在正相关。相应的GDAS资料积分得到的GDAS/PWV揭示了本区域上层大气中的PWV变化主要集中在地表到700 hPa区间。基于快速傅里叶变换(FFT)得到安徽地区6—9月份PWV具有季节性周期,13.0035天~准2周振荡等多尺度特征。进一步根据季节变化特征得出7月底是GPS/PWV值的关键转折点。最后给出了GPS/PWV和GDAS/PWV在天气预报分析中的应用研究,PWV资料对降水预报能力提高、人工影响天气、空中水资源等分析研究奠定了基础。

基于Bayes判别法的结冰现象资料序列订正

针对安徽省81个国家级地面气象站1961—2018年结冰现象资料序列,采用要素一致性、内部一致性、空间一致性等方法进行数据质量控制,基于质量控制后的正常年份数据进行Bayes判别模型训练,应用训练所得模型完成异常年份结冰数据的订正。结果表明:安徽省共有38个台站累计84年的年结冰日数质量控制检查异常,年结冰日数异常年份主要集中在1961—1970、1988—1999和2015—2017年,造成年结冰日数异常的原因有部分台站历史观测任务简化、气象台站分类调整以及地面气象观测业务改革等。利用Bayes判别法构建了多个结冰现象判别模型,经检验发现,模型1和模型3具有较高的判识正确率、命中率、TS评分以及较低的误警率。考虑计算的简便性,选用模型1对异常年份结冰数据进行逐日订正。通过六安站、太和站和无为站异常年份结冰现象订正结果对比发现,基于Bayes判别法的结冰现象判别模型,对不同时间段内、不同原因造成的结冰现象观测记录异常的订正均较为合理,订正后的年结冰日数变化趋势更符合实际情况,表明采用Bayes判别模型订正结冰现象是合理、可行的。

基于高光谱大气红外探测器模拟亮温的稳健变分反演研究

经典变分反演法是基于观测误差服从高斯分布的假定,对偏离均值较大的离群值较敏感。当实际观测数据包含离群值观测误差呈现非高斯分布时,如果采用经典反演法进行变分反演就会产生大的偏差,甚至导致变分反演的失败。使用经典变分反演法首先需要进行质量控制,剔除所谓的离群值,但有相当部分的离群值包含了一些亮点,如天气现象。如果对其"视而不见",则对很多重要的信息就无法把握。基于此,研究采用稳健变分反演的思想同化这些离群值,主要思想是把M-估计法(L2、Huber、Fair和Cauchy-估计)的权重函数耦合到经典变分反演中,在每次变分反演极小化迭代过程中重新估计观测项对经典变分反演目标泛函的贡献率。采用高光谱大气红外探测器(Atmospheric InfraRed Sounder,AIRS)的通道模拟亮温进行理想试验,结果表明:采用Huber-估计进行稳健变分反演对温度和湿度反演具有较好的效果;采用Cauchy-估计得到的效果反而更差,这是由Cauchy等分布函数固有的缺陷所决定的。因此,稳健变分反演观测误差非高斯分布是可行的,但依赖M-估计法权重函数的选取。

基于两种方法的小型蒸发器与E-601B蒸发器蒸发量折算研究

文章主要利用1997年07月~2001年12月安徽省16个站日观测资料,运用折算系数法和多元回归法对小型蒸发器蒸发量进行折算,进而对大型蒸发器蒸发量进行了研究。综合分析发现,折算系数和回归模型均能对小型蒸发器蒸发量进行较好的换算,为充分利用小型蒸发器观测资料,延长大型蒸发器观测资料序列提供了科学依据。

2008–2018年安徽省1 km分辨率降水数据集

安徽省位于东亚季风区,是研究季风降水发生发展变化的关键区。长时间序列的高精度、高空间分辨率的精细化降水格点资料,可满足气候变化研究及气象灾害风险评估的需要。本文基于2008–2018年安徽省2400多个区域站和81个国家站观测的小时降水资料,利用薄盘样条插值算法,对多个降水插值模型进行精度评估,筛选出最优模型。在此基础上,依据最优模型,研制了安徽省11年的1 km分辨率的小时降水网格产品。本数据集产品可较好地表征安徽省降水的季节变化、及空间变化,可应用于数值预报精度、洪涝灾害风险评估等领域。

连阴雨天气特征及其对区域站供电影响评估

利用马鞍山站1960~2015年逐日降水和日照资料,分析马鞍山连阴雨时间变化特征,进一步结合了2015年11月11~26日的连阴雨过程,对马鞍山辖区内区域站供电影响进行评估。研究分析表明,马鞍山市连阴雨天气平均每年4次,年最多次数为9次,最长连阴雨天气为21d,10d以上的连阴雨天气平均1次/a,14d以上的超长连阴雨天气1次/4.6a。超长连阴雨天气对4要素站影响明显,区域站供电电池容量低于60Ah的多要素站约70%无法满足在超长连阴雨天气下正常运行,在阴雨天气下的白天,太阳能板仍然可以为蓄电池充电,但充电效率大大降低,随着连阴雨的持续,电池容量较低的自动站蓄电池电压呈现出线性下降的趋势,在站址升级中,应选择高容量的蓄电池。

FY-4A星地面太阳辐射产品检验与订正——以安徽省为例

基于FY-4A星反演的地面太阳入射总辐射(以下简称反演总辐照度)、云检测产品,合肥和屯溪站地面观测总辐照度(以下简称观测总辐照度)、地面相对湿度、水平能见度数据,在对比不同时间尺度反演和观测总辐照度异同的基础上,分析可能导致反演偏差的相关气象因素,进而对反演总辐照度进行订正,结果表明:反演与观测总辐射均表现出中午高早晚低,夏季高冬季低的特点,反演总辐照度整体较观测偏高约200 W/m^(2);逐小时数据对比中,两者绝对偏差在上午和下午各有一个峰值,而相对偏差在中午前后较低,早晚相对较高;逐日和逐月数据上绝对偏差在多数情况下与平均偏差接近,相对偏差整体上冬季高于夏季;反演总辐照度与观测值逐小时和逐日变化上均存在显著的正相关关系,但该关系在一定程度上受天气状况的影响;分析发现,地面相对湿度、水平能见度和FY-4A中云检测产品与反演偏差关系密切;按观测总辐照度进行分档,分段消除系统偏差再进行订正,可明显提高订正效果,经多元线性回归订正方法对合肥和屯溪逐时数据进行订正后两站反演总辐照度与观测值之间绝对偏差分别为60.85和58.11 W/m^(2),相对偏差为15.44%和15.02%,订正后反演总辐照度与观测值的相关关系得到进一步提升,相关系数分别为0.94和0.96;利用多元线性回归对反演的日平均总辐照度进行订正后,与观测值之间的平均相对偏差分别为11.75%和10.93%。

安徽省霾污染的季节变化特征及其主导气象因子研究

基于1980~2010年期间63个国家级气象站的地面观测资料,对安徽省霾污染的季节变化特征及其相对湿度和风速等主导气象因子进行了研究.结果表明:(1)1995年前,安徽省的霾频次呈现出冬季>春季>秋季>夏季的季节变化特征;其后季节差异减小,霾天气趋于常年化.(2)近30年来,夏秋季霾频次逐年明显上升(1995年前后增加最明显),春冬季则表现出微弱的增长趋势.(3)霾发生时,四季的风向均表现出高东北风频次、多静风、低偏南风频次的分布特征;夏秋季霾发生时的风速明显减小,48.5%和54.5%的霾发生时的风速(14时)小于2m/s.(4)安徽省大部分区域的霾易生成于高相对湿度(>70%)环境下,但高污染的合肥和蚌埠,约71.2%和68.9%的霾生成于低相对湿度(<70%)下.(5)夏秋季,生成于不同相对湿度下的霾频次逐年显著增加(置信度95%),且发现小风日数(日均风速≤2m/s)显著增加也可能是夏秋霾增加趋势的原因之一.

基于BP神经网络的能见度估测研究

利用安徽省高速公路能见度观测站网的分钟能见度及温湿风资料,在全面分析能见度与各个气象要素相关性的基础上,重点探讨了高速公路能见度的短时预测模型。应用BP神经网络,以湿度、温度、平均风速、瞬时风速、极大风速作为BP神经网络输入层,输出层为能见度,结果表明整体试验数据偏差在可接受范围内。采用顺序试验样本时,相对误差在20%以内的占总试验次数的68.6%;在随机样本各次试验中,BP网络模拟输出与检验样本的相关性较好,相关系数在0.6∼0.8之间;低能见度随机样本试验结果表明,模型输出值与样本值均方根误差集中在700∼850 m之间,变化幅度不大,说明神经网络算法具有较高的稳定性。

安徽省气象数据存储管理系统的设计与应用

海量气象数据是决策服务、预报产品和服务产品应用的重要基础,数据承载主体的存储网络管理也面临着严峻挑战,尤其在海量气象数据环境下,利用传统数据库技术和文件系统技术的查询和存储海量气象数据,都无法满足高性能查询气象数据的要求。为了满足不同应用场景下的数据访问和计算的时效性和功能性需求,本文简要介绍了基于大数据技术的多元气象数据环境系统,以及以分布式关系型数据库、分布式分析型数据库、分布式表格系统、分布式文件存储系统等多种技术相结合的高扩展、高可用、高安全、和高灵活的大数据存储系统;同时以系统的特性为依据,详细阐述了统一气象数据存储管理系统在业务中的应用。结果表明,该系统的应用有效提升了数据服务性能和信息的便捷共享,对气象观测数据、气象业务和服务产品、行业数据和社会数据等方面的有效开展提供了重要技术支撑。