地面自动气象站数据流式处理设计与实现

针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于Storm的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息;消息确认采用手工确认的方式,将数据解码组件锚定数据接入组件,实现每条数据的可靠处理;数据解码时进行字节校验和时间检查等,过滤异常数据;应用批量加定时的发送策略,解决海量监控信息发送气象综合业务实时监控系统(天镜)的问题;集群部署时保留部分剩余资源,有效应对单节点异常。应用效果表明:国家气象站小时数据的服务时效由全国综合气象信息共享系统(CIMISS)的175 s提高至天擎的78 s,约6×10^(4)个区域气象站小时数据的服务时效由CIMISS的5 min提高至天警的2 min,实况分析系统将数据源切换至天擎后,相同时间检索可获取的站点数量较CIMISS增加1倍。2021年12月基于Storm的流式处理与天擎一同在国省业务化运行,实现了长期稳定运行,为MICAPS4、SWAN2.0、实况分析系统等用户提供高效稳定的地面自动气象站数据。

基于Storm的电网时间序列数据实时预测框架

对电网运行产生的时间序列数据展开实时预测研究,提出基于Storm平台和ARIMA模型的预测框架。分析不同类型电网时序数据的特点,预设拟合模型以降低模型构建的盲目性,缩短预测时间,同时设计基于HBase的新型时序数据存储模式加快数据检索速度。通过对海量的时序数据源进行并发预测,比较不同数据样本对预测值的影响并实时分析预测误差。经实例从预测精度、运算速度、占用资源3个角度验证了该框架的有效性与实用性。

基于Storm的高速公路实时交通指数评估方法的研究与实现

随着高速公路飞速的发展,出现的拥堵增加、监控困难等问题也日益严峻。首先在北京市城市交通拥堵指数的基础上,提出了利用交通指数对高速公路运行状况进行评估的方法;然后基于Storm大数据平台,实现了交通指数评估系统中的数据处理、分析、指数后台计算关键算法;最后通过手机APP、微信公众号等形式,实时地发布高速公路交通指数。实验结果表明,高速公路交通指数不仅可以反映整体的高速运行状况,也可以反映特定高速或者特定高速区间的实时拥堵情况,甚至可以实时监测高速路网的拥堵情况,为居民出行提供参考,对缓解道路拥堵起到积极作用。

基于Storm的面向大数据实时流查询系统设计研究

随着大数据的发展,传统的流查询系统框架不能满足用户实时查询的需求。通过调研传统的集中式查询系统与流计算框架,提出了一种新的能够适应用户处理连续查询的实时查询框架。该框架具备延时小、可拓展的特点。最后实验证明,该框架能够满足大数据流处理要求。

基于Storm平台的实时视频分析系统

根据云计算平台下智能视频分析的实时性需求,设计一个基于Storm流计算框架的实时视频分析系统。采用短照片组进行视频流分割,损失部分视频传输带宽以降低整体延时,采用合并解码单元和视频分析单元的方法避免耗尽集群带宽,并利用工作窃取机制加速算法执行。通过节点性能监控并利用贪心置换策略动态调节Worker Node负载,改进Storm的默认调度器,降低消息的处理延时。实验结果表明,在运行人脸检测算法的Storm集群中接入多路监控设备,实现100ms之内的消息处理延时和低于1s的整体延时,能够为云环境下多路监控终端提供实时稳定的视频分析服务。

基于CPU/GPU异构资源协同调度的改进H-Storm平台

为满足计算密集型大数据应用的实时处理需求,在Apache Storm基础上,研究开发H-Storm异构计算平台。通过多进程服务特性设计图形处理器(GPU)资源的量化和分布式调用机制,进而提出H-Storm异构集群的任务调度策略,实现GPU性能及负载的任务调度算法与协同计算下自适应的流分发决策机制。实验结果表明,在512×512矩阵乘法用例下,与原生Storm平台相比,H-Storm异构计算平台吞吐量提升54.9倍,响应延时下降77倍。

福州市深远海养殖发展现状与建议

推进福州市深远海养殖发展,是缓解近海养殖环境压力、优化海水养殖空间布局、保障水产品有效供给、促进福州市海水养殖业可持续发展的重要举措。本文介绍了福州市重力式深水抗风浪网箱发展情况、深远海大型设施化养殖平台发展现状及深远海养殖平台产权登记情况,指出福州市深远海养殖发展的困境,并对福州市深远海养殖的发展提出建议,以期为福州市深远海养殖发展提供参考。

基于Storm与PLC技术融合的煤矿自动化排水系统

针对目前国内煤矿井下排水系统自动化程度低、不能对采集的大量动态数据进行实时的分析和储存、可靠性及应急性差等问题,设计一套基于Storm大数据实时处理平台与PLC水泵控制技术融合的煤矿自动化排水系统。该系统首先借助Storm能够实时、高效处理无界持续流数据的优势,对收集的煤矿排水系统数据进行快速分析,并结合BP神经网络模型对煤矿涌水量的预测结果来输出排水方案,然后将排水方案通过工业以太网传输至井下的PLC系统来控制水泵的启停,实现了煤矿排水系统的数据智能化分析与水泵的自动化控制,减小了工人的劳动强度,提高了系统的可靠性与应急性,为煤矿排水系统的数字化发展提供一定的理论指导与参考。

基于Twitter Storm平台并行挖掘最稠密子图

在大规模图结构数据中发现最稠密子图具有极其广泛的应用,如社区发现、垃圾邮件检测和论文引用关系抽取等。基于带标签的无向图,提出了查询标签集的概念,设计了一个可以快速发现最稠密子图的近似算法DSFLC(Densest Subgraph Finding based on Labelset Constraint):用户提交自定义的查询标签集,算法便可保证在用户可以接受的时间内返回满足查询标签集约束的最稠密子图。对于任何参数ε(ε>0),DSFLC算法只需扫描大规模数据集O(log1+εn)次,同时可保证算法的近似因子是2(1+ε)。对DSFLC算法进行分析后,发现该算法在预处理阶段易于并行化,因此选择Twitter Storm平台,并行化地实现了DSFLC算法。最后对从DBLP数据库中抽取的合作关系图进行测试,一方面研究Storm平台对算法的加速程度;另一方面分析挖掘出的子图的稠密度与参数ε之间的关系,最终验证了DSFLC算法的实用性和可扩展性。

基于Storm平台的多任务分组调度策略与实现

随着大数据与人工智能技术的飞速发展,高性能,实时性的流式计算系统逐渐取代传统基于数据仓库的批量计算系统.Apache storm作为一款开源,高容错,实时处理的分布式大数据流式计算平台,支持任务平均分配策略,单机任务指定策略等多种任务分配方案.当任务拓扑结构中存在多个任务时,且集群中只有某些机器支持某一任务执行时,传统的任务调度方法只能实现将单一的任务分配给单一指定的机器,使得整个集群的资源没有充分的利用.通过调整任务调度策略,获得满足条件的机器队列,查看机器队列中可用工作节点,将指定任务均匀分配给可用工作节点,其他任务仍通过默认策略分配给集群中的剩余机器,实现多任务的分组调度策略.

基于Storm实时流式计算框架的网络日志分析方法

随着互联网的飞速发展,网络日志数据呈现爆炸式增长,网络日志蕴含着丰富的网络安全信息。通过对网络日志进行分析,提出了基于访问行为和网络关系的攻击IP识别模型和基于滑动时间窗口的IP真人属性判定模型。基于Storm实时流式计算框架,对所提模型进行算法实现,以构建分布式网络日志实时计算与分析平台,并对实现过程中遇到的技术问题给出了解决方案。通过真实数据对所构建的模型进行分析计算,结果表明,所构建的攻击IP识别模型的标注准确率达到98%,IP真人属性判定模型的标注准确率达到96%;构建的分布式网络日志实时计算与分析平台能够有效、实时地监控网络安全,并及时识别网络中存在的安全隐患。

面向流数据的决策树分类算法并行化

随着云计算、物联网等技术的兴起,流数据作为一种新型的大数据形态广泛存在于电信、互联网、金融等领域.与传统静态数据相比,大数据环境下的流数据具有快速、连续和随时间变化等特点.同时数据流的隐含分布变化会带来概念漂移问题.为了适应大数据环境下流数据分类算法的要求,必须对传统的静态离线数据分类算法进行改进,提出基于分布式计算平台Storm的P-HT并行化算法.算法在满足Storm流处理平台要求基础上,通过滑动窗口机制、替代子树机制和并行化处理,提高了算法的灵活性和通用性,并且能良好地适应数据流的概念漂移.最后通过实验验证该算法的有效性和高效性,结果表明在与传统C4.5算法相比精度没有降低的情况下,改进的P-HT算法具有更大的吞吐量和更快的处理速度.

基于云服务的食品安全监理实时化研究

为了及时发现食品安全问题,降低食品安全问题的发生率,从食品供应链角度出发,通过对影响食品安全的各要素分析,利用蝙蝠算法优化的Elman神经网络,并结合Storm云服务平台,构建了食品安全监理实时分析预测模型,对食品安全数据实时分析。通过对该模型的建模分析,形成有效的食品安全实时监理机制,期望能进一步降低食品安全隐患。

基于大数据的医疗卫生信息平台建设研究

随着大量智能医疗设备的广泛使用和医疗数据的指数级增长,医疗卫生领域正面临着大数据的挑战。这些挑战对医疗卫生信息平台建设提出了新的要求。在对山西省医疗卫生信息平台现状分析的基础上,构建了一个符合山西省医疗特点的基于大数据的医疗卫生信息平台。与传统的医疗卫生信息平台相比,该平台又集成了无线传感网、智能医疗设备无线网和云平台,综合运用了Hadoop、Storm和MOM等大数据技术对医疗卫生数据进行了收集、存储和分析处理,能够更优质更广泛地服务于患者、医护人员乃至政府决策人员。

极端风暴潮下近海导管架平台结构安全分析

基于导管架平台极端环境作用下极限状态的分析,研究了近海导管架平台的结构安全。由极端风暴潮载荷的模拟方法,确定适用于近海导管架平台的安全评价方法。并以某近海导管架平台为例,进行甲板上浪载荷计算、静力非线性分析、动力响应分析及极限承载能力分析。结果表明:极端风暴潮作用下的上浪载荷会减弱近海导管架结构的极限承载能力,也会影响其抗力,须予以重视。

苏皖北部倪园组碳酸盐台地沉积

本文首次对苏皖北部上元古界倪园组的沉积相进行了较为详细的划分,提出了大致可与威尔逊碳酸盐台地沉积模式进行对比的四种沉积相;文中还首次提出了倪园组中存在着碳酸盐风暴沉积的认识,为今后本区前寒武纪事件地层学的进一步研究,提供了新的实际资料。

宜兴张渚下、中三叠统岩石特征及沉积环境分析

文章详细论述了宜兴张渚下、中三叠统的岩石类型及沉积相特征,重点解剖了几种高密度流的特征、分布及成因。该区的一种特殊类型岩石?大型虫迹灰岩,为台地前缘上斜坡环境的产物;但横向上到宁镇一带变为瘤体灰岩,属下斜坡环境。

内蒙古固阳渣尔泰山群增隆昌组台前斜坡碳酸盐角砾岩的成因

内蒙古固阳渣尔泰山群增隆昌组晚期沉积环境演化为碳酸盐岩台地。重点研究了台前斜坡碳酸盐角砾岩的岩性、岩相和相序特征 ,识别出重力滑动、浊流和风暴重力流成因的角砾岩 ,探讨了不同成因的角砾岩与海平面变化的响应关系。研究表明 ,角砾岩主要形成于海平面的上升速率减慢或最大静止期 ,此时台地碳酸盐岩产率过剩 ,大量的碳酸盐岩由地震、重力、风暴流带入斜坡和坡底 ,形成异地角砾岩。

圆筒形超深海半潜式钻井储油平台运动特性分析

使用Pro/E软件对SEVAN 650平台和GVA 7500平台建模,将模型导入ANSYS Workbench程序的Hydrodynamic Diffraction模块,计算出2座半潜式钻井平台南海海况风暴自存状态下的运动响应幅值算子,得出2座平台各自的垂荡、横摇和纵摇特性曲线,进而对2座平台南海海况风暴自存状态下的运动特性进行对比分析.结果表明:SEVAN 650圆筒形半潜式平台在原油存储性能和甲板承受可变载荷性能优于GVA 7500平台的前提条件下,其在风暴自存状态时具有比GVA 7500更优的抗倾性能,但SEVAN 650平台在风暴情况下的垂荡响应幅值需要进一步减小.

基于并行化大数据流及迁移学习的配电变压器故障在线辨识–诊断模型

针对配变故障在线诊断对计算速度的要求,以及配变单体在线监测量种类及例行试验数据量不足的问题,建立了一种基于并行化大数据流及迁移学习的配电变压器故障在线辨识-诊断模型。首先,分析配变在线监测量在故障辨识中的可行性,基于此提出配变故障在线辨识的主要指标;其次,提出基于ARIMA预测技术的配变故障在线辨识方法,建立了基于大数据流的配变故障在线辨识模型,并利用Storm平台完成配变故障的并行化在线辨识,辨识出存在故障隐患的配变作为待诊断配变;再次,构建配变故障诊断指标体系,利用迁移学习算法TrAdaBoost从大量配变中提取有效故障信息,辅助待诊断配变进行故障诊断,建立了基于迁移学习的配变故障诊断模型,并在Storm平台上完成配变故障的并行化诊断;最后,根据配变故障数据进行算例分析,仿真结果表明,所建模型故障诊断精确性高达97%,能够实现配变故障的实时辨识与诊断。