地面自动气象站数据流式处理设计与实现

针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于Storm的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息;消息确认采用手工确认的方式,将数据解码组件锚定数据接入组件,实现每条数据的可靠处理;数据解码时进行字节校验和时间检查等,过滤异常数据;应用批量加定时的发送策略,解决海量监控信息发送气象综合业务实时监控系统(天镜)的问题;集群部署时保留部分剩余资源,有效应对单节点异常。应用效果表明:国家气象站小时数据的服务时效由全国综合气象信息共享系统(CIMISS)的175 s提高至天擎的78 s,约6×10^(4)个区域气象站小时数据的服务时效由CIMISS的5 min提高至天警的2 min,实况分析系统将数据源切换至天擎后,相同时间检索可获取的站点数量较CIMISS增加1倍。2021年12月基于Storm的流式处理与天擎一同在国省业务化运行,实现了长期稳定运行,为MICAPS4、SWAN2.0、实况分析系统等用户提供高效稳定的地面自动气象站数据。

基于虚拟实验数据库的流式细胞术线上教学应用研究

目的探讨线上教学在流式细胞术及其应用课程实验课教学中的应用效果。方法研究时间为2022年3月至2023年12月。选取首都医科大学2019级和2021级选修流式细胞术及其应用课程的37名硕士研究生为对照组,2022级和2023级选修流式细胞术及其应用课程的31名硕士研究生为试验组。对照组接受实验课线下教学,试验组接受实验课线上和线下混合教学模式教学。对试验组实验课线上教学模式满意度进行调查和评价,比较两组流式数据分析成绩和实验操作成绩。结果调查显示,试验组线上教学模式提升流式数据分析能力和线上教学模式满意度最高(96.7%),线上教学模式提升科研能力满意度最低(83.9%)。试验组流式数据分析成绩和实验操作成绩均高于对照组(P<0.05)。结论基于虚拟实验数据库的流式细胞术线上教学可提高研究生流式细胞术数据分析及实验操作能力。

时序大数据流式计算处理在航天测控中心系统设计的应用研究

随着互联网和信息技术的深入发展,新型数据——流数据,开始广泛应用在无线通信网络、传感器网络、金融股票交易等领域。流数据与传统数据集有所不同,其特点是数据规模庞大、具有时序性、变化速度快等特点。传统的大数据批量计算模型已经无法满足流数据处理的实时性要求。在航天测控中心系统中的大量测量数据由测控设备解码,生成原始数据并发送到测控中心。这些带有时间戳的原始数据、处理数据、处理结果以及程序状态信息形成了时序大数据。本文分析了时序大数据流式计算处理在航天测控中心系统中的应用。

流式大数据平台下的弹性数据迁移能效优化策略

针对流式计算框架在最初设计时缺乏能效方面的考虑,导致其存在高能耗与低效率的问题,提出一种流式大数据平台下的弹性数据迁移节能优化策略。首先,建立负载预测模型与资源判定模型,并进一步设计负载预测算法,通过预测负载变化趋势确定节点资源占用,找到资源过载与过剩节点;其次,建立资源约束模型与最优数据迁移模型,由此提出最优数据迁移算法,以提高节点资源利用率为目的进行数据迁移;最后,建立能耗模型,计算集群进行数据迁移后节约的能耗。实验结果表明,数据迁移节能优化策略能够对集群内节点资源变化做出及时响应,并在提高节点资源利用率的基础上,有效提高集群数据处理的能效。

Apache Flink流式计算模型在数据处理中的应用与性能优化研究

文章旨在研究Apache Flink流式计算模型在数据处理中的应用与性能优化。先从可扩展性、容错性和数据并行处理能力三个方面对Apache Flink流式计算框架技术特点进行论述,再对Apache Flink流式计算框架核心思想与工作流程进行研究,并提出一套执行数据处理任务的Java源码,再从并行计算、数据存储和传输、算法参数、系统配置、资源管理与调度、检查点和容错机制、编码和序列化等方面就如何进行Apache Flink性能优化进行分析,最后通过实验手段就优化性能进行分析。实验结果表明,优化后的平均响应时间显著减少,吞吐量相应增加,调整并行度和内存分配等参数可显著提升系统性能,但还需要考虑任务调度和资源分配等方面的综合因素,因此,Apache Flink流式计算框架调优策略具有一定的应用价值。

面向流式数据的弹性缓存管理系统设计

腹腔手术过程中需要维持腹腔的恒压,在利用物联网技术和云计算精准、实时地辅助医生完成恒压的过程中,存在大量流式数据,一些高负荷场景中存在缓存数据积压问题,导致的系统延迟将影响医疗器械的稳定性。在腹腔镜手术恒压器械中,缓存发挥着至关重要的作用,可以提高系统的吞吐量和响应速度,并减少对下游系统的压力。在实际应用中,上游传感器端由于网络延迟、数据内容等因素导致该单元的数据产出往往是不稳定的,在这种场景下常用的静态缓存策略易造成数据积压或缓存浪费,进而影响资源利用率。为此,本文提出以协调集群中上、下游节点间的资源为基础,通过数据积压预测结合协同均衡的策略,下游单元能感知上游单元数据产出后的负载变化趋势,预先调整资源分配;上游能通过管理单元的均衡调整,及时调整目标缓存节点及数据处理率。利用弹性缓存管理后,缓存占用比不随上游传感器数据量的变化而变化,数据得到了及时处理。

OODAFlow:面向智能无人系统的流式数据处理框架

智能无人系统是一种能够在复杂环境中自主进行实时推理、决策和制定行动方案的计算系统。智能无人系统实现实时决策的关键在于对流式数据的实时处理,然而随着人工智能技术和传感器技术的快速发展,智能无人系统需要处理的数据规模不断增长,数据类型变得更加复杂。面对不断增长的数据处理性能需求,智能无人系统需要一个充分优化的专用流式数据处理框架来提升其数据处理性能。针对该问题,本文提出了一种面向智能无人系统的流式数据处理框架OODAFlow,该框架将智能无人系统的硬件特征和智能计算任务的数据特征与观察-判断-决策-行动(OODA)模型思想相融合,实现了OODA任务创建、任务调度、资源调度等功能,能够实现对智能无人系统异构资源的调度和智能计算任务的处理。本文在智能无人系统上搭建了一套OODA任务处理系统,验证了所提OODAFlow框架的可行性。通过提出的图像预处理过程优化、流水线优化以及判断节点并行加速优化等方法,提高了系统的数据吞吐性能和资源利用率。无人机智能控制任务的实验表明,采用本文提出的OODAFlow框架后,智能无人系统的数据处理性能提升了73倍。

一种分布式Twitter数据处理方案及应用

针对社交媒体数据的特点及其分析的挑战性,提出了一种基于实时计算框架Storm、批处理框架Hadoop和高效可水平扩展的No SQL数据库Mongo DB的分布式社交媒体数据处理方案,并依此指导实现基于Twitter流式数据的流感疫情可视化分析系统。实验证明,该分布式方案能较好支持Twitter流式数据的高效处理和储存,使之满足系统的性能需求。

基于数据中台技术的泥沙磨损对高水头混流式水轮机运行效率下降程度影响评估技术研究

在多泥沙河流段时,水电站高水头混流式水轮机运行一般存在严重的泥沙磨损问题,导致机组运行效率和稳定性下降,甚至影响机组运行安全。本文提出了一种基于数据中台的泥沙磨损对机组运行效率下降程度影响评估技术,采用蜗壳压差测定相对效率方法开发分析模型,使用实测数据对水轮机实时运行效率进行计算和趋势分析,从而实现对泥沙磨损导致水轮机运行效率的长期监测和评估,并成功应用于新华水电集团波波娜水电站。该项评估技术是一项运用数字化和智能化技术解决电站运行痛点问题的前瞻性和创新性应用,对机组运行具有很高的应用价值,能有效评估泥沙磨损对机组运行效率下降程度的短期及长期影响,有助于逐步准确掌握泥沙磨损对机组运行的损害规律,进而科学选择抗磨措施,合理安排机组检修周期。

“金课”背景下“流式大数据实时分析”课程的建设与创新

数据处理的时效性和开源技术生态是大数据研究领域的核心问题与核心技术。参照“金课”建设“两性一度”的标准,文章以建设“流式大数据实时分析”课程为例,从课程理论系统建设、实训项目设计以及教学模式构建3个维度,探索了在产教协同下以行业需求为背景,以开源生态中行业前沿技术为主导的创新性课程建设模式。

基于Twitter签到数据的城市居民群体分类算法研究

为实现基于社交媒体大数据的居民群体分类,引入自然语言处理(NLP)领域的标签潜在狄利克雷分布(Labeled LDA)模型。基于2014年芝加哥市的Twitter签到数据,使用LDA探索性分析提取先验信息。构建Labeled LDA,将城市居民分为五类:上班族、大学生及高校教职工、中小学生及教职工、市政工作人员和其他。实验结果表明,Labeled LDA的分类精度达到0.92,超过了支持向量机(SVM)0.87的分类精度。该算法有效地实现了居民群体分类,从而促进有针对性的服务制定。

大数据流式计算:关键技术及系统实例

大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.

大数据流式计算框架Storm的任务迁移策略

Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销,在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster,TMSH-Storm),包括源节点选择算法和任务迁移算法.其中,源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序,将超出阈值的节点加入源节点集;任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素,依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明:相对于现有研究而言,TMSH-Storm能有效降低延迟和节点间通信开销,且执行开销较小.

基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。

一种适应性的流式数据聚集计算方法

针对流式数据聚集查询问题,提出了一种基于适应性层次聚集树的计算方法。适应性层次聚集树结构基于多层次时间窗口模型,将距离当前时刻较近的数据保存为细粒度数据,而相对久远的数据仅保留高层聚集信息;适应性层次聚集树中粒度的划分取决于相应时间间隔的数据密度。稀疏密度的时间间隔对应粗粒度的划分,而高密度的间隔对应细粒度的划分。并且提出了相应的构建维护以及聚集查询计算方法。实验结果表明,该方法在非均匀分布条件下的流式数据聚集计算中具有较为明显的优势。

流式数据挖掘的现状及统计学的研究趋势

本文对近年来在国内外学术界涌现出的流式数据挖掘的研究成果进行剖析,分析了流式数据挖掘的研究现状。在此基础上,提出了统计学在流式数据挖掘研究中的发展趋势,以便更好地促进统计学和数据挖掘的结合,拓展统计学方法的研究思路。

一种大规模流式数据聚类方法在交通热点分析中的应用

为了提高在大规模流式数据环境下交通热点区域分析的算法效率,提出了一种流式数据两阶段方法;该方法在第一阶段使用基于改进Canopy算法进行粗聚类并产生宏簇,在第二阶段使用K-means算法进行细聚类;并以粗聚类产生的宏簇个数和类簇中心位置为指导产生更加准确的微簇聚类结果。在试验中,使用流式数据两阶段方法对北京市出租车的定位数据进行了聚类分析;并结合热力图和电子地图对聚类结果进行可视化表达,在最终的热力分析结果中可以直观地发现出租车活动较为频繁的热点区域和线路,且与日常出行经验相符合。试验结果表明该算法能够实时地对流式数据进行聚类分析,产生的数据结果可供用户在任意时间窗口范围进行查询分析,有助于为交通活动情况实时分析、交通规划和拥堵治理等方面提供有价值的理论参考依据。

流式细胞仪数据采集系统的设计方法

为了满足流式细胞仪数据采集系统多通道高速高精度同步采样的需求,提出了一种结合过采样技术的设计方法。该方法依据流式细胞仪的检测原理,首先构建了系统荧光采集过程中信号强度与被测微粒位置关系的两种模型。依据该模型,以最不利情况分析推导了系统采样频率及采样精度两个参数与仪器变异系数(C.V.)、最小等量可溶性荧光分子数(MESF)两个核心指标间的关系。进而以其结果作为系统器件选型的判据,对数据采集系统的相应电路加以设计。通过采样信号示踪和系统噪声实验的评估,采用该方法设计的电路可实现8通道16位30MSPS采样速率的同步采集能力。其单通道不闪精度对应76 d B的信噪比值,2.8ns的通道间最大延迟满足电路设计的要求。而在装配了该采集系统的流式细胞仪上进行8峰彩虹球测量后得到320MECY的灵敏度,与方法设计采用的指标相符,证明了该设计方法的正确性与有效性。

基于类Twitter服务的低成本近实时野外监测数据获取系统

野外实时数据对于研究和预报工作越来越重要,传统的有线、无线或者混合数据传输方案往往建设难度大、成本高,且需处理数据冗余、信息纠错和信息干扰等实际问题.实验基于当前流行的类Twitter网络服务和GSM短信息服务,提出了一套基于无线短信的满足近实时数据获取要求的水文野外数据获取系统,并对其进行初步试验.方案具有低成本、高效率、构建灵活快速等特点,可以被广泛应用于近实时、保密性要求低的科研生产领域数据采集业务.

用于流式细胞仪的数据采集系统设计与实现

针对流式细胞仪的应用需求,设计了一种基于ADS5560模数转换芯片的多通道高速高精度同步数据采集系统。该系统以CDCE18005时钟芯片为采集信号发生器,以MSP430单片机为系统控制核心。依据系统的工作模式,设计了系统的硬件架构以及相关的电子电路,并讨论了系统中芯片的配置方法。通过实验验证,在30 MHz的采样频率下,系统8个同步采集通道间最大延迟2.8ns,各通道采样有效位数(ENOB)可达13.86位。