时序大数据流式计算处理在航天测控中心系统设计的应用研究

随着互联网和信息技术的深入发展,新型数据——流数据,开始广泛应用在无线通信网络、传感器网络、金融股票交易等领域。流数据与传统数据集有所不同,其特点是数据规模庞大、具有时序性、变化速度快等特点。传统的大数据批量计算模型已经无法满足流数据处理的实时性要求。在航天测控中心系统中的大量测量数据由测控设备解码,生成原始数据并发送到测控中心。这些带有时间戳的原始数据、处理数据、处理结果以及程序状态信息形成了时序大数据。本文分析了时序大数据流式计算处理在航天测控中心系统中的应用。

Apache Flink流式计算模型在数据处理中的应用与性能优化研究

文章旨在研究Apache Flink流式计算模型在数据处理中的应用与性能优化。先从可扩展性、容错性和数据并行处理能力三个方面对Apache Flink流式计算框架技术特点进行论述,再对Apache Flink流式计算框架核心思想与工作流程进行研究,并提出一套执行数据处理任务的Java源码,再从并行计算、数据存储和传输、算法参数、系统配置、资源管理与调度、检查点和容错机制、编码和序列化等方面就如何进行Apache Flink性能优化进行分析,最后通过实验手段就优化性能进行分析。实验结果表明,优化后的平均响应时间显著减少,吞吐量相应增加,调整并行度和内存分配等参数可显著提升系统性能,但还需要考虑任务调度和资源分配等方面的综合因素,因此,Apache Flink流式计算框架调优策略具有一定的应用价值。

基于流式计算的垃圾短信治理关键技术研究

某运营商在现网垃圾短信治理中,常采用关键字+规则的方法,难以在拦截成功率和误拦正常短信之间找到平衡。基于文本语义分析识别垃圾短信,则需要解决大数据挖掘算法、海量数据处理、响应时效等问题,因此在大业务量的集约化平台上应用并不广泛。通过算法研究、开发原型系统等工作,探索基于流式计算的垃圾短信治理技术方案,研发了一套基于Storm+Mahout架构的垃圾短信识别原型系统,完成了性能和准确率测试,取得了较好的效果。

Spark流式计算商品关注度系统

为帮助商家实时了解客户对自家商品的关注度,以便及时做出正确的营销策略,本文设计了一个流式计算商品关注度系统。系统通过socket算法实现模拟客户信息的生成,使用Spark Streaming流式计算框架构建实时数据处理系统。数据包括客户在每件商品上浏览的次数、停留的时间、是否收藏该件商品和购买商品数。测试结果表明,该系统能够同时展示出不同终端商品浏览、商场用户地域分布、地区排名、累计浏览分析和商品关注度分析,便于用户作进一步分析。

基于禁忌搜索的流式计算平台负载均衡策略

针对大数据流式计算平台原生调度机制存在计算负载分配不均衡、资源利用率低的问题,提出异构环境下基于禁忌搜索算法的负载均衡策略,并将其应用于Apache Flink平台。首先,通过构建作业拓扑模型将流式计算作业的拓扑结构抽象为有向无环图(directed acyclic graph, DAG),并将每个任务槽(task slot)抽象为节点,为计算节点的性能评估奠定基础;其次,通过建立性能评估模型,将有向无环图中带性能权值的节点导入性能评估模型进行归一化处理,得到节点性能的优劣;再将评估参数传入禁忌调度算法(tabu search for schedule, TBS)进行作业路径优化,从而得出最优作业路径;最后,使用Flink平台提供的CustomPatitionerWrapper接口将数据分配到最优作业路径包含的节点中,完成计算负载的均衡分配,从而提升Flink平台的整体性能。实验结果表明:通过禁忌调度算法优化后的负载均衡策略与原生的Flink平台相比,平均计算延迟降低了10~20 ms,资源利用率显著提高,平均吞吐量提升约15%,有效证明了负载均衡策略的有效性和优化效果。

时序大数据流式计算处理在航天测控中心系统的应用

大数据处理技术按照时效性可分为批处理与流处理两种模式。大量航天器工程测量数据经过测控设备的解码、译码等处理后形成原始数据发往测控中心,带有时间戳的这些原始数据、过程数据、处理结果数据及软件状态信息组成了时序大数据。通过对航天测控中心智能化决策模型的研究,设计了一种基于流式计算技术在航天测控中心系统的应用方法,指出了当前消息队列系统的瓶颈,并提出采用Kafka的消息通信机制来解决任务数量受限的问题。

流式计算引擎中密集滑动窗口的性能优化研究

为缓解目前的大数据流式计算引擎在处理密集窗口时因高负载而带来的性能下降问题,文章分析了原生窗口机制的性能瓶颈以及现有优化方法的不足之处,包括需要额外的内存空间用于存储输入的数据流、无法自动清理状态缓存等,提出一种基于关键窗口机制的优化方案,该方案能够减少流式计算中需要创建的窗口数量,具有降低系统负载的效果。通过与原生机制进行对比分析,证明此优化方案的有效性。该优化方案具有能兼容现有框架、对下游系统改造少及同时提升内存占用和I/O频率两个方面性能的优点。

流式计算在稠油热采锅炉运行趋势预警中的应用

随着物联网的建设,自动化数据采集程度越来越高,充分利用自动采集数据,有效挖掘数据价值,是智能油田建设的一项重要内容。大数据流式计算主要用于对动态产生的数据进行实时计算并及时反馈结果。在数据的有效时间内获取其价值,是大数据流式计算的首要设计目标。结合大数据流式计算,充分利用数据时效性,在业务分析基础上建立预警模型,实现了稠油注蒸汽锅炉运行的趋势预警。

基于流式计算和微服务的可视化智慧配电房监控云平台研究

为了满足未来高速公路运营管理手段数字化、网络化、智慧化的发展趋势,文章以钦州至北海高速公路改扩建机电项目为例,利用大数据技术体系中“流式计算”和“微服务”技术,将供配电房、开闭所、开关站组成路段级的供电数据监管群,并构建可视化智慧配电房监测云平台,对配电房电力设备的运行状态、设备管理进行可视化集中监控,提高配电房设备的安全运行可靠性。

流式计算在污染源监测领域的应用与实践

随着环境保护形势的日趋严峻,各大能源企业开始建设内部的污染源监测系统。污染源监测数据的采集、存储和计算要求极高,数据属性具有典型的大数据特征。在管理实际中,需要科学的算法排除异常数据,实时、真实地反映现场实际。流式计算的技术特性与污染源监测数据的计算处理的业务场景匹配度极高,对于能源企业内部环保管理的业务支撑可以发挥传统技术不可替代的作用。

大数据流式计算:关键技术及系统实例

大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.

大数据流式计算框架Storm的任务迁移策略

Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销,在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster,TMSH-Storm),包括源节点选择算法和任务迁移算法.其中,源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序,将超出阈值的节点加入源节点集;任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素,依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明:相对于现有研究而言,TMSH-Storm能有效降低延迟和节点间通信开销,且执行开销较小.

基于分布式流式计算的蛋鸡养殖实时监测与预警系统

为实现蛋鸡养殖生产过程参数实时监测与预警,研发了基于分布式流式计算框架Data-Canal的蛋鸡养殖实时监测与预警系统。Data-Canal是面向数据流的分布式计算框架,使用控制流集中、数据流分散的模型,以分布式文件系统为中间结果的存储,支持异地多数据源的实时采集和处理。系统以Data-Canal为基础设施,在具有一定扩展性的情况下,保证实时性。系统采用Brower/Server模式,用户通过浏览器即可访问,提升了信息共享的便捷性。系统实现了规模化蛋鸡生产过程实时数据采集与展示、生产信息管理、实时预警、决策分析和系统管理功能,对蛋鸡养殖全生命周期进行了全方位的管理。运行效果表明,该系统可以解决规模化蛋鸡生产过程中产生海量数据信息化和实时处理问题,在部署8台机器的情况下,Data-Canal集群的处理能力峰值达到160 MB/s,延迟在分钟级别,在线上实验环境中,Data-Canal集群每天处理约25 GB的数据,而且系统后期维护和升级都极为便利。

基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。

高分辨率光学卫星影像高精度在轨实时云检测的流式计算

本文重点阐述基于机器视觉的智能摄影测量的效率基础问题之二:高精度影像在轨实时云检测方法。随着技术发展,数据获取能力不断提升,待处理的数据量呈爆炸式增长;同时,对处理精度需求的提升,导致所需计算量的不断增长,二者凸显了智能摄影测量面临的效率问题。对光学卫星影像而言,高达50%的平均云覆盖率严重制约了高效精准在轨智能摄影测量的实现。针对于此,本文结合机器视觉中"自底向上"的图像理解控制策略,提出一种可供借鉴的基于流式计算的高分辨率光学卫星影像高精度在轨实时云检测方法,采用适合在轨搭载的嵌入式GPU实现实时流式计算,为后续的智能摄影测量处理提供输入。本文方法采用不依赖外存的快速处理机制,对持续流入的数据实时分块,通过负载均衡机制将数据块依次分发至各个单元并行处理,从而实现"流入、处理、流出"的实时处理。利用高分二号数据对本文方法进行试验验证,结果表明本文方法在显著提高云覆盖区域检测精度的同时,综合加速比达14,可满足在轨实时处理需求。

面向套牌甄别的流式计算系统

套牌车的甄别具有时效性约束。针对现有计算检测方法中所出现的精度低、响应慢等局限,提出了一种基于实时车牌识别(ANPR)数据流的套牌车流式并行检测方法,设计了基于路段阈值表和时间滑动窗口的套牌计算模型,能够实时地甄别出交通数据流中的套牌嫌疑车。在Storm环境下,利用某市真实交通数据集模拟成实时交通流数据进行实验和评估,实验结果表明计算的准确率达到98.7%,并且一条车牌识别数据的处理时间为毫秒级。最后,在该计算模型基础上实现了套牌车稽查防控系统,能实时甄别并展现出当前时刻城市交通网中出现的所有套牌嫌疑车。

基于流式计算的Web实时故障诊断分析与设计

随着Web服务技术在分布式系统的广泛应用,Web服务正逐步成为Internet环境中资源封装的标准形式,Web服务粗粒度、松耦合等特性在增加业务应用的灵活性和分布式系统的自适应能力同时,也增加了应用系统的复杂性。为了提高Web服务分布式系统的可用性,提出了采用Storm流式计算架构的Web故障诊断新方式,为实时发现故障问题以及迅速排除故障提供了方案。

基于流式计算的网络排队时延预测技术研究

网络排队时延对了解网络带宽利用率与分析拥塞级别具有重要意义,而传统时延测量技术对网络流量和往返时延预测的时效性差且准确性低,容易忽略突发的网络延时变化。结合交换机内部网络排队时延的细粒度特性和多变性,提出基于LSTM模型的多时间尺度融合预测方法。利用带内网络遥测技术获取并转换网络细粒度参数,为预测模型提供延时和利用率特征,构建基于长短期记忆网络(LSTM)的多时间尺度融合预测模型(LSTM-Merge),将不同采样尺度数据进行融合,并采用流式计算框架对网络排队时延进行预测。实验结果表明,与LSTM、SVR等预测模型相比,LSTM-Merge模型所得预测结果的均方根误差更小,3种时间尺度融合模型较其他数目时间尺度融合模型所得预测结果的实时性更好且准确性更高。

大数据流式计算:应用特征和技术挑战

在大数据时代,数据的时效性日益突出,数据的流式特征更加明显,越来越多的应用场景需要部署在流式计算平台中。大数据流式计算作为大数据计算的一种形态,其重要性也不断提升。针对大数据环境中流式计算应用所呈现出的诸多鲜明特征进行了系统化的分析,并从系统架构的角度,给出了大数据流式计算系统构建的原则性策略。结合当前比较典型的流式计算平台,重点研究了当前大数据流式计算在在线环境下的资源调度和节点依赖环境下的容错策略等方面的技术挑战。

基于流式计算的网络舆情分析模型研究

互联网时代,网络舆情的庞大数据规模和舆情分析的计算复杂性,使对网络舆情的分析和实时掌控变得愈发困难。面向快速、不断产生的网络舆情采用流式计算进行实时处理的分析模型,在时效性、突发性和无限性三个方面都更加符合网络舆情的自身特性。基于流式计算的网络舆情分析模型分为数据收集、舆情分析和舆情治理三个部分,通过对语义保障和负载控制等关键技术的把控,可以实现个案把握向整体掌控、被动响应向主动分析的转变。基于流式计算的网络舆情分析模型具有可扩展性,能够联合众多服务器及资源,具有平台优势,能够解决地方舆情分析中面临的技术门槛,保障网络舆情分析的准确性与及时性。