时序大数据流式计算处理在航天测控中心系统设计的应用研究

随着互联网和信息技术的深入发展,新型数据——流数据,开始广泛应用在无线通信网络、传感器网络、金融股票交易等领域。流数据与传统数据集有所不同,其特点是数据规模庞大、具有时序性、变化速度快等特点。传统的大数据批量计算模型已经无法满足流数据处理的实时性要求。在航天测控中心系统中的大量测量数据由测控设备解码,生成原始数据并发送到测控中心。这些带有时间戳的原始数据、处理数据、处理结果以及程序状态信息形成了时序大数据。本文分析了时序大数据流式计算处理在航天测控中心系统中的应用。

Apache Flink流式计算模型在数据处理中的应用与性能优化研究

文章旨在研究Apache Flink流式计算模型在数据处理中的应用与性能优化。先从可扩展性、容错性和数据并行处理能力三个方面对Apache Flink流式计算框架技术特点进行论述,再对Apache Flink流式计算框架核心思想与工作流程进行研究,并提出一套执行数据处理任务的Java源码,再从并行计算、数据存储和传输、算法参数、系统配置、资源管理与调度、检查点和容错机制、编码和序列化等方面就如何进行Apache Flink性能优化进行分析,最后通过实验手段就优化性能进行分析。实验结果表明,优化后的平均响应时间显著减少,吞吐量相应增加,调整并行度和内存分配等参数可显著提升系统性能,但还需要考虑任务调度和资源分配等方面的综合因素,因此,Apache Flink流式计算框架调优策略具有一定的应用价值。

基于流式计算的垃圾短信治理关键技术研究

某运营商在现网垃圾短信治理中,常采用关键字+规则的方法,难以在拦截成功率和误拦正常短信之间找到平衡。基于文本语义分析识别垃圾短信,则需要解决大数据挖掘算法、海量数据处理、响应时效等问题,因此在大业务量的集约化平台上应用并不广泛。通过算法研究、开发原型系统等工作,探索基于流式计算的垃圾短信治理技术方案,研发了一套基于Storm+Mahout架构的垃圾短信识别原型系统,完成了性能和准确率测试,取得了较好的效果。

Spark流式计算商品关注度系统

为帮助商家实时了解客户对自家商品的关注度,以便及时做出正确的营销策略,本文设计了一个流式计算商品关注度系统。系统通过socket算法实现模拟客户信息的生成,使用Spark Streaming流式计算框架构建实时数据处理系统。数据包括客户在每件商品上浏览的次数、停留的时间、是否收藏该件商品和购买商品数。测试结果表明,该系统能够同时展示出不同终端商品浏览、商场用户地域分布、地区排名、累计浏览分析和商品关注度分析,便于用户作进一步分析。

大数据流式计算:关键技术及系统实例

大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.

大数据流式计算框架Storm的任务迁移策略

Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销,在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster,TMSH-Storm),包括源节点选择算法和任务迁移算法.其中,源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序,将超出阈值的节点加入源节点集;任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素,依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明:相对于现有研究而言,TMSH-Storm能有效降低延迟和节点间通信开销,且执行开销较小.

基于分布式流式计算的蛋鸡养殖实时监测与预警系统

为实现蛋鸡养殖生产过程参数实时监测与预警,研发了基于分布式流式计算框架Data-Canal的蛋鸡养殖实时监测与预警系统。Data-Canal是面向数据流的分布式计算框架,使用控制流集中、数据流分散的模型,以分布式文件系统为中间结果的存储,支持异地多数据源的实时采集和处理。系统以Data-Canal为基础设施,在具有一定扩展性的情况下,保证实时性。系统采用Brower/Server模式,用户通过浏览器即可访问,提升了信息共享的便捷性。系统实现了规模化蛋鸡生产过程实时数据采集与展示、生产信息管理、实时预警、决策分析和系统管理功能,对蛋鸡养殖全生命周期进行了全方位的管理。运行效果表明,该系统可以解决规模化蛋鸡生产过程中产生海量数据信息化和实时处理问题,在部署8台机器的情况下,Data-Canal集群的处理能力峰值达到160 MB/s,延迟在分钟级别,在线上实验环境中,Data-Canal集群每天处理约25 GB的数据,而且系统后期维护和升级都极为便利。

基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。

高分辨率光学卫星影像高精度在轨实时云检测的流式计算

本文重点阐述基于机器视觉的智能摄影测量的效率基础问题之二:高精度影像在轨实时云检测方法。随着技术发展,数据获取能力不断提升,待处理的数据量呈爆炸式增长;同时,对处理精度需求的提升,导致所需计算量的不断增长,二者凸显了智能摄影测量面临的效率问题。对光学卫星影像而言,高达50%的平均云覆盖率严重制约了高效精准在轨智能摄影测量的实现。针对于此,本文结合机器视觉中"自底向上"的图像理解控制策略,提出一种可供借鉴的基于流式计算的高分辨率光学卫星影像高精度在轨实时云检测方法,采用适合在轨搭载的嵌入式GPU实现实时流式计算,为后续的智能摄影测量处理提供输入。本文方法采用不依赖外存的快速处理机制,对持续流入的数据实时分块,通过负载均衡机制将数据块依次分发至各个单元并行处理,从而实现"流入、处理、流出"的实时处理。利用高分二号数据对本文方法进行试验验证,结果表明本文方法在显著提高云覆盖区域检测精度的同时,综合加速比达14,可满足在轨实时处理需求。

面向套牌甄别的流式计算系统

套牌车的甄别具有时效性约束。针对现有计算检测方法中所出现的精度低、响应慢等局限,提出了一种基于实时车牌识别(ANPR)数据流的套牌车流式并行检测方法,设计了基于路段阈值表和时间滑动窗口的套牌计算模型,能够实时地甄别出交通数据流中的套牌嫌疑车。在Storm环境下,利用某市真实交通数据集模拟成实时交通流数据进行实验和评估,实验结果表明计算的准确率达到98.7%,并且一条车牌识别数据的处理时间为毫秒级。最后,在该计算模型基础上实现了套牌车稽查防控系统,能实时甄别并展现出当前时刻城市交通网中出现的所有套牌嫌疑车。

基于流式计算的Web实时故障诊断分析与设计

随着Web服务技术在分布式系统的广泛应用,Web服务正逐步成为Internet环境中资源封装的标准形式,Web服务粗粒度、松耦合等特性在增加业务应用的灵活性和分布式系统的自适应能力同时,也增加了应用系统的复杂性。为了提高Web服务分布式系统的可用性,提出了采用Storm流式计算架构的Web故障诊断新方式,为实时发现故障问题以及迅速排除故障提供了方案。

基于流式计算的网络排队时延预测技术研究

网络排队时延对了解网络带宽利用率与分析拥塞级别具有重要意义,而传统时延测量技术对网络流量和往返时延预测的时效性差且准确性低,容易忽略突发的网络延时变化。结合交换机内部网络排队时延的细粒度特性和多变性,提出基于LSTM模型的多时间尺度融合预测方法。利用带内网络遥测技术获取并转换网络细粒度参数,为预测模型提供延时和利用率特征,构建基于长短期记忆网络(LSTM)的多时间尺度融合预测模型(LSTM-Merge),将不同采样尺度数据进行融合,并采用流式计算框架对网络排队时延进行预测。实验结果表明,与LSTM、SVR等预测模型相比,LSTM-Merge模型所得预测结果的均方根误差更小,3种时间尺度融合模型较其他数目时间尺度融合模型所得预测结果的实时性更好且准确性更高。

一种基于流式计算的无人船路径规划算法

为了提高无人船路径规划的效率,利用流式计算高实时性模式,在云端构建流式计算框架,分布式完成路径规划。基于5G通信,云端与无人船之间采用Kafka组件进行消息的传递。在云端,将路径规划分为地图生成、路径搜索和路径平滑三个步骤,通过流式计算集群并行执行任务。为了逃离局部陷阱,在云端增加环境记忆功能。仿真环境下,对比几种传统路径规划算法,所提出算法规划的路径质量更高,执行时间更短。真实环境下的实验验证了算法的可行性和有效性。

大数据流式计算:应用特征和技术挑战

在大数据时代,数据的时效性日益突出,数据的流式特征更加明显,越来越多的应用场景需要部署在流式计算平台中。大数据流式计算作为大数据计算的一种形态,其重要性也不断提升。针对大数据环境中流式计算应用所呈现出的诸多鲜明特征进行了系统化的分析,并从系统架构的角度,给出了大数据流式计算系统构建的原则性策略。结合当前比较典型的流式计算平台,重点研究了当前大数据流式计算在在线环境下的资源调度和节点依赖环境下的容错策略等方面的技术挑战。

基于流式计算的网络舆情分析模型研究

互联网时代,网络舆情的庞大数据规模和舆情分析的计算复杂性,使对网络舆情的分析和实时掌控变得愈发困难。面向快速、不断产生的网络舆情采用流式计算进行实时处理的分析模型,在时效性、突发性和无限性三个方面都更加符合网络舆情的自身特性。基于流式计算的网络舆情分析模型分为数据收集、舆情分析和舆情治理三个部分,通过对语义保障和负载控制等关键技术的把控,可以实现个案把握向整体掌控、被动响应向主动分析的转变。基于流式计算的网络舆情分析模型具有可扩展性,能够联合众多服务器及资源,具有平台优势,能够解决地方舆情分析中面临的技术门槛,保障网络舆情分析的准确性与及时性。

流式计算在交通信息实时处理中的应用框架初探

文章从交通领域的需求和流式计算(Stream Computing,SC)的特点入手,简单介绍了交通信息数据的特点以及流式计算的优势和应用状况。在此基础上,提出了多源交通信息实时处理的框架和过程,它为研究交通信息实时处理和在线诱导等一系列交通应用提供了理论基础和可行性指导,为交通实时系统的实现提供了新的途径。

大数据流式计算系统综述

在阐述流式大数据特征及计算模式的基础上,介绍了大数据流式计算的3种典型平台,分析了它们的系统架构、特征及应用场景,并对其进行比较.总结并展望了大数据流式计算的发展前景.

大数据流式计算关键技术研究

为推动低延迟、高可靠性及可扩展的大数据流式计算系统的发展,介绍了大数据流式计算及其特征。与传统的批处理方法相比,其在时效性、有序性、数据量、数据处理速率、是否重现、移动对象、计算方式、常驻空间等方面都具有一定的优势。不足之处是精确度较低。通过实例介绍了典型的流式计算系统和关键技术,分析了大数据流式计算在系统容错性、负载均衡等方面面临的挑战。未来网络数据规模的扩大将给大数据流式计算带来更大的挑战,还需进一步对其关键技术进行深入研究,使大数据流式计算更好地推动社会经济发展。

流式计算框架下的实时数据库分区技术研究

大数据技术的应用为互联网的发展提供了助力,但其也带来了极高的数据处理压力。它的应用使互联网数据呈现数量级增长。对于数据的后台管理与处置,是保障大数据的根本,尤其是云数据库的正式商用,增加了此过程的难度。基于此,采用流式计算框架,实现数据库的实时分区管理,有效提高数据库服务器的综合负载,从而达到更高效能、更高质量的数据处理。

基于流式计算的系统优化及分区技术研究

理想的流式计算系统，按功能划分，模块功能有重迭，影响了系统的安全性和可靠性。本文提出对理想的流式计算系统进行优化，确定了模块功能。讨论了用于输入的流数据选择计算节点和流数据存储所用到的分区技术。