面向Flink流处理框架的主动备份容错优化

针对Flink任务出现故障后因为全局卷回使流处理作业恢复效率低的问题,提出基于缓存队列的容错策略.在作业中找出恢复时间最长的算子作为关键算子,将其处理过的数据存储到缓存队列中,并为其进行主动备份,备份算子同时接受来自上游的数据以达到在故障后作业可以瞬时恢复的效果.为了解决主动备份带来的额外消耗,提出数据过滤算法,备份算子在每次处理数据前会到缓存组件中检索当前数据,以判断是否继续处理.当Flink算子自身出现故障后,利用策略中的缓存队列与Flink的JobManager将故障发生时的数据信息发送给备份算子,在备份算子接收到数据后,实现即时恢复的效果.利用4项评价指标对策略进行评估,结果表明,与Flink1.8的故障恢复模式相比,所提策略在Flink任务故障恢复速度上有显著提升,当故障次数分别为1、2、3、4时,恢复效率分别提高56.3%、51.3%、46.2%和45.8%;而在处理时延、CPU利用率以及内存使用率方面仅产生极小的代价.

基于Flink流处理框架的FFT并行及优化

FFT作为雷达信号处理的关键计算步骤之一,本质上是一个基于数据流的处理过程。以往的FFT计算大多集中在通用计算平台上进行并行计算实现,计算系统存在扩展性和鲁棒性问题。随着科学计算应用在Flink上的逐渐兴起,将FFT在Flink上进行并行和优化,不仅可以很好地利用框架自身良好的系统扩展性和鲁棒性,同时也能使其具备高吞吐的实时性能。基于Flink对FFT流处理算法流程进行了设计和优化,同时针对Flink对适用于FFT计算的缓存窗口机制进行了设计,实验结果表明,改进后FFT并行算法在多个大规模点数下计算速度均有所提高。

大数据技术下的流数据处理框架构建及应用研究

大数据技术下的流数据具有实时性、突发性、无序性、易失性和无限性等特征,因此,传统的分布式计算机系统很难满足计算需求,需要利用流计算来处理流数据,流计算可以针对海量的不同数据源的流数据进行实时分析与处理。在梳理大数据技术架构的基础上,对流数据及流数据处理框架进行了阐述,给出了流数据处理的三种常用框架,利用文献研究法和系统法对大数据技术下的流数据处理进行深入研究,提出了大数据技术下的流数据处理框架及应用领域,希望能为大数据技术下的流数据处理的研究者提供借鉴。

面向实时计算的大数据处理框架性能优化

文中旨在探索面向实时计算的大数据处理框架性能优化策略。针对大数据处理Flink框架进行了性能分析,发现在实时计算任务中Flink框架存在数据流速度管理、事件时间处理、状态管理的复杂性、容错机制的开销、计算任务的复杂性等一系列常见性能挑战。针对问题和挑战,文章提出了硬件和基础设施优化、Flink应用程序优化、并行与分布式处理等一系列Flink性能优化策略和技术。

基于流处理的重型柴油车排放预警监控系统设计

为了能够实时监控重型柴油车污染物排放水平,快速筛查出排放超标的车辆。利用以Flink计算引擎为核心的Apache开源大数据框架,根据重型车排放车载终端发回的数据计算出车辆污染物排放水平。开发完成后,该预警监控系统会根据计算结果向车辆用户、售后部门、研发部门推送排放超标车辆信息,同时根据需求部门的要求,统计超标车辆的运行工况、配置信息、故障码信息等,实现快速定位排放超标原因,有效提高了社会和经济效益。

基于流计算和大数据平台的实时交通流预测

目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后的数据sink到大数据的HDFS文件系统,交由下一步的大数据并行框架进行分析建模与训练,实现基于流计算和大数据平台的实时交通流预测。实验结果表明,Flink能够实时捕捉和预处理交通流数据,把数据准时无误送入分布式文件系统中,在此基础上借助大数据框架下的并行分析和建模优势,在实时性数据分析与预测方面取得了较好的效果。

面向物流服务的海量日志实时流处理平台

随着电商平台的快速发展,物流行业增长迅猛,其中物流服务平台的访问日志能够反映用户的行为规律,从而挖掘潜藏信息助力物流服务平台优化业务已至关重要.目前,针对于此类大规模日志数据处理提出了更高的实时性需求,本文综合考量多种实时计算的流处理框架、大规模存储数据库以及日志采集工具等,选取Flume及Kafka作为日志采集工具与消息队列,并利用Flink及HBase进行流数据实时计算以及大规模数据存储.同时,对平台设计了数据去重、异常告警、容错策略以及负载调度的功能.经实验测试证明,本处理平台可以有效处理物流服务平台的日志数据,具有较强的创新思路以及实际价值.

基于Flink实时计算的自动化流控制算法

随着现在各种业务系统的复杂多样化,数据分析的实效性要求也变得越来越高,过去的离线分析很多已经不适用于当前的生产需要,针对于大数据的实时分析变得越来越重要。以当前热门的Flink流处理架构为解析平台,构建了分布式实时采集解析流数据处理架构,针对于不同的数据流,只需要更新配置就可以实现业务数据的解析,极大地减少了代码开发量。为了实现该架构的配置文件更新,重点分析了当前分布式解析架构实时更新配置文件时存在的问题,提出了通过流控制的方法来更改Flink的解析逻辑。流控制的方法能够灵活地实时改变代码的解析逻辑,减少程序重启更新的次数,提高了应用效率。通过完成同样的日志解析入库对比了是否使用流控制算法的效果,实验结果表明加入自动流控制算法的解析架构用更少的时间完成解析结构逻辑的开发和程序部署,并且可以大大地减少延迟入库的日志量,从而最大程度地保证了流的实时性。

基于流处理改进的SK-means策略

针对大规模数据场景下K-means聚类算法存在总体速度较慢的问题,提出了一种基于大数据流计算框架Apache Flink,并结合流处理思想的SK-means策略。从算法优化方面,采用流处理的思想在数据读入的过程中确定聚类的初始聚类中心;从实现方案上,选用Apache Flink框架设计了一种基于SK-means策略的优化方案,分析该策略对聚类效果和耗时的影响。实验结果表明:该策略在数据量较大的场景中有较好的优化效果,不需要预先假设出聚类数量和初始聚类中心的具体值,有效地降低了聚类迭代次数,降低了整体计算耗时。

基于路网划分的交通流数据处理模型

为了满足交通流数据处理的实时性、可扩展性的要求,基于路网划分提出交通流数据处理方法,并以此为基础设计并实现交通流数据处理原型系统。试验表明,所设计的交通流数据处理系统具有良好的可扩展性,并且能够有效地提高交通流数据处理的效率。

基于Apache Flink的RDF流数据查询

目前成熟的RDF流处理(RDF Stream Processing,RSP)系统由于集中式的设计而缺乏并行处理特性,因此在查询处理大量传入的RDF流数据时,均无法实现高吞吐和低延迟。为提高查询性能,本文对RSP查询过程和Flink流计算结构进行研究,设计数据源、滤器、多路分区连接和投影4个逻辑操作符,并设计一种多流连接(Multi-Stream Join,MSJ)算法用于生成具有并行性的有向无环图的逻辑查询计划,最后以大数据流处理平台Apache Flink为底层实现逻辑操作符和逻辑查询计划。使用真实数据集SRBench和模拟数据集LUBMs进行实验验证。结果表明,与最成熟的系统C-SPARQL、CQELS相比,单机吞吐量增长高达10倍,5台机器集群的吞吐量增长高达28倍,同时在延时方面达到了毫秒级;在查询性能方面实现了处理大量RDF流数据时吞吐量的提高和延时的降低。

Hadoop与Flink应用场景研究

随着大数据时代的到来,大数据的计算框架层出不穷且各有特点。为了满足开发人员在不同场景下选择适合的计算框架进行数据处理的需求,采用对比与分析目前流行的Hadoop与Flink开发平台的应用场景。首先介绍两种大数据计算框架的技术原理和各自的生态系统,其次详细分析两者的优缺点和应用场景,最后给出Hadoop适用于ETL、日志分析、数据挖掘与机器学习场景等,Flink适用于批处理与流处理、图计算、数据挖掘与机器学习场景等,方便了开发人员根据应用场景来选择计算框架。

基于矩阵分解的Flink实时推荐策略

虽然互联网快速进步发展,但也带来了大量的网络数据流,随之而来的是数据的综合存储,数据的综合计算和数据分析等诸多问题,各种业务系统的复杂多样化,数据分析的实效性要求也变得越来越高,先前常用的离线分析很多已经不适用于当今的生产需要,如今对数据的推荐系统在实时性方面有了更高的需求。基于矩阵分解的推荐算法作为目前较为流行的推荐算法,不论从预测的准确度还是预测的精确度都要明显地优于其它的算法。但传统的矩阵分解方法在处理大规模数据时存在计算速度慢和计算资源不足的问题。Flink大数据框架作为当前热门的流数据处理框架,在迭代计算与流数据处理上有明显的优势。本文将矩阵分解方法与Flink处理相结合,在原有的矩阵分解推荐算法的基础上,提出一种基于Flink的矩阵分解算法的优化模型,解决了矩阵分解在大数据环境下的瓶颈。

基于Flink on YARN平台的应用研究

对于海量实时数据而言,基于Flink on YARN平台可以对这些数据进行并行化处理。在接下来的工作机制和相关技术中,重点分析了基于此平台典型的流架构的数据传输模式,在此基础上,比对了流处理系统和批处理系统的差异点。对于不同数据处理系统,分析总结了Flink所面临的一些挑战,希望以此为Flink的进一步研究提供参考。

基于大数据框架的网络用户行为研究

大数据处理平台为更好地分析海量数据提供了一个新思路。笔者在深入了解网络用户行为理论的基础上,分析网络用户的行为特征,并针对大数据时代的应用场景,在传统数据挖掘算法的基础上采用流处理大数据平台Flink对海量用户行为数据进行分析,提高算法在应对巨大数据量时的处理能力,让产品的运行者更加详细、清楚地了解用户的行为习惯,进一步寻求用户基本操作行为中存在的规律。

基于改进型深度学习算法的计算机数据分析

为了实现企业生产运营中大量数据的处理和分析,提出使用分布式文件系统和数据库完成大量数据的存储任务,根据用户需求使用批处理和流处理框架进行数据分析。在数据降维中采用非负矩阵分解的方法,将原始业务数据集映射到低维空间,并引入局部正则化保留数据的部分高维特征。基于深度学习算法建立关系抽取模型,采用BERT模型完成文本信息的实体抽取,编码器中加入前向反馈机制和多头注意力机制。实验表明,系统的分类精度最高达到0.97,算法模型提取出的正确样本条数最多可达到47个。

基于Spark Streaming的实时数据分析系统及其应用

为了实现对实时网络数据流的快速分析,设计一种分布式实时数据流分析系统(DRDAS),能有效解决并发访问数据流的收集、存储和实时分析问题,为大数据环境的网络安全检测提供了一种有效的数据分析平台;根据Spark Streaming运行的原理设计一种动态采样的K-Means并行算法,与DRDAS结合能实时有效地检测大数据环境下的各种分布式拒绝服务(DDo S)攻击。实验结果显示:DRDAS具有好的可扩展性、容错性和实时处理能力,与动态采样的K-Means并行算法结合能实时地检测各种DDo S攻击,缩短了攻击的检测时间。

基于民航西北空管局数据平台的实时数据仓库技术选型分析

随着我国民航行业的迅速发展,空管行业产生的数据日益增加,为了应对大量数据存储并持续挖掘数据价值,各地空管系统已经开始计划建设大数据平台。作为大数据平台的重要组成部分,数据仓库在数据资产管理、统计分析等方面起到了重要作用。目前数据仓库主要针对前一天数据的统计分析(T+1)场景,提供良好的能力。随着业务指标的增多和提升,数据仓库逐渐面临实时性统计分析(T+0)的需求。随着流式计算的发展,基于Kafka、Flink等组件搭建实时数据仓库已经成为业界主流技术,业界也将发展方向聚焦在利用实时数据仓库实现批流一体化,同时应对T+0及T+1业务场景。为了满足发展需要,亟需在传统数据仓库的技术架构下探索符合空管行业的实时数仓架构,为未来的技术选型提供依据和支撑。