基于Flume的MySQL数据自动收集系统

针对分布式系统中、不同数据中心之间的数据收集,同时解决将数据由关系型数据库交换到非关系型数据库的问题,提出一种基于Flume的MySQL数据库数据自动收集系统。为了符合现实中的生产环境,该系统采用的是一种星型拓扑结构。系统可以自动查询给定的MySQL数据库表,自动检测表中的数据更新,实现自动增量传输,并对原始数据进行封装、解析,最终将数据存储到非关系型数据库HBase中。在测试中,系统中每台机器的平均传输速度可达到1 111 kb/s,系统总的平均传输速度可以达到3 333 kb/s,并且保证了数据的完整性,实现了可靠高效传输的目标。

基于改进的Flume实时数据采集系统应用研究

通过对Apache Flume日志采集系统的实时数据采集方案进行比较,并针对Flume现有的实时数据采集方案进行分析,提出了一种基于Flume改进的实时数据采集方案。实验证明,改进后的实时数据采集方案具有可行性。

基于Flume的XML数据自动收集系统

针对分布式系统中的数据收集,提出了一种基于Flume的XML数据自动收集系统。根据实际需求,系统设计了一种新型的多层星状拓扑结构,以满足数据收集实时性的要求。该系统能够自动检测指定存储位置的XML数据更新,解析XML文本后存储到HBase数据库中。在测试中,该系统中各机器的平均处理速度能够达到550 Kb/s,系统总处理平均速度能够达到1 650 Kb/s。

基于Apache Flume的MR数据采集实现方案

为用户提供高质量的网络覆盖是运营商不变的追求,随着4G业务的发展,作为网络质量分析重要依据的MR数据的数据体量也呈现出井喷式的增长势头。传统的以FTP技术为基础的MR数据采集方案面对越来越高的数据量显得力不从心。针对MR数据采集的业务场景,提出了基于Flume技术的数据采集实现方案,并针对海量数据的运行环境现行方案进行了对比。

基于Ansible和Flume的海量数据自动化采集系统

随着国产数据库技术的发展,电网企业对相应数据库及中间件的应用逐步增多,业务中产生的大量的运维信息对国产数据库的自动化运维技术要求也随之提高。针对国产数据库和中间件产生的海量运维数据和日志,文中提出一种基于Ansible和Flume的高效数据采集系统。该系统通过调用Python脚本的方式定期从Ansible Inventory中拉取各主机的运行状态信息,同时由Flume配置采集agent到各数据库和中间件服务器中,进行日志数据的采集、预处理和下放,并将数据输出到数据库中,实现对数据库和中间件运行数据的自动化采集与管理。经系统测试,该系统可以高效完成多线程Web访问,并在数据采集方面表现出良好的性能。

一种基于Flume的海量数据分流方案

随着各类业务系统接入数据量的爆炸式增长,传统的基于负载均衡器的数据分流方案已无法满足海量数据业务场景的要求。介绍了一种适用于大数据场景下的负载均衡方案,并讨论了和传统方式相比所具备的主要优势。

基于Flume和HDFS的大数据采集系统的研究与实现

在充分研究大数据采集、大数据存储、HDFS和Flume基础上,综合分析并利用相关领域知识,给出了一种基于Flume和HDFS相结合的大数据采集系统BDAS的概念模型和体系结构.并根据BDAS的体系结构,可以明确实现一种大数据采集的具体工作,即:Flume Agent的配置.根据体系结构,给出一个实现Web Server日志采集的具体实现方法和步骤. BDAS概念模型和体系结构在大数据分析和研究领域具有重要的理论意义和实际意义,也为大数据领域的研究提供了一种通用的大数据获取手段.

分支河流体系沉积学工作框架与流程

基于现有的研究成果和存在的问题,探讨了分支河流体系(DFS)研究中的关键科学问题、主要研究内容、研究方法和工作流程。研究结果表明:①DFS研究中最关键的3个科学问题是明确河网结构和河型演变规律、构建沉积标志和沉积模式、分析其形成和分布的控制因素。②DFS研究的主要内容包括建设形态沉积学数据库、现代沉积机理研究、分类研究、建立沉积模式、储层建模与储层预测等5个方面。③DFS研究中的关键技术包括基于遥感图像的形态数据采集、形成机理的水槽和模拟实验、河网重构、顶点位置预测与河道分汊点自动生成方法、储层建模知识库平台等。④DFS研究的基本工作流程是先建立形态沉积学数据库,搭建数据库软件平台,在此基础上选择具有代表性的DFS进行现代沉积解剖,然后综合现代沉积调查、露头解剖和模拟实验成果,形成分类体系,总结各类DFS的识别标志和沉积模式,分层次建立储层预测模型,形成沉积结构储层预测模型的建模软件平台,从而预测沉积体系中有利储层的分布。

基于Flume和Flink的轨道交通智能运维数据接收解析系统

随着轨道交通智能运维技术的不断发展,越来越多的车载设备将数据通过车载无线通信设备下发至地面服务器进行存储、分析以及可视化显示。通过研究相关大数据技术,提出一种基于日志收集框架Flume和流数据处理引擎Flink的智能运维数据接收解析系统,可在高吞吐量的基础上保证稳定性与实时性。

基于Hadoop的离线电商数据分析系统的设计与实现

随着互联网的普及和人们不断增长的消费需求,电子商务平台已成为人们生活不可或缺的一部分,由此产生大量数据。基于Hadoop,设计并实现一个离线电商数据分析系统,从系统架构、数据采集、传输、存储、分析处理和可视化等方面作了介绍,系统具有一定的数据分析能力,能将原本无用的数据进行整理利用,发挥数据本身的价值。

泥沙输移强度计算公式的再研究

输沙强度计算公式的精度,在很大程度上取决于水流强度指标的选取。本文在对以往各种水流强度指标分析的基础上,提出了统一的水流强度指标形式,并由此推导出一般形式的输沙强度计算公式,该公式可概括现有的有关输沙公式。同时利用多组实测水槽资料对公式中的系数进行了率定,与其它几个输沙强度公式比较表明,本文公式具有较高的精度。

推移质输沙率公式的统一形式

对以往的各种推移质输沙率公式中的水流强度指标进行了综合、归纳 ,提出了统一的水流强度指标形式 ,并由此推导出推移质输沙率公式的统一形式 .利用 75 7组实测水槽资料对该统一形式中的系数进行了率定 ,并与其它几个推移质输沙率公式比较表明 。

基于WPF的水槽控制及数据采集系统设计与实现

以WPF为平台开发了一套水槽流量控制及数据采集与处理系统,通过RS485总线连接数据采集器和变频控制器,以Modbus RTU为通信协议,实现PC上位机图形界面软件与数据采集器的通信。采集系统可同步采集水位和流量数据,并得到频率-流量关系式及对应的水深-流量关系。针对采集数据出现的异常值使用基于中值过滤后标准差的修改拉依达算法进行检测和剔除,算法计算结果很理想。

基于大数据车辆模拟运行及日志收集仿真研究

中国汽车保有量呈井喷式上涨,需要面对越来越多的车辆违法行为,如超速行驶、遮挡牌照、套牌、占道等等。针对这些问题,传统的车辆稽查方式显得力不从心,存在数据单一、实时性差、离线分析为主等缺点。为减轻交管部门的车辆稽查压力,构建了以大数据实时分析技术为基础的车辆模拟运行及日志收集仿真模拟系统。该仿真模拟系统采用Flume、Hadoop框架和Redis集群,参照城市街道布局设计,不仅对海量车辆的超高并发度运行和城市交通进行了模拟,还对车辆日志信息进行了实时收集。以此为依据,构建的车辆模拟运行场景,可以有效地提高车辆稽查效率。该系统为数据量较大的行业提供了一种解决问题的思路,用同样的方法可以为城市旅游、城市产业分布等进行场景模拟,进而调整旅游服务、产业调整等方案。

粉沙的水流挟沙力试验研究

针对三峡水库常年回水区特有的粉沙淤积情况,采用6 m长的变坡水槽对三峡水库常年回水区粉沙的水流挟沙力进行研究。研究结果表明:水槽试验数据与现有水流挟沙力公式对比,比较有代表性的张瑞瑾和沙玉清两个公式计算的挟沙力偏大,与ЭаМаРин公式计算值较为接近;参照ЭаМаРин公式的结构形式,利用基本量纲分析,得到粉沙的水流挟沙力结构形式;通过水槽试验数据,利用多元线性回归的方法,拟合出适合这种粉沙的水流挟沙力公式。

基于Storm的实时用户日志管理系统

研究并开发了具有实时响应的大数据用户日志管理分析平台。采用Storm流式计算框架,完成用户日志分析的实时处理平台架构;采用Elastic Search作为实时搜索引擎,完成实时响应处理;使用Flume、Kafka技术完成海量日志采集、聚合和传输等功能。以某城市监狱管理系统的用户日志信息为实验数据,系统取得了良好的实验效果。为同时处理海量数据和实时响应用户请求的系统提供了可行性解决方案。

基于Hadoop架构的电信离线数据综合处理的设计与实现

本文研究的系统搭建在Hadoop平台上,通过Flume-Kafka技术实现对每日数百亿的数据进行数据清洗、数据分析以及数据挖掘等。完成数据消费后,对分析后的数据进行入库操作,通过Webserver技术实现建立仿真的BI前端系统,按照手机号、时间、通话时长等维度进行数据展示。为电信运营商从多个角度定义用户,形成用户肖像,为决策系统的建立提供数据支持。

基于开源技术的网络数据采集系统设计

通过分析网络数据采集的特点,提出了网络数据采集系统的设计目标,即支持关键网络指标实时计算和查询、支持多数据源和多消费者、支持实时采集和批量采集且具备线性扩展能力。采用Flume、Kafka、Storm、Hadoop等开源技术完成了系统架构设计。对架构实施可能面临的挑战提出了应对策略。

坡面径流对斜坡散粒体稳定性影响的试验分析

坡面径流是松散介质斜坡上颗粒发生搬运滚动的水动力条件。为研究坡面径流对斜坡散粒体颗粒稳定性的影响,开展室内水槽冲刷试验。试验设置3种粒径和4种坡度,通过高速摄像仪捕获斜坡散粒体受水流冲刷起动过程,获得不同条件下颗粒冲刷起动的临界径流水深hcr。试验结果表明:在同一粒径条件下,起动水深hcr随着斜坡坡度的增大而减小;在坡度为20°、22°时,起动水深hcr随着粒径的增大,出现先增大后减小的情况,而在坡度为24°、26°时,起动水深hcr随着粒径的增大而增大,分析原因可能是当粒径增大引起坡体渗透性的改变是影响颗粒稳定性的主控因素时,颗粒更容易受水流的渗透作用而发生运移。为合理解释试验现象,建立斜坡径流-渗流耦合模型来分析坡面径流条件下颗粒的稳定性变化情况,通过将水流的流速特征与颗粒的受力起动特性结合起来,给出临界水深hcr的理论表达式,其主要受颗粒粒径、颗粒比重、孔隙率、坡体渗透率和斜坡坡度等因素共同控制。通过将试验结果与计算结果进一步对比发现,在同一粒径区间内,临界水深hcr的实测值与理论值均随坡度的增大而减小,而理论值与实测值之间的相对误差随坡度的增大而增大,但其均控制在35%以内,并对产生该误差的原因进行了分析。为修正实测值与计算值之间的误差,应用MATLAB的神经网络模块对数据进行拟合,建立含两个神经网络结构的临界水深hcr修正公式,精度较高。

面向分布式环境的分层数据采集技术研究

目的:研究使用基于Flume的流式数据分层采集技术,以提高数据采集的可靠性与有效性,为流计算引擎提供稳定的数据流。方法:使用基于Flume的流式数据分层采集模型,并在此基础上提出分层采集进程监控方法和基于分组的双层哈希负载均衡方法。结果:从数据迁移率、吞吐量、节点平均耗时三个指标进行评价,实验结果表明,运用基于分组的双层哈希负载均衡方法能有效地均衡节点间的负载,提高数据采集效率。结论:分布式环境下,运用基于Flume的流式数据分层采集模型,所提的分层采集进程监控方法和双层哈希负载均衡方法可有效提高数据采集的稳定性与可靠性,因而可为流计算引擎提供实时、稳定的数据流。