基于Kibana系统的机器人故障数据分析

随着互联网和信息产业的快速发展,大数据的应用市场也在不断扩大,大数据作为国家的一项战略任务,在推动中国经济转型升级过程中发挥着至关重要的作用。特别是进入21世纪后,高科技技术飞速发展以及市场竞争日趋激烈,工业生产通过大数据分析更是向着信息化、高速化、智能化的方向发展。同时,大数据可以将人类从旧的价值观和发展观中解放出来,从全新的视角理解世界的科技进步和复杂技术的涌现,改变人类对工作、生活和思维的看法。主要以北京奔驰前驱车工厂装焊车间为背景,讲述了采用Kibana系统抓取相关机器人报警数据的过程,通过对数据分析制定相应的预防性措施,从而大大降低装焊车间故障率。

基于Flume的分布式日志采集分析系统设计与实现

互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。

利用Kafka实现大话务并发数据流的吞吐系统

为了解决中国电信股份有限公司上海分公司的统一消息推送平台的数据吞吐量较低,无法满足新的业务需求的问题,采用流式数据处理技术实现了一种基于运营商的大话务业务系统构建模式。首先,在充分研究了业内实时流式处理技术的发展以及运营商本身信令数据源的特点之后,确定以Kafka作为消息队列组件,在业务处理过程中为了提供毫秒级的数据流查询能力,采用了Redis组件提供基于内存的Key-Value引擎。另外,为实现平台的高可靠性及易维护性,采用Kafka+Elasticsearch+Logstash+Kiban实现了日志监控子系统。最后对应用情况进行分析,并对系统的进一步改进提出了建议。

基于Flume的分布式日志聚合系统的研究

互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Flume的访问日志进行了实时采集和分析及展示。

基于Elastic Stack的高校数据中心可视化运维的研究与实现

高校数据中心的运维是信息化发展中不可或缺的一部分,需要能够通过图形化方式监控数据中心运行状态,提前预判问题、快速定位问题和排除故障。以Docker容器技术做支撑,通过开源的Elastic Stack技术设计实现了可视化运维监控平台。在实践中,该平台能够很好地完成日志数据的传输、存储、分析和可视化展示,提高了数据中心各系统的稳定性和业务的连续性。

基于FEK的大数据网络日志分析

信息技术在企业中的迅速普及与应用,随之带来的是大数据处理的困难与挑战。企业每天生成很多日志文件,如果能实时处理分析日志数据,企业就能够提高管理效率,为生产经营提供更好地服务。本文介绍了基于Flume的服务器日志采集与分析过程,基于Elastic Search分布式存储搜索,使用Kibana对企业资源访问进行了分析。

机场客源大数据应用研究与设计

客源分析对民航业发展至关重要,提出了一种基于旅客位移信息的机场客源分析系统,深入挖掘机场客源结构,提升机场客源覆盖面和渗透力。在此基础上,分析了机场覆盖能力及竞争情况,评估优化机场航线资源,具有规模化推广价值。