面向电视用户的日志采集和存储系统优化

随着计算机技术的发展,电视机正在变得越来越智能。通过对用户使用电视机的日志进行分析,可以向用户推荐电视节目或广告,进而提高电视台的效益。针对电视日志数据量大的问题,对电视用户日志采集系统进行优化,通过在边端使用日志压缩和批量写入机制,以及在服务端使用数据库集群和负载均衡技术,节省边端的日志存储空间,提高服务端的数据吞吐量。

基于Flume的分布式日志采集分析系统设计与实现

互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。

基于Agent技术的多源日志采集系统的设计与实现

在分析Agent技术以及4种日志采集技术的基础上,本文提出了一个基于Agent技术的多源日志采集系统,来实现采集各种类型的系统日志。本文详细分析了系统的基本架构以及日志采集Agent的结构模型和工作流程。最后探讨了基于正则表达式的日志数据的识别与抽取以及日志XML格式化的实现技术。

基于插件技术的日志采集Agent系统的设计与实现

为了从多源日志信息中灵活地采集数据,在代理技术的基础上提出采用插件技术来实现多源日志采集Agent系统.日志采集工作由多个采集代理来完成,每个代理可以完成一个或多个日志源的数据采集,同时每个日志源被当作代理上的一个插件.基于此设计了日志采集Agent系统的体系结构和工作流程,并通过插件配置和正则表达式来实现各日志源的采集知识定义,从而使多源日志的采集问题得到较好地解决.与其他日志采集系统相比,该Agent系统不仅可以解决多源日志的采集工作,而且具有良好的扩展性和高效性.

面向云计算的粒度自配置日志采集平台

日志数据管理系统是最重要的云服务基础设施之一。重要日志数据缺失将造成相应日志分析与决策的片面性和不准确性。然而日志数据采集能力越强,日志采集的运行期开销就越大,海量日志数据的管理与分析就越耗时,对整个云服务环境的系统性能造成不可忽视的影响。针对如何采集必要的日志数据同时尽可能降低其运行期开销的问题,文章首先提出日志采集粒度的概念,然后设计并编程实现一个面向云计算的粒度自配置日志采集平台。其中,平台构成模块包括:日志采集工具、存储日志采集粒度规则和事实的知识库;基于规则动态增加或关闭相关日志数据采集模块的推理机;相应的图形界面,包括用于添加或修改知识库规则的管理界面和直观查看日志数据的用户界面。最后,初步的案例学习结果表明了平台的有效性。

用Fluent与MongoDB构建高效海量日志采集系统

由于传统方法不能满足海量日志存储的需求,对于海量日志的分析传统方法也出现了瓶颈问题,所以本文通过不同类型存储介质对海量日志读写性能实验,并与日志采集软件相结合提出了解决存储海量日志的一种方案:用Fluent(日志采集软件)与MongoDB来构建日志采集系统。实验表明:这种方式与传统存储方式相比,突破单机环境下日志存取的瓶颈,大幅度提高海量日志的存取速度,简化了日志分析与统计操作。在MongoDB集群环境下,高并发的读写满足了海量日志存取的需求,并且这种集群具有可扩展性和高可用性。

自适应日志采集间隔时间动态调整算法研究

针对日志审计系统,分析日志记录数量变化规律及等间隔时间日志采集策略问题,提出一种自适应日志采集间隔时间动态调整算法。该算法的功能是根据当前采集的日志记录数量,计算出单位时间内产生的日志记录数量变化,据此自动调节采集间隔时间。

一种日志采集统计系统的设计与实现

日志采集系统是所有数据的源头,日志采集的重要性不言而喻。基于各种日志采集框架的优缺点,提出了一种基于Log4j和Zookeeper的日志采集技术,提供了方便、快捷、实用的日志采集及统计的解决方案。

Linux系统下改进的日志采集模块

对传统的用户态模块ulog-acctd进行改进,提出了一种新的基于Linux的日志采集模块Aulog。Aulog模块对ulog-acctd的启动方式、参数配置、buffer设置、flush时间设置、字段裁剪五个方面进行改进,使其性能得到了很大的提高。从横向和纵向两个不同的角度进行的对比实验表明,Aulog的性能较ulogd和ulog-acctd分别提高1倍和10%;在相同网络环境下,Aulog的CPU消耗仅为ulogd的40%。

入侵防御系统日志采集和存储的改进方法

针对高速网络环境下现有入侵防御系统(intrusion prevention system,IPS)日志采集速度和处理速度的不匹配、日志文件规模大而难以存储的问题,提出了采用循环缓冲队列的缓存机制,同步日志采集和处理操作方法。设计了预处理算法,删除冗余的日志记录,并使用极大文件集的日志存储策略,保存海量日志文件。实验结果表明,该方法适用于千兆网络环境,能够精简日志文件规模,保存更多的日志记录。

基于Docker的大规模日志采集与分析系统

传统日志分析技术在处理大规模日志时存在效率低、功能简单、实际应用扩展性弱等问题.为解决这些问题,设计了基于Docker的大规模日志采集与分析系统.系统分为数据采集、数据缓存、数据转发、数据存储、数据检索和展示五层,支持从不同数据源采集各种类型的日志,通过Kafka消息队列提供可靠数据传输,利用Elasticsearch实现数据分布式存储和检索,并以可视化方式分析日志.同时采用Docker容器技术实现系统的快速部署和版本控制.该系统具有实时性、可扩展性、易部署等特点.实验结果表明了该系统可行有效,具有良好的实用价值.

基于大数据技术的服务器日志采集分析方法

对大数据量日志采用了一种新型的高可靠性、分布式的聚合传输信息收集Flume技术,同时结合无核相关向量机算法对服务器采集日志进行主机资源利用率的分析预测。通过本模型,实现了从海量日志中挖掘提取出高价值信息,有效地对服务器进行资源的合理化配置。验证结果表明Flume技术结合无核相关向量机算法在服务器日志采集分析上的可行性、有效性。

日志采集归并技术在电力安全管理中的应用

电力二次系统安全防护工作开展以来,各级电网调度中心和变电站部署了大量的安全设备和系统,为实现安全设备运行状态检测,需采集并存储大量详实的运行数据。文章在分析电力二次系统安全管理中日志采集架构的基础上,提出了消息路径的日志采集技术,并通过基于任务池、缓冲池的多级归并技术,提高了日志处理速度,完成海量数据的归并入库。实践证明该技术能高效地处理海量多源异构数据。

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架。该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集。该框架同样完全兼容传统的日志记录格式和记录方式。

基于Flume、Kafka的日志采集系统分析研究

本文对数据采集工具flume、Kafka进行简单介绍、分析研究和应用,对flume+Kafka的组合优势和原理进行阐述分析。本文通过多种flume和Kafka组件种类的组合,在日志采集系统上的应用进行了分析,并对channel组件吞吐速率和容错率之间的矛盾进行讨论研究。数据采集已成为大数据产业的重要组成部分,而日志文件逐渐成为数据分析的主要来源之一。日志文件生成速度快、来源广,使得实时日志采集系统的开发与更新变得至关重要。分布式日志采集系统正在朝着负载均衡、高容错、高可靠的方向发展。

数据中心IPv6网络日志采集平台的设计与实现

为在高校数据中心IPv6建设工程中,有效进行IPv6的管理与运维,本文构建了IPv6网络日志采集平台。通过对IPv6网络日志采集平台进行研究与设计,采用大数据技术进行处理与分析,构建支持IPv6网络管理运维的可视化的监控体系,实现高校数据中心IPv6管理与运维效率的提高。

一种改进的ELK日志采集与分析系统

ELK架构是解决日志分布式采集与分析问题中具有代表性的解决方案。但原生ELK架构存在Logstash对CPU资源占用较大、无法动态更新日志相关配置和日志数据传输过程中数据易丢失等问题。为满足现实中大型分布式服务的日志采集与分析需求,对原生ELK架构作如下改进:在收集过程中增加限速器以减少CPU占用率;增加分布式注册中心实现相关配置动态更新;增加消息队列使得消息传输过程更健全。实验结果表明,改进后的ELK日志采集及分析系统与原生ELK相比,CPU占用率减少了近60%,日志速度提高了3倍,且消息丢失率为零。

浅谈监测台网络设备日志采集与实践

本文梳理了常见的网络日志采集方法,并介绍了一种通过编程自动采集与管理网络设备日志的方法,以此降低网络安全风险与运维成本,提高网络安全监测能力。

Android客户端的日志采集系统研究

本文研究一种Android客户端日志采集系统的整体解决方案,实现终端日志的“全量滚动缓存+动态配置上报”,保证日志信息的完整存储,并减少无用日志上报。

面向多平台的日志远程采集系统研究

日志对于系统的日常运维、审计及入侵检测等具有重要作用,对日志进行远程集中化管理是日志管理的有效手段。由于不同操作系统平台上支持的日志格式不统一,传统上很难将大型网络中不同系统的日志远程采集到集中的日志服务器上。nxlog是一种支持多平台的功能强大的日志采集工具,部署方便,可以在目标系统上持续稳定地收集系统日志,并支持以多种日志格式和传输模式将日志发送到远程日志服务器。同时,Syslog作为一种工业协议,也得到了越来越多的支持。基于nxlog并配合成熟的日志服务器可以构建灵活可靠的系统日志远程采集系统。实际运行结果表明该方案可有效解决大型网络中系统日志远程采集的问题。