基于分布式流计算的运维数据分析

随着运维领域数据采集技术的不断更新,出现了大量实时的非结构化数据,这些实时产生的数据如同流水一样源源不断地流入到数据仓库。如何实时获取运维数据流中的关键信息,并实现快速精准分析至关重要。单靠当前传统的批处理模式很难实现。所以,一种全新的分布式流计算处理模式应运而生,这种处理模式以其良好的扩展性、灵活性、易用性受到业界的欢迎。本文基于分布式流计算技术,采用了插件式可配置的设计理念,构建了分布式的运维分析系统。通过可配置化的资源管理,实现新的监控资源自动注册、汇总注册节点、快速分析、处理、计算,实现对运维数据的实时展现。