基于大数据技术的服务器日志采集分析方法

对大数据量日志采用了一种新型的高可靠性、分布式的聚合传输信息收集Flume技术,同时结合无核相关向量机算法对服务器采集日志进行主机资源利用率的分析预测。通过本模型,实现了从海量日志中挖掘提取出高价值信息,有效地对服务器进行资源的合理化配置。验证结果表明Flume技术结合无核相关向量机算法在服务器日志采集分析上的可行性、有效性。

使用开源软件实现有针对性的网络监控

随着陕西联通数据业务的高速发展,接入层设备数量逐年增长,在现有网管系统已不能满足设备监控需求的情况下,通过采用开源软件成功的实现了城域网网络接入层流量监控和日志采集,不但较好的实现了预期目标,而且由于建设成本的低廉,也为建设部门提供了一种新的参考。