-
题名线上多节点日志流量异常检测系统的研究
被引量:9
- 1
-
-
作者
王晓东
赵一宁
肖海力
王小宁
迟学斌
-
机构
中国科学院计算机网络信息中心
中国科学院大学
-
出处
《计算机科学与探索》
CSCD
北大核心
2020年第11期1828-1837,共10页
-
基金
国家自然科学基金No.61702477。
-
文摘
随着国家高性能计算环境各个节点产生日志数量不断增加,采用传统的人工方式进行异常日志分析已不能满足日常的分析需求。为了高效自动化地分析日志,提出了一个两阶段的检测方法。第一阶段首先在预处理时将日志模式进行分类,然后使用主成分分析方法进行异常检测,并将日志类型的有序排列定义为一种日志流量模式,通过该定义将异常检测中得到的异常流量模式提取出来,最后使用层次聚类算法简化流量模式的结果并保存。第二阶段通过第一阶段得到的检测模型和流量模式,可以实时监测分析日志流量信息并匹配对应流量模式。最终基于高性能计算环境中的真实日志进行实验分析,并实现了结果的可视化展示,从而大大减轻了运维人员的工作负担。
-
关键词
主成分分析(PCA)
日志流量模式
层次聚类
可视化
-
Keywords
principal component analysis(PCA)
log flow pattern
hierarchical clustering
visualization
-
分类号
TP316
[自动化与计算机技术—计算机软件与理论]
-