-
题名日志多维度无监督异常检测算法
被引量:2
- 1
-
-
作者
邱连涛
李晓戈
胡飞雄
胡立坤
张东晨
马鲜艳
-
机构
西安邮电大学计算机学院
陕西省网络数据分析与智能处理重点实验室
深圳腾讯计算机系统有限公司智能化运维
腾讯科技(上海)有限公司
-
出处
《小型微型计算机系统》
CSCD
北大核心
2022年第8期1668-1674,共7页
-
基金
国家重点研发计划项目(2018YFB1403004)资助
陕西省创新能力支撑计划项目(2019PT-12)资助.
-
文摘
在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测:以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.
-
关键词
日志异常检测
机器学习
无监督学习
智能运维
-
Keywords
log anomaly detection
machine learning
unsupervised learning
intelligence operations
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-