基于LSTM预测模型的应用性能异常检测

目前高性能计算系统规模和复杂性不断增加,应用软件作业性能异常的原因变得更加复杂多样,传统的针对基于监控数据进行人工分析的方法存在效率低下和过分依赖分析人员经验的问题。提出一种基于长短期记忆网络(LSTM)的性能异常检测方法。以天气预报模式WRF为研究对象,首先从历史作业数据中学习出正常性能数据的变化情况,然后通过引入boxplot方法对LSTM模型预测值与实际观测值之间的残差进行统计分析,并将大于下四分位的数据判定为异常,从而实现应用软件作业性能异常的检测。实验结果表明,上述方法不仅可以较好地检测出性能的异常,而且能适用于多种不同类型的数据集。

基于无监督学习的无线网络性能异常检测方法

在无线网络的实际运营中,性能异常检测主要依靠人工规则和阈值,对网络容量和覆盖等进行判断,检测手段单一,难以适应复杂多变的无线网络变化趋势。针对该问题,就无线移动网络性能异常的诊断识别问题,给出了三类通用的检测方法,分别为基于统计特征的异常检测、基于密度的异常检测以及基于聚类的异常检测,并选取现网性能指标数据,对三种算法进行评估分析,结果表明,基于聚类的异常检测算法在对无线网络诊断识别上效果最好。

基于调用链控制流分析的大型微服务系统性能建模与异常定位

大型微服务系统中组件众多、依赖关系复杂,由于故障传播的涟漪效应,一个故障可能引起大规模服务异常,快速识别异常并定位根因是服务质量保证的关键.目前主要采用的调用链分析方法,常常面临调用链结构复杂、实例数量庞大、存在大量小样本等问题,因此提出基于调用链控制流分析,将大量调用链结构聚合为少量方法调用模型;并提出基于方法调用模型的执行时间分解模型及预测方法,将实际值与预测值的相对误差超过设定阈值的待检测数据判定为异常.采用百度凤巢广告业务系统某天超过17亿条调用链日志记录开展实验分析,结果表明:与数据驱动的调用序列分析方法相比,提出的基于模型的方法可以大幅缩减调用链结构数量,并有效分析和检测微服务性能异常及其根因.

云环境下基于统计监测的分布式软件系统故障检测技术研究

越来越多的分布式软件系统部署在公有云计算平台,通过互联网向外提供服务.云计算环境的复杂性、动态性和开放性使得分布式软件系统更易于出现故障,造成服务失效,从而影响大量用户正常使用,甚至造成巨大经济损失.故障检测技术旨在自动及时的检测系统故障的发生,以避免或减少服务失效所带来的损失,是保障分布式软件系统性能与可靠性的关键技术之一.云计算环境对该技术带来了新的挑战,该文首先分析了这些挑战.基于统计监测的故障检测技术在线搜集监测数据构建统计模型,并基于该模型对系统运行状态进行分析与预测,具有实时监测分析、自动化检测、无需领域知识等优势,能够满足云环境的需要,因此引起了学术界和工业界的广泛关注.该文提出了面向云计算环境的基于统计监测的分布式软件系统故障管理参考框架,包括分布式监测、监测数据处理、故障检测、故障诊断以及故障处理等模块;将已有工作分成基于规则、度量分析、日志分析和行为分析等四大类,逐类介绍其实现原理,并对比分析各类的优缺点;针对当前云计算环境的特点,从在线自动检测、运行环境感知和组件交互分析等3个方面展望了未来的研究方向.