-
题名基于学习的容器环境Spark性能监控与分析
被引量:3
- 1
-
-
作者
皮艾迪
喻剑
周笑波
-
机构
同济大学计算机科学与技术系
嵌入式系统与服务计算教育部重点实验室(同济大学)
-
出处
《计算机应用》
CSCD
北大核心
2017年第12期3586-3591,共6页
-
文摘
Spark计算框架被越来越多的企业用作大数据分析的框架,由于通常部署在分布式和云环境中因此增加了该系统的复杂性,对Spark框架的性能进行监控并查找导致性能下降的作业向来是非常困难的问题。针对此问题,提出并编写了一种针对分布式容器环境中Spark性能的实时监控与分析方法。首先,通过在Spark中植入代码和监控Docker容器中的API文件获取并整合了作业运行时资源消耗信息;然后,基于Spark作业历史信息,训练了高斯混合模型(GMM);最后,使用训练后的模型对Spark作业的运行时资源消耗信息进行分类并找出导致性能下降的作业。实验结果表明,所提方法能检测出90.2%的异常作业,且其对Spark作业性能的影响仅有4.7%。该方法能减轻查错的工作量,帮助用户更快地发现Spark的异常作业。
-
关键词
SPARK
容器
分布式监控系统
高斯混合模型
机器学习
-
Keywords
Spark
container
distributed monitoring system
Gaussian Mixture Model (GMM)
machine learning
-
分类号
N393.06
[自然科学总论]
TP18
[自动化与计算机技术—控制理论与控制工程]
-