查询交互响应时间预测模型的采样优化

在数据库系统和云计算环境中运行并行负载是一种常态,这些系统需要满足其服务等级协议(Service Level Agreements,SLA).响应时间是系统调度负载并满足SLAs的最重要的指标,准确预测数据库系统并行负载(查询)的响应时间必须要考虑并行执行的查询之间的相互影响—查询交互.目前基于查询交互的查询响应时间预测方法主要以实验驱动的方法建模,需要大量的实验采样.由于数据量的爆发式增长导致负载运行时间不断增长,进行一次完整的建模所需的开销非常大.合理减少建模所需采样数目,可以有效降低建模所需成本和提高建模效率.本文基于查询交互的BAL(Buffer Access Latency)模型提出一种采样策略[1],在不运行样本的情况下,使用已有的测量结果预测样本运行的响应时间,并依据预测对全样本空间聚类,然后根据聚类结果进行采样.实验表明,此方法相比常用的拉丁超立方抽样方法减少33%样本数目,并且保持了模型的预测精度.

基于ARIMA-LSTM组合模型的应用系统响应时间预测

响应时间既直观反映应用系统的处理能力,又直接影响用户的服务体验,有效地预测应用系统的响应时间对提前感知并解决系统性能问题、提升用户满意度都有重要指导意义。有研究表明,组合预测模型比单一模型具有更好的拟合性,论文提出一种基于ARIMA-LSTM组合模型的应用系统响应时间预测方法。该方法根据响应时间的历史数据,先以ARIMA模型过滤数据中的线性趋势,再将残差传给LSTM模型以提取数据中的非线性特征,最后集成得到最终预测结果。系列实验结果表明,所提方法相比于单一预测模型具有更高的预测精度,拟合性能更优。

数据强一致条件下微服务系统可用性优化研究

微服务架构作为分布式系统的一种典型实现形式,在保证分区容错性的条件下,其可用性和数据一致性无法同时满足。为此,在电商平台等应用系统中为了保证高可用性而通常只满足数据的最终一致性,这在对数据有强一致性需求的应用场景中并不适用。针对这一问题,通过NRW算法保证数据强一致性,并提出系统可用性优化方法,方法包含两方面内容:①根据读写请求数量周期性地调整最小读写副本数的值;②建立请求响应时间预测模型,以响应时间是否违约为标准限制或放宽Docker容器的资源限额。实验结果表明,除频繁的负载激增或骤降的极端情况外,预测模型及优化方法都具有较好的效果。

基于机器学习的微服务负载均衡算法研究

随着云计算技术的不断发展,微服务体系结构受到了越来越多的关注.由于将大型应用程序分割成细粒度的单一服务在开发和维护方面较为方便,许多大型应用程序已经从单体结构发展为微服务体系结构.在微服务架构中,为了提高微服务的可用性,通常采用集群结构的方式部署微服务实例.针对微服务集群中服务器节点随着任务数量的增加而出现负载不均衡的问题,提出了一种基于Xgboost(ExtremeGradientBoosting)的最短预测响应时间负载均衡算法(ShortestPredictiveResponse Time,SPRT).首先选取影响任务响应时间的特征参数,然后使用集成学习预测新任务的响应时间,最终将任务分配给预测响应时间最短的服务器节点,以达到服务器节点之间负载均衡的目的.结果表明,相比其他负载算法,所提负载均衡算法在吞吐量、截止率和平均响应时间上都有一定的提升,而且更适用于高并发环境下的微服务集群.