基于大数据平台资源感知的实时任务资源动态调整方法

大数据平台实时任务以常驻模式运行,任务启动后会占用固定资源,不具备动态调整机制,在业务高峰期固定资源难以保障实时任务的平稳运行,在业务低谷期则造成了资源浪费,如果采用人工方式调整,存在运维量大且不及时等问题。因此,设计出一套基于大数据平台资源感知的实时任务资源动态调整方法。先基于本方法采集相关指标自动感知平台资源的变化,再根据设计的平台资源预测模型对资源做出预测,最后根据资源调整决策,利用资源调整插件动态调整实时任务资源,以适应平台资源变化。该方法不仅能避免离线任务资源占用对实时任务的干扰,保证实时任务的平稳运行,还能有效提升平台资源的整体效能。该方法对同类型的大数据平台设计具有参考价值。

大数据智能运维系统的设计及应用分析

大数据系统当前已经在多个领域内取得关键性的作用,同时在目前的多个领域内,硬软件系统越来越复杂,如果单纯依靠人工运维,很难在短时间内精准完成所有工作。基于对大数据智能运维系统设计框架的分析,本文探讨在实际的系统建设过程中整个系统的设计方案,之后研究该系统的具体应用模式,从而充分提高大数据智能运维系统的运行质量。

基于机器学习算法的分布式数据库关键性能指标预测分析

机器学习算法以人工智能为基础,在分布式数据库运维管理期间,可运用机器学习算法对其关键性能指标进行分析预测,以此提高分布式数据库运维模式实际效果。基于此,本文首先讨论了机器学习算法目标及方式,进行分布式数据库多指标分类预测分析,并总结归纳机器学习算法关键性能指标预测分析原理,进一步基于机器学习算法分类预测模型分析了分布式数据库关键性能指标。

基于一致性哈希算法的分布式数据库高效扩展方法研究

当前大数据时代,对分布式数据库进行扩容处理需求日增,常规扩容方法需要重算节点哈希值,并进行大量迁移数据,其效率及有效性不佳。本文以预留子分区识别位等方法为依托,使高效扩展数据库的设想成为现实,通过对比实验的方式,得出“该方法既无须重算哈希值,又不需要迁移相关数据对象”的结论。

分布式缓存数据库系统的应用研究

本文以分布式缓存数据库系统为例,明确该系统的设计目标,分别从缓存架构、监控调整、分区管理3个方面阐述设计方法,对分布式缓存数据库系统的3项功能实现进行检验。根据研究结果可知,计算与存储节点的缓存系统可提升系统整体性能,以分区方式减少不同操作对锁资源的争夺,通过监测负载量合理调整二级缓存容量,并依靠定长存储的方式写入数据页,使缓存数据库的能效得到进一步扩大。