基于决策粗糙集模型的电网多源异构数据整合

针对传统整合方法受干扰数据的影响,导致配电网多源异构数据整合时误差大,效率低等问题,提出基于决策粗糙集模型的电网多源异构数据整合方法。通过对电网数据属性、存储方式、读写方法等预处理,结合贝叶斯估计方法,剔除含有噪声不确定性数据;通过粗糙隶属函数甄别真值,构建决策粗糙集模型过滤数据,划分区域;按照贝叶斯决策过程,确定数据所在集合,过滤掉冗余数据,以防止误判;构建多源异构数据整合模型,利用人工神经网络的单层次分割算法,将结构化数据与非结构化数据融合,以此完成数据整合。实验结果表明,该方法获取的最佳数据整合点的标幺值为0.73,与实际整合点数据一致,可将全部数据整合到一起,表明所提方法具有良好整合效果。

基于服务时间标记的多层Web应用性能异常侦测方法

提出一种基于服务时间标记的性能异常侦测方法,标记相对稳定的请求服务时间,并通过分析该时间变化来定位性能瓶颈以及分析可能的原因。该方法已经实现在一个典型的多层Web应用系统的支撑平台中,TPC-W测试基准的测试结果验证了其有效性。

一种基于硬件计数器的虚拟机性能干扰估算方法

虚拟化技术已成为云计算平台中的关键性支撑技术.它极大地提高了数据中心的资源利用率,降低了管理成本和能源消耗,但同时也为数据中心带来了新的问题——性能干扰.同一平台上的多虚拟机过度竞争某一底层硬件资源(如CPU,Cache等),会造成虚拟机性能严重下降;而出于安全性和可移植性的考虑,底层平台管理者需要尽量避免侵入式监测上层虚拟机,因而,如何透明而有效地从底层估算虚拟机性能干扰,成为虚拟化平台管理者必须面临的一个挑战.为应对以上挑战,提出了一种基于硬件计数器的虚拟机性能干扰估算方法.硬件计数器是程序运行期间产生的硬件事件信息(如CPU时间片、缓存失效次数等),已有工作主要利用大规模分布式系统任务相似性查找产生异常硬件计数器数据的节点,而没有探究硬件事件变化与性能干扰之间的直接关系.通过实验研究发现,硬件计数器(last level cache misses rates,简称LLC misses rates)与不同资源需求的应用性能干扰存在不同的关联关系;以此建立虚拟机性能干扰估算模型,估算虚拟机性能.实验结果表明:该方法可以有效地预测CPU密集型应用和网络密集型应用的性能干扰大小,并仅为系统带来小于10%的开销.

面向按需供给的资源需求滤波估算方法

随着按需供给资源使用模式的推广,软件的资源需求已成为资源优化控制的重要属性.监测和估算是目前常用的资源消耗获取方法,但监测工具难以在运行时准确度量短任务的资源需求,回归分析方法又因受到多元共线性和不确定性因素的影响,导致其取值精度下降.本文提出了一种基于Kalman滤波的资源需求估算方法.该方法建立了可度量属性集与不可度量的资源需求间的关联,并利用滤波过滤度量过程中的噪声,达到降低估算误差的目的.基准测试的结果表明,通过合理的设置滤波参数,本方法能够快速逼近真实值,且平均误差小于8%.

基于深度学习的云计算系统异常检测方法

在云计算服务中,异常检测是防止意外系统停机,并确保终端用户服务可靠性的关键技术。虽然操作控制台日志记录了云计算系统的运行时状态信息,但现有的云计算系统管理技术主要在出现问题后分析原因,而不能提前检测异常。因此,文中提出了一种基于深度学习的云计算系统异常检测方法。首先,提取日志模式,使用聚类将相似格式和内容的日志聚集为模式组;然后,将每个模式作为单词,将离散模式集作为文档,从而降低日志维度,得到低维度特征空间;最后,使用递归神经网络,即长短时记忆,处理训练过程中标记数据的"稀缺性",捕获跨序列的依赖性,获得系统状态的鲁棒异常信号。使用Web系统日志进行实验的结果表明,与现有方法比较在检测复杂异常时具有更高的检测准确性。

容器虚拟化支撑平台监测系统

在容器虚拟化支撑平台中,多种应用竞争共享资源造成监测系统难以通过设定固定阈值的方式进行异常报警,同时固定的监测周期需要在监测及时性与监测开销之间权衡.针对这些问题,本文提出了一种基于PCA的在线异常检测方法,并根据异常程度动态调整监测周期以节省监测开销.首先通过非侵入方式收集每个容器的监测数据构成数据矩阵,然后利用主成分分析的方法计算矩阵的主方向,最后计算当前与上次主方向的余弦相似度,将其作为当前系统状态的异常程度.对于异常程度超过设定的用户容忍度的容器,发送告警信息,同时根据异常程度增大或者减小监测周期.实验结果表明,对于在分布式存储系统中注入的典型错误,本方法的监测准确性达到80%以上,告警延迟控制在5秒以内,监测开销低于固定监测周期的方法.

面向OSGi框架的软件构件监控方法的设计与实现

面向OSGi框架的构件化软件开发方法被广泛应用。现有的OSGi构件监控方法仅能够监控动态服务调用所造成的资源消耗,未能考虑静态包引用的情况。针对该问题,提出一种面向方法的OSGi构件监控方法。该方法首先对代码进行分析,建立方法与构件间的映射关系,在方法前后插入监控逻辑以标记构件的边界;而后,跟踪线程的跨边界执行,将线程在方法中占用的CPU和内存计入对应的构件;同时,通过记录线程在不同构件间的转移,监测构件间的动态调用。实验结果表明,该方法能够以较低的开销准确监控OSGi中构件的CPU和内存资源消耗,以及构件间的交互行为。

面向云计算的分布式应用自动部署框架

云计算环境下的分布式应用规模巨大、交互复杂、层次众多,增加了应用部署的复杂度。同时,应用通常同时部署在多个云平台上,而异构云服务API缺少统一标准,导致了多云之间不可互操作。针对以上问题,面向云计算环境,提出一种细粒度弹性应用自动部署框架CADep,以管理云计算平台内部服务与基于云平台的业务组件之间的交互关系,并连接各种部署进程和资源。该框架使用轻量级的微内核实现了应用部署的核心机制,并通过可定制组件扩展部署功能。同时,通过分层描述应用及其执行环境,实现了细粒度的资源管理。实验结果表明,与当前分布式应用部署框架相比,CADep具有较短的部署时间,有效减轻了部署的工作量,降低了部署的难度。

OpsFlow:一种面向DevOps的应用自动化部署引擎

当前互联网应用飞速发展,用户需求随之也快速变化,应用需要快速迭代与频繁发布,因此,自动化部署是缩短应用发布周期的关键技术之一。DevOps旨在填补开发与运维人员间的鸿沟,实现快速自动化的应用部署。本文面向De-vOps提出了一种高效动态的应用部署引擎OpsFlow,整合应用各层次多种技术、服务和构件以应对各类应用组件的部署问题,从而实现高效的组件组合和自动化的应用组件部署;进而,设计了自动化部署框架,将应用部署分为构建、设计、运行等三个阶段,以自动生成OpsFlow;最后,通过实验评价了生成OpsFlow的开销,并且使用微服务应用的实例研究验证了方法的有效性。

QoS约束的虚拟机镜像放置优化方法

随着云计算的兴起,虚拟机正逐步成为应用服务的部署环境,如何高效、经济地管理虚拟机镜像文件至关重要.提出了一种Qo S约束的虚拟机镜像放置优化方法,通过存储收益模型量化分析用户服务质量约束下的存储服务综合收益,优化镜像文件的存储策略.实验结果表明该方法可以在满足用户服务质量的前提下,显著优化存储收益.

一种面向分布式机器学习的云计算资源调度方法

在云计算环境下,并发训练多机器学习模型会造成严重的共享集群资源竞争,影响执行效率。针对该问题,论文提出一种面向分布式机器学习的云计算资源调度方法。根据历史监测数据建立迭代次数与模型质量提升间的模型,在线预测资源分配对模型质量提升的影响,制定资源优化调度策略,并且设计了资源调度框架。实验结果表明,所提出的方法能够快速适应任务和负载的动态变化,实现多个模型训练作业的整体性能最大化。

一种基于角色的虚拟机池单点失效处理方法

现有的虚拟机池化管理普遍采用的是master/slave模式,存在单点失效问题。针对此问题,设计并实现一种基于角色的虚拟机池单点失效处理方法。该方法采用角色划分和选取机制自动指定主备节点,并基于序列法解决了自动选取机制中存在多个master节点冲突问题。实验表明,该方法能够实现master节点对用户透明的失效恢复。

面向云计算的期限约束的MapReduce作业调度方法

提出一种面向异构云计算环境的截止时间约束的MapReduce作业调度方法。使用加权偶图建模MapReduce作业调度问题,将Map任务及Reduce任务与资源槽分为2个节点集合,连接2个节点集合的边的权重为任务在资源槽上的执行时间。进而,使用整数线性规划求解最小加权偶图匹配,从而得到任务到资源槽的调度方案。本文考虑了云计算环境下异构节点任务处理时间的差异性,在线动态评估和调整任务的截止时间,从而提升了MapReduce作业处理的性能。实验结果表明,所提出的方法缩短了作业数据访问的时间,最小化了截止时间冲突的作业数量。

基于分类的自适应失效检测系统

虚拟化环境中的实例失效往往会造成巨大的经济损失.描述了一种面向虚拟化环境的失效检测系统设计与实现.考虑了虚拟化环境的层次依赖性,采用一种层次失效检测模型对不同层次的实例失效进行了分类,提高了实例失效恢复的准确性;通过自适应性动态周期失效检测机制均衡了虚拟机检测器的CPU资源消耗和时效性.该系统在OnceCloud[1]平台中进行了实现与实例验证.

基于动态限速的云计算应用负载调度方法

云计算环境下,应用负载规模巨大,云服务提供商为多个客户提供共享的计算、网络和存储资源以最大化资源利用率,降低总体能耗,从而减少数据中心的运营成本,同时需要为用户提供良好的性能保障。针对该问题,提出一种基于动态限速的云应用负载调度方法。面向长时间运行的云应用,根据负载历史记录生成r-b曲线以描述存储和网络利用率,基于动态规划为每类负载自动生成限速参数。在保障处理负载的性能满足SLO的约束下,通过对自动化设置存储和网络限速参数,调度并整合负载以最小化处理负载的服务器数量,从而提高资源利用率并减少能耗。最后,设计并实现了原型系统,实验结果表明,提出的方法能够保障云应用性能,减少运行服务器数量,并具有较好的可扩展性。

基于Redis的分布式数据存储方法

传统数据存储方法为集中式数据存储,存储效率较低,无法满足现代电网数据存储要求。为此,提出一种基于Redis的分布式数据存储方法。设计分布式数据存储结构,并在考虑到存储负载的前提下建立分布式数据存储平台,完成方法设计。将本文方法与传统方法进行对比实验,验证了本文方法的有效性。

基于机器学习的云用户隐性反馈信息分类方法

本文讲述机器学习通过计算信息增益值降低特征维数,选择云用户隐性反馈信息特征,利用筛选后的特征构建特征子集,进而通过反馈信息文本来处理,统计每个特征项的文本频率,识别筛选反馈信息,实现对云用户隐性反馈信息的分类.

基于SDN的分片网络资源编排系统设计

由于传统的分片网络资源编排系统,在分片网络资源编排时对网络资源收集与处理分离,因此编排适配度低,无法实现对分片网络资源的合理编排。针对这一问题,进行基于SDN的分片网络资源编排系统设计。该系统在原有系统的硬件基础上,设计了编排开源控制器,实现对分片网络资源精准化编排。在软件设计方面,结合编排端对分片网络资源进行调度,通过对数据库设计,完成对分片网络资源合理编排。通过对比实验表明该系统可以提高编排适配度,实现对分片网络资源的合理编排。

面向多租户Web应用的性能隔离方法

提出一种面向应用级共享的多租户Web应用性能隔离方法.首先建立基于事务处理链的应用级资源管理模型,基于信号量机制给出了模型的并发控制算法,支持事务级、分阶段的多租户Web应用资源管理,并在一次事务处理的各阶段实现线程复用,避免因修改交互协议而产生的再工程代价.基于上述工作,给出多租户性能隔离算法及策略,并利用TPC-W电子商务应用验证方法的系统开销及有效性.实验结果表明,该方法可以有效降低租户资源侵占行为的影响,并避免系统过载.