基于事件驱动架构的分布式流处理弹性资源分配策略研究

针对具有多个数据源以及多个输出的流处理应用,使用单个分布式数据流引擎开发时,不论在架构还是可扩展性方面都存在着不足,而基于事件驱动架构的分布式流处理技术是解决该问题的主要方式.但是,事件驱动架构应用于流处理时,往往面临着数据注入速率与数据处理速率不一致的矛盾,当流数据源的数量发生变化、数据值的分布发生波动时,会导致处理延迟加大或资源利用不充分.针对数据注入与数据处理不一致的问题,现有的弹性资源分配策略难以有效处理生产者和消费者之间的依赖关系,且资源分配效果欠佳.论文提出了一种基于强化学习的弹性资源分配方法,解决了具有依赖关系的流处理应用程序之间的数据波动带来的延迟或者资源利用不充分的问题.通过建立状态矩阵和命令矩阵,使得资源管理器能够感知上下游应用的状态变化,从而及时调整流处理应用的资源需求,保证了流处理应用执行过程的延迟要求,提高了系统的资源利用率.经过测试,基于强化学习的弹性资源分配与Spark动态资源分配方法相比,延迟能减少15%,资源利用率能提高20%以上,其吞吐量能够提高10%左右.

基于协同过滤的高等教育弹性资源推荐系统

由于现有的高等教育弹性资源推荐系统处理高等教育弹性资源的速度慢,系统性能差,为此设计基于协同过滤的高等教育弹性资源推荐系统。首先,使用芯片为TYD-DSPX的处理器处理系统采集的信号,通过外部存储器接口(External Memory Interface,EMIF)调入请求的缓存数据,将随机存取存储器(Random Access Memory,RAM)数据实时传输到中央处理器(Central Processing Unit,CPU)中;其次,整合学习者与学习资源数据,对高等教育弹性资源进行相似度计算并赋予权重;最后,设定时间填充函数,分析并计算用户对资源的偏好程度,从而完成相关资源精准推荐。测试结果表明,在相同场景下,输入数据查询条件后,20个小组的资源推荐更新处理数据速度均在3 s内,满足设计预期。

面向云计算数据中心的弹性资源调整方法

为了制定多种业务质量要求服务的资源购买方案,通过平台服务商与基础设施服务商之间签订基于服务等级协议的资源分配协议,提出一种面向应用性能的云计算弹性资源调整方法。该方法利用自动伸缩算法,在垂直层次上对负载需求的波动进行虚拟机资源调整,以实现动态调整分配资源量来满足应用的服务级别的需求,优化云计算资源利用率。最后通过仿真验证该算法的有效性。

退耕还林还草中建立生态系统与经济系统“弹性资源”初论

退耕还林还草中,建设生态系统与经济系统"弹性资源",对于良性生态经济系统调控机制的形成具有重要的作用。通过对其概念的界定,得出了生态系统与经济系统"弹性资源"的3个重要特征:(1)具有多种可供利用的途径,可满足不同阶段生态环境建设和商品生产发展的需求;(2)具有稳定的生态经济系统结构和良好的自我调控机制;(3)满足生态目标、经济目标和社会目标的有机统一。以县南沟示范区为例研究了其弹性资源建设标准和进展。

弹性资源下的测试系统资源配置方法

提出采用赋时有色Petri网对测试流程进行建模,用来优化自动测试系统的资源配置。给出了测试流程TCP-net模型的构建步骤;基于模型,给出了寻求测试流程最短测试用时的方法;给出了弹性资源的定义以及在弹性资源条件下最小资源集求解算法和资源分配策略;通过给出一个应用实例,证明了上述方法的有效性和实用性。

云计算下安全可控的移动弹性资源动态调度算法

当前云计算下移动弹性资源动态调度算法CPU利用率较低,且运行不稳定。为此,提出一种新的云计算下安全可控的移动弹性资源动态调度算法,把云计算下移动弹性资源的CPU平均利用率、内存负载、带宽负载以及可靠性看作移动弹性资源调度目标的约束,给出移动弹性资源的状态模型。依据遗传算法的优点,设计了一种基于蚁群算法的、安全可控的移动弹性资源动态调度算法。依据云计算下移动弹性资源动态调度特点和约束条件,利用适应度指标,对种群中个体的优良度进行描述,给出适应度函数。通过一维字符串完成对解的编码,利用轮盘赌法设置合理的阈值,获取所有染色体中选择性能较好的染色体。通过选择的实数编码完成对字符串的逆向解码,得到云计算下移动弹性资源调度的最优方案。实验结果表明,所提算法稳定性、效率和资源利用率高,迁移率低,负载均衡性好。

面向微服务架构的容器级弹性资源供给方法

容器作为物理资源的逻辑抽象,具有资源占用少、资源供给快等特点,适合工作负载突变的互联网应用模式,特别是面向微服务架构的新型服务范型.已有工作受限于物理机和虚拟化环境,或资源难以弹性供给或资源供给时效性较差,难以应对负载突变(flash-crowds)场景.针对此问题提出了一种服务质量(quality of service,QoS)敏感的、基于前馈的容器资源弹性供给方法,该方法采用排队论刻画工作负载、资源利用率和响应时间的关联关系,构建应用性能模型.其中,响应时间采用模糊自适应卡尔曼滤波进行预测(前馈控制器),预测结果违背QoS是触发资源弹性供给的依据.基于CloudStone基准的实验结果显示,前馈控制器具有快速收敛的特点,对响应时间的预测误差小于10%.在flash-crowds场景下,相对于已有方法可有效保障应用的QoS.

基于时间序列的Openstack云计算平台负载预测与弹性资源调度的研究

随着云计算技术的发展与运用,云计算在资源的效用比、按需服务等方面优势显著;相对于传统的计算资源构建,云计算凭借其安全性保障、高效的弹性计算资源分配能力、简易的硬件要求等特性,能实现面对不同需求时的计算资源快速弹性构建。基于云计算的弹性资源效用比为研究点,以经典的电信接入随机过程模型—泊松过程为基础,采用相关性时间序列模型对资源预测进行研究,并对相似的多类模型进行仿真与分析;最后以Openstack云平台为基础,结合实际需求对模型进行了工程化实现和初步测试。结果表明,该方法为云计算按需使用和资源弹性构建提供了一种可行的方式,在保证服务等级协议(service-level agreement,SLA)的同时,进一步降低云计算平台的运行损耗,提高资源的效用比。

基于服务能力模型的微服务弹性资源供给机制

针对实时性要求高、服务请求响应时间敏感的应用场景,为解决在满足服务请求响应时间要求的基础上减少资源使用量的难题,本文提出了基于服务能力模型的弹性资源供给算法(SCMARP)。为建立准确的服务能力模型,提出了基于非线性回归的服务能力模型。在资源弹性供给阶段,SCMARP算法根据当前服务请求负载、服务请求范式和已建立的服务能力模型,提前按需触发伸缩动作,从而减少违反请求响应时间服务等级协议(SLA)的数量和资源使用量。实验结果表明,与经典的基于阈值弹性资源供给算法(TARP)相比,在满足平均请求响应时间的基础上,平均资源使用数减少6%,服务请求超时失败率降低10. 7%。

面向云计算数据中心的弹性资源分配算法

巨大规模的数据资源与实时多变的应用请求,增加了云计算数据中心的资源分配难度,为此提出一种弹性资源分配算法。通过分析云计算数据中心下弹性资源分配问题,利用带宽资源与中间变量,将分配问题转换为整数线性规划问题,在各链路上逐级划分数据中心后得到不同分区,并按照从下到上的顺序逐层展开运算,完成动态规划阶段,基于树状数据中心的遍历过程,根据极大允许负载占比,明确可行的分配策略,依据带宽需求按序分配,实现云计算数据中心弹性最大化与资源最佳分配。选取不同的基准测试作业作为检测数据,经过对比分析实验数据,验证所提算法在弹性方面具有显著的优越性,有效降低应用请求响应时长,执行效果较为理想。

基于利用率的容器云弹性资源调度算法

面对云资源调度中个别资源占用率较高导致的负载不均衡问题,提出了基于利用率的容器云弹性资源调度算法,以提高资源利用率、降低调度成本。通过构建容器云调度模型,分析容器云弹性资源调度存在的能量过度消耗问题。采用基于资源权重的最大利用率算法,以最大资源利用率为目标,通过求解资源权重比,实现虚拟机配置和资源调度。实验结果表明,该算法应用后可提升最佳负载物理机数量,降低负载不均衡度,提高资源利用率;可有效避免单一资源利用过高导致的负载不均衡现象;在消耗成本方面利用合理,没有过度浪费资源,有效节省资源调度成本,且调度能耗始终维持在较低水平。

面向微服务架构的容器级弹性资源供给方法

笔者研究了面向微服务架构的容器级弹性资源供给方法,阐述了微服务架构下容器级弹性资源供给方法的实现流程。基于实际增强学习、模糊控制和反馈控制等,进行了资源供给方法实验。结果表明,前馈控制器更适用于负载突变场景。在此应用场景下,利用前馈控制器快速收敛的特点,保障了应用的服务质量,解决了资源供给弹性难和资源供给时效性差的问题。

计及源荷双侧弹性资源的区域电网鲁棒优化调度

针对电网中可再生能源发电占比与弹性资源不断增加的趋势,提出一种计及源荷双侧弹性资源的日前调度鲁棒优化方法,以应对可再生能源发电不确定性给电网调度运行带来的挑战。首先,根据可削减负荷和可平移负荷的响应特性,分析了补偿价格对前者的最大可削减容量以及后者的可接受平移时段的影响关系,建立了负荷侧弹性资源模型;其次,考虑风电出力不确定性,并基于火电机组深度调峰及负荷侧弹性资源模型,建立了柔性负荷补偿价格−调用量联合优化的日前调度鲁棒优化模型;最后,通过算例分析验证了所提模型与方法的有效性,结果表明,考虑源荷双侧弹性资源可调度潜力的调度方法能有效提升电网运行鲁棒性与经济性。

人力资源弹性实践对员工工作绩效的影响——基于情感事件理论的视角

基于情感事件理论,将员工情感反应、工作态度和工作行为作为中介变量,将参与决策作为调节变量,构建人力资源弹性实践与员工工作绩效的关系模型,研究人力资源弹性实践对员工工作绩效的影响机制。对400份组织-员工配对问卷数据进行多层回归分析,研究结果表明:人力资源弹性实践正向影响员工工作绩效,积极情绪、工作满意度和组织公民行为在人力资源弹性实践和工作绩效之间发挥链式中介作用,参与决策在人力资源弹性实践和工作绩效之间起到正向调节作用。

基于任务资源需求预测的人工智能算力调度

为提升人工智能(AI)算力的任务执行效率和资源利用率,本文提出一种基于任务资源需求预测的AI算力调度方法,指导资源调度过程。相比于以往大多数研究工作仅围绕着图形处理器(GPU)资源设计的AI算力调度方法,本文充分考虑了多个维度资源对用户任务运行效率和计算集群资源利用的影响。本文基于机器学习方法构建任务资源需求预测模型,分析多维度资源对任务性能的影响,进而完成自适应资源伸缩调度,解决用户超额申请问题。实验结果表明,在相同时间内,该方法实现了更多任务的部署和执行。任务部署量提升25.3%,部署任务的完成率提升15.2%,GPU和内存利用率分别提升7.2%和8.0%,提升了算力资源的总体利用率。

弹性资源约束的动态调度决策

针对产品开发过程中由于活动变化导致原调度需要重新调整的问题,提出一种利用弹性资源特性进行动态测度决策的方法.以活动添加的变化为对象,根据活动间时序约束、资源约束等特点,分别构建时序冲突消解模型以及基于资源推拉技术的资源冲突消解模型.为提高活动冲突消解效率,提出一种虚拟前置活动和虚拟后续活动的构建方法,并确定动态调度决策指标值.最后通过船舶分段制造实例,验证了弹性资源约束的动态调度决策方法的可行性和有效性.

基于风险-资源投入匹配的供应链弹性模型

供应链弹性的构建是供应链应对突发风险的有力工具。从资源投入的角度出发,提出了供应链弹性资源投入与供应链风险匹配框架,从而阐述了供应链弹性只有保持在合理水平之中企业才能获得竞争优势。在此基础上引入模糊隶属度概念,提出改进的供应链弹性匹配模型,并通过示例说明了所提出的模型比简单相似系数匹配模型更有效。对供应链弹性构建实践具有参考价值。

面向在线支付业务的容器资源弹性管理框架

随着在线支付业务的大规模应用,系统运维人员需要更便捷的服务器资源管理机制来满足系统扩展需求.本文提出一种基于容器技术的轻量化、弹性资源管理框架,并给出应用服务的性能诊断方法以及集群规模的动态调整方法.利用在线支付业务的典型数据处理场景进行实验,实验结果验证了方法的有效性.

基于OpenStack云平台的弹性资源配置系统

OpenStack作为开源私有云平台,提供了稳定、可靠、安全的基础资源服务。本文首先部署安装OpenStack平台各功能组件,构建出完整的基础资源池,然后基于该平台的开放API接口,通过JAVA本地化接口技术,实现了一套弹性资源配置系统,该系统采用B/S软件架构,具有动态资源的创建、分配、实时调整等功能,提供个性化定制模块和良好的用户界面,方便管理云平台中的弹性资源。

面向边云协同计算的能耗感知资源调度方法

边缘计算在处理大量计算复杂的任务时,可能会引发任务实时执行效果下降以及能耗高等方面的问题。为此提出一种面向边云协同计算的能耗感知资源调度方法,首先根据实时保证率将任务分流到云计算和边缘计算,然后基于弹性资源特性提出能耗感知的资源调度策略,为实时任务生成虚拟资源配置方案,最后通过仿真实验验证了所提算法的有效性,该算法可以在保证实时性的前提下降低能耗。