基于改进深度强化学习的边缘计算服务卸载算法

在边缘计算(EC)网络中,针对边缘节点计算资源和存储空间有限的问题,提出一种基于改进深度强化学习(DRL)的边缘计算服务卸载(ECSO)算法,以降低节点处理时延和提高服务性能。具体来说,将边缘节点服务卸载问题转化为资源受限的马尔可夫决策过程(MDP),利用DRL算法解决边缘节点的请求状态转移概率难以精确预测的问题;考虑到边缘节点执行缓存服务的状态动作空间过大,定义新的动作行为替代原有动作,并依据提出的动作筛选算法得到最优动作集合,以改进计算动作行为奖励值的过程,进而大幅度降低动作空间大小,提高算法训练的效率以及收益。仿真实验结果表明,对比原深度Q网络(DQN)算法、邻近策略优化(PPO)算法以及传统的最流行(MP)算法,ECSO算法的总奖励值分别提升了7.0%、12.7%和65.6%,边缘节点服务卸载时延分别降低了13.0%、18.8%和66.4%,验证了算法的有效性,说明ECSO能有效提升边缘计算服务的卸载性能。

车联网边缘计算环境下基于深度强化学习的分布式服务卸载方法

边缘计算将计算、存储和带宽等资源分布到了靠近用户的一侧.通过将边缘计算引入车联网,服务提供商能为车载用户提供低延时的服务,从而提高用户出行的服务体验.然而,由于边缘服务器所配备的资源一般是有限的,不能同时支持所有车联网用户的服务需求,因此,如何在边缘服务器资源限制的约束下,确定服务卸载地点,为用户提供低时延的服务,仍然是一个巨大的挑战.针对上述问题,本文提出了一种“端-边-云”协同的5G车联网边缘计算系统模型,并针对该系统模型设计了深度学习和深度强化学习协同的分布式服务卸载方法D-SOAC.首先,通过深度时空残差网络,D-SOAC在中心云预测出潜在的用户服务需求量,协同各边缘服务器获取本地车联网边缘计算环境的系统状态,输入边缘服务器上的本地行动者网络,得到该状态下的服务卸载策略.然后,本地评论家网络基于时序差分误差评价该服务卸载策略的优劣,并指导本地行动者网络进行网络参数的优化.优化一定步数后,边缘服务器将优化过的本地网络参数上传到位于中心云的全局网络,协同中心云进行网络参数的更新.最后,中心云将最新的参数推送回本地网络,从而不断对行动者评论家网络进行调优,获得服务卸载的最优解.基于来自现实世界的车载用户服务需求数据集的实验结果表明,在各种车联网边缘计算环境中,相比于四种现有的服务卸载算法,D-SOAC能够降低0.4%~20.4%的用户平均服务时延.

车辆边缘计算环境下基于深度强化学习的服务卸载方法

为了在车辆边缘环境下高效地进行服务卸载,同时考虑服务的卸载决策以及边缘服务器和云服务器的协同资源分配,提出一种基于深度强化学习的服务卸载方法。首先提出车辆边缘环境下一种端—边—云协同的服务卸载架构,将服务卸载问题归约为边缘服务器计算和通信资源约束下获得最小平均服务时延的优化问题;然后引入深度Q网络解决优化问题,在学习过程中引入贪婪算法、经验回放机制和双网络机制。通过实验表明,所提方法具有可行性,所提卸载方案性能良好。

考虑卸载成本的配电网能量管理业务云边协同调度方法

随着电力物联网和能源互联网的融合,越来越多的终端设备和用户接入配电网侧,调度云边资源为能量管理业务提供算力支持具有重要研究意义。提出了一种考虑卸载成本的配电网能量管理业务云边协同调度方法。首先介绍了能量管理业务的微服务模型和基于容器技术的云边协同业务处理架构,阐述了微服务卸载机制;接着建立了边缘节点和容器的数学模型、容器微服务队列模型和卸载成本模型,并基于边云卸载、边边卸载2种不同卸载路径分别考虑计算延时、排队延时和通信延时带来的成本,以系统整体卸载成本最小化为目标函数求解确定最优卸载路径;最后通过仿真验证了所提方法的有效性。

基于深度强化学习的物联网服务协同卸载方法

针对边缘计算中终端算力不足、资源有限和时延较大的问题,提出一种基于深度强化学习的物联网服务协同卸载方法。通过3种不同的卸载方式建立时延模型,挖掘服务之间的关联关系,对关联服务进行协同卸载,加入关联服务的通信时延以建立完善的卸载时延模型,结合整体模型考虑卸载率的取值以及关联服务如何协同卸载使时延最小,从而实现服务调用时延和服务间通信时延的最小化。试验结果表明,与其他算法相比,该算法在获取最优服务卸载策略的同时,系统总服务时延能降低20%左右。

基于激励的自主雾计算网络时延确定性服务

为应对雾计算网络中雾节点自主反馈服务能力造成的服务时延不确定性问题,提出一种基于激励的最佳性价比时延确定性卸载服务策略。综合考虑雾节点和终端节点特性,构建满足服务时延阈值的服务性价比最优化问题,推导得出卸载服务时延满足阈值的条件。终端节点通过设定初始服务价格,根据时延确定性条件调整价格激励自主雾节点提供更强的服务能力,得到满足时延阈值条件的最佳性价比卸载策略。仿真结果表明,所提算法可以提供性价比最高的时延确定性卸载服务。

面向时延敏感业务的服务功能链部署

服务卸载和雾/边缘计算为解决云网络的延迟提供了新的范例。然而,目前关于服务卸载的研究大多考虑将正在运行的计算服务从手机或云网络卸载到雾/边缘计算网络。但是,在卸载的过程中,它会消耗额外的资源并影响用户的体验。因此,该文在部署服务功能链(SFC)时,考虑通过有效的在线博弈决策,将每条服务功能链的部分虚拟网络功能(VNF)卸载并部署到雾/边缘网络中,从而满足用户的时延要求。该文提出了一种基于服务卸载和在线博弈的最小化时延的服务功能链部署算法(DSFCD-SOOG),将有效的在线博弈和服务卸载决策相结合,在云雾计算网络中部署服务功能链,以减少服务功能链的端到端时延。最后,该文验证了DSFCD-SOOG算法在服务功能链部署中的资源效率、时间效率和阻塞率方面的优越性。

一种智能网卡新型架构研究与设计

作为云数据中心核心业务卸载及加速处理的关键部件,智能网卡对于数据中心网络、存储业务处理效率提升具有特殊意义。数据中心业务需求复杂多变,缺乏成熟商用芯片支持,智能网卡设计难以在受限空间内满足业务卸载灵活性、高性能、成本经济性等多重要求。设计一种分离架构方案,将智能网卡通信接口功能与业务卸载处理功能进行物理解耦,突破网卡物理空间限制,复用业务卸载处理硬件资源,改善成本经济性,是实现智能网卡工程化和大规模部署的有效途径。