结合深度强化学习的边缘计算网络服务功能链时延优化部署方法

该文针对边缘网络资源受限且对业务流端到端时延容忍度低的问题,结合深度强化学习与基于时延的Dijkstra寻路算法提出一种面向时延优化的服务功能链(SFC)部署方法。首先,设计一种基于注意力机制的序列到序列(Seq2Seq)代理网络和基于时延的Dijkstra寻路算法,用于产生虚拟网络功能(VNF)的部署以及服务SFC的链路映射,同时考虑了时延优化模型的约束问题,采用拉格朗日松弛技术将其纳入强化学习目标函数中;其次,为了辅助网络代理快速收敛,采用基线评估器网络评估部署策略的预期奖励值;最后,在测试阶段,通过贪婪搜索及抽样技术降低网络收敛到局部最优的概率,从而改进模型的部署。对比实验表明,该方法在网络资源受限的情况下,比First-Fit算法与TabuSearch算法的时延分别降低了约10%和86.3%,且较这两种算法稳定约74.2%与84.4%。该方法能较稳定地提供更低时延的端到端服务,使时延敏感类业务获得更好体验。

基于资源感知的多域服务功能链编排成本优化

网络功能虚拟化技术的兴起使得实例化为服务功能链(SFC)的网络服务能够共享基底网络,缓解了传统网络体系结构僵化的问题.然而,网络中大量服务请求给多域SFC编排带来了新的挑战.首先由于域内网络资源信息及内部策略的保密性,使得多域SFC的编排更为复杂.其次多域SFC编排要确定最佳候选编排域集,先前的研究较少考虑域间负载的均衡性,对服务接受率造成了消极影响.此外跨网络域编排服务请求对服务的成本和响应时间提出了更严格的要求.为解决上述挑战,在本文中,我们首先针对多域网络隐私性需求,提出了域级图的构造方法;然后基于域间负载均衡提出了域权重的计算方法进行SFC编排域的选择;最后,针对多域网络成本和响应时间需求,提出编排算法.实验结果表明,提出的算法有效地权衡了平均服务成本和接受率,并且在服务平均响应时间方面也得到了优化.

基于可靠性的卫星服务功能链保护方法

在基于SDN架构的混合卫星网络上讨论了服务功能链(Service Function Chain,SFC)的可靠性部署问题,首先对SFC可靠性保护的问题进行描述,建立了底层网络与SFC请求模型,然后建立了网络服务功能的可靠性需求模型与低轨卫星链路的可靠性需求模型,明确了优化目标与约束条件。接着提出基于可靠性的卫星服务功能链保护方法,包括基于深度强化学习的可靠性保护算法和基于低轨卫星节点与链路可靠性备份算法。实验表明,提出的基于可靠性的卫星服务功能链保护方法能在SDN架构的混合卫星网络上提高SFC请求接受率,减少平均时延,在不同的SFC可靠性需求的条件下也保持较高的请求接受率。

一种改进的双深度Q网络服务功能链部署算法

网络功能虚拟化已成为未来通信网络的关键技术,动态服务功能链的高效部署是提高网络性能迫切需要解决的问题之一。为降低通信网络服务器能量消耗以及改善通信网络服务质量,提出一种改进的双深度Q网络的动态服务功能链部署算法。由于网络状态及服务功能链的动态性,首先将服务功能链部署问题建模为马尔可夫决策过程。根据通信网络中资源的状态以及所选择的动作计算奖励函数值,对双深度Q网络进行在线训练,得到最优深度神经网络模型,从而确定最优的在线服务功能链部署策略。为解决传统深度强化学习从经验回放池中采用均匀抽取经验样本而导致神经网络学习效率低的问题,设计一种基于重要性采样的优先级经验回放方法以抽取经验样本,从而有效地避免训练样本之间的高度相关性,进一步提高离线学习神经网络的效率。仿真结果表明,所提出基于改进双深度Q网络的服务功能链部署算法能够提高奖励值,与传统的双深度Q网络算法相比,在能量消耗与阻塞率方面分别降低约19.89%~36.99%与9.52%~16.37%。

特征关联的服务功能链可靠性优化算法

针对优化服务功能链(Service Function Chain,SFC)可靠性时资源利用率低的问题,提出了特征关联的服务功能链可靠性优化算法。首先,从底层节点的资源可用率、周边资源密集度、全网中心性评价其作为虚拟网络功能(Virtual Network Function,VNF)实例备选节点的优势,从VNF实例的节点度数与带宽流量评价其作为备选对象的优势。其次,逐个对优越性最高的VNF实例选择备份底层节点,直到所有SFC的可靠性满足客户要求。在为VNF实例选择备份底层节点时,提出了基于资源特征关联感知的备份节点选择算法,将当前VNF实例所映射的底层节点与其他待备份VNF实例的底层节点的邻接节点进行关联,为当前VNF实例选择最优备份底层节点的同时,减少为其他待备份VNF实例选择备份底层节点时链路的开销。仿真结果表明,相比于已有算法,该SFC可靠性优化算法下备份实例数降低了约29%,备份带宽资源消耗降低了约42%,SFC接受率提升了约12%。

移动边缘网络中基于用户移动的服务功能链迁移策略

移动边缘计算(Mobile Edge Computing,MEC)通过在网络边缘部署服务器,提供计算和存储资源,可为用户提供超低时延和高带宽业务。网络功能虚拟化(Network Function Virtualization,NFV)与MEC技术相结合,可在MEC服务器上提供服务功能链(Service Function Chain,SFC),提升用户的业务体验。为了保证移动用户的服务质量,需要在用户跨基站移动时将SFC迁移到合适的边缘服务器上。主要以最小化用户服务的端到端时延和运行成本为目标,提出了MEC网络中具有资源容量约束的SFC迁移策略,以实现移动用户业务的无缝迁移。仿真结果表明,与现有方案相比,该策略具有更好的有效性和高效性。

网络切片场景下基于分布式生成对抗网络的服务功能链异常检测

针对网络切片场景中,由于软硬件异常而导致服务功能链(SFC)异常的问题,该文提出一种基于分布式生成对抗网络(GAN)的时间序列异常检测模型(DTSGAN)。首先,为学习SFC中正常数据的特征,提出分布式GAN架构,对SFC中包含的多个虚拟网络功能(VNF)进行异常检测;其次,针对时间序列数据构建一种基于滑动窗口数据特征提取器,通过提取数据的两种衍生特性和8种统计特征以挖掘深层次特征,得到特征序列;最后,为学习并重构数据特征,提出时间卷积网络(TCN)与自动编码器(AE)构建的3层编解码器作为分布式生成器,生成器通过异常得分函数衡量重构数据与输入数据的差异以检测VNF的状态,进而完成SFC的异常检测。在数据集Clearwater上采用准确率、精确率、召回率和F1分数这4个性能指标验证了该文所提模型的有效性和稳定性。

一种面向最佳收益的服务功能链在线编排方法

随着网络功能虚拟化技术的发展,如何对服务功能链进行灵活编排以实现收益最大化已成为服务提供商关注的核心问题。文中以最大化收益为目标,将多数据中心场景下的服务功能链在线编排问题建模为0-1整数规划,并在此基础上提出了一种两阶段启发式算法。在第一阶段,根据负载情况及部署开销计算节点和链路的权重值,将服务功能链部署在优先级最高的节点上,然后根据链路的负载情况选取满足带宽约束且优先级最高的链路。在第二阶段,类比最长有效功能序列方法,提出了一种虚拟服务迁移策略,以降低部署资源消耗。基于NSFNET和USNET网络拓扑设计了仿真实验,实验结果表明,相比现有算法,所提方法在部署收益和部署成功率两个方面均有一定提升,能够实现服务资源的优化配置,有效提升部署收益。

基于多智能体柔性演员-评论家学习的服务功能链部署算法

针对网络功能虚拟化(NFV)架构下业务请求动态变化引起的服务功能链(SFC)部署优化问题,该文提出一种基于多智能体柔性演员-评论家(MASAC)学习的SFC部署优化算法。首先,建立资源负载惩罚、SFC部署成本和时延成本最小化的模型,同时受限于SFC端到端时延和网络资源预留阈值约束。其次,将随机优化问题转化为马尔可夫决策过程(MDP),实现SFC动态部署和资源的均衡调度,还进一步提出基于业务分工的多决策者编排方案。最后,在分布式多智能体系统中采用柔性演员-评论家(SAC)算法以增强探索能力,并引入了中央注意力机制和优势函数,能够动态和有选择性地关注获取更大部署回报的信息。仿真结果表明,所提算法可以实现负载惩罚、时延和部署成本的优化,并随业务请求量的增加能更好地扩展。

基于拉格朗日松弛的服务功能链路由算法

针对网络功能虚拟化/软件定义网络中资源利用率较低的问题,提出了一种自适应服务功能链路由算法(SFC-DGA)。首先将服务功能链路由问题转化为整数线性规划模型;然后根据服务功能链请求的结构,构造一个分层图网络模型;最后使用拉格朗日松弛方法,提出一种时延保证的服务功能链路由算法。实验结果表明,与随机路由算法和流量感知路由算法相比,SFC-DGA的服务功能链请求接受率分别提高了40.98%和8.86%,物理网络中节点资源利用率分别提高了50.34%和9.72%,链路资源利用率分别提高了54.57%和8.39%,负载均衡性能明显优于对比算法。

一种基于MDP的最优服务功能链长部署策略

随着网络功能虚拟化技术被越来越多的服务提供商应用,许多增值服务被作为虚拟服务功能部署在云数据中心。然而,如何在频繁转变的网络中部署服务功能,使其动态的部署和分配资源仍然是亟待解决的问题。论文提出了基于马尔可夫决策过程创建服务功能实例的部署方案,有效地应对由节点、链路资源使用及用户请求引起的网络动态转换,通过权衡服务质量和服务提供商收益两个目标来最优化部署的链路长度,能够保证服务质量的同时最大化服务提供商的收益。与其他方案相比,仿真结果验证了所提出方案的有效性,面对大量的用户请求时在系统延迟以及吞吐量方面表现更好。

基于自然梯度Actor-Critic强化学习的卫星边缘网络服务功能链部署方法

鉴于低轨卫星网络的高动态性和空间环境的复杂性,如何提供在线的快速服务功能链(SFC)部署方法,成为低轨卫星边缘网络中亟待解决的问题。综合考虑节点和链路容量等约束以及服务迁移等切换代价,针对部署多接入边缘计算(MEC)服务器的低轨卫星网络,该文提出一种基于自然梯度参与者-评价者(Actor-Critic)强化学习架构的SFC在线部署方法。首先,针对低轨卫星网络的环境高动态性,对实时容量约束和迁移代价进行建模;其次,引入马尔可夫决策过程(MDP),综合考虑服务迁移和卫星坐标等因素,描述低轨卫星网络的状态转移过程;最后,提出一种基于自然梯度的在线SFC部署强化学习方法,不同于标准梯度,自然梯度法进行模型层面的更新,以避免神经网络的训练陷入局部最优解。仿真结果表明,该文方法可逼近全局最优解,并在端到端时延性能上优于基于标准梯度的强化学习部署方法。

基于VNF实例共享的服务功能链部署算法

针对服务功能链(SFC)部署过程中存在虚拟网络功能(VNF)实例部署成本和转发路径成本难以权衡的问题,提出了基于VNF实例共享的SFC部署算法。首先针对多链SFC建立VNF和虚拟链路映射模型,并预估路径部署长度上限,保证SFC时延需求;其次,在路径部署长度限制范围内,尽可能使VNF实例共享最大化,以平衡链路转发成本和VNF部署成本,最终得到SFC部署策略。与已有的SPH(shortest path heuristic)和GUS(greedy on used server)部署算法相比,所提算法所得的总运营成本分别降低6.6%和12.15%,且当SFC数量增多时,该算法的服务接受率可达89.33%。仿真实验结果表明,提出算法可以在保证用户服务质量的同时有效降低SFC部署成本。

基于资源需求预测的动态服务功能链迁移方法

针对网络功能虚拟化环境下服务功能链资源需求变化引起的底层网络过载问题,提出一种基于资源需求预测的动态服务功能链迁移方法.首先,综合考虑迁移开销和迁移后底层网络的资源占用情况,建立底层网络开销模型.其次,利用经验模态分解将资源需求序列分解成本征模函数分量与残差分量,再通过径向基函数神经网络实现对各分量的预测,神经网络的训练过程采用粒子群算法进行参数优化.最后,对下一时隙即将过载的物理节点或链路,选择对过载资源占用最多的虚拟网络功能或虚拟链路进行迁出,并基于流量优化的原则,通过对全局拓扑的感知选择能最小化底层网络开销的物理节点迁入.仿真实验表明,所提的资源需求预测模型在提高预测精度的同时能缩短预测时间,所提的服务功能链迁移方法在降低底层网络开销、减少端到端时延和提高服务功能链可靠性等方面有较好性能.

航空信息网络服务功能链迁移策略研究

针对服务功能链(service function chain,SFC)请求动态变化导致的航空信息网络中平台负载不均问题,提出了一种基于联盟博弈的SFC迁移算法。该算法将航空平台作为博弈参与者,将SFC实例作为博弈商品,以网络能耗和迁移开销联合优化为目标。在算法执行过程中,各航空平台之间相互协作构建博弈联盟,通过联盟之间的比较与交换行为实现SFC迁移及网络资源整合。研究结果表明,所提算法具有较低的计算复杂度、较好的收敛性且能够形成纳什稳定结构。此外,在不同的网络规模下,所提算法均能有效降低网络能耗及网络迁移开销,同时保持较高的不同规模网络的资源利用率。

基于节点综合重要度排序的服务功能链部署优化方法

为满足5G网络环境下高可靠性、低时延的要求,同时降低网络带宽资源消耗,面向流量与可靠性优化提出一种基于节点综合重要度排序的服务功能链(SFC)部署方法。首先,基于流量改变率聚合虚拟网络功能(VNF),从而减少部署的物理节点,提高链路可靠性;其次,通过节点的度、可靠性、综合时延与链路跳数定义节点综合重要度,并依据该重要度对物理节点排序;然后,将VNF依次映射到底层物理节点上,同时通过约束链路条数以减少“乒乓效应”并优化流量;最后,通过k-最短路径算法映射虚拟链路,从而完成整个SFC的部署。相较于原有聚合方法,所提方法的SFC平均可靠性提升2%,SFC端到端平均时延降低22%,平均带宽开销降低29%,长期平均收益开销比提高16%。实验结果表明,所提方法能有效提高链路的可靠性,降低端到端的时延与带宽资源消耗,起到了良好的优化效果。

车路协同网络中服务功能链可行时长优化映射算法

以车路协同网络为研究对象,针对物理链路间连通时长的差异性,本文提出优化可行时长的服务功能链映射算法。首先,建立车路协同的物理传输网络模型,并分别分析车车链路和车路链路的连通时长;其次,以映射可行时长为优化目标,以服务功能链的映射规则为约束,建立整数规划问题;最后,为求解该NP-hard问题,提出基于改进子图同构的映射算法,联合考虑车路协同环境中的节点属性、链路属性及链路间关联关系,设计剪枝策略,从而实现服务链路在物理链路上的组合优化映射。实验结果表明,通过考虑物理链路连通时长的差异性,并对其进行优化选择,提出算法在车间通信距离150 m和最大车速60 km·h^(-1)条件下,可将可行时长提升34.4%;同时,在车车通信范围、车辆数以及最大车辆速度这3项主要参数设置中均可验证发现,所提算法可有效提升映射可行时长。

基于可靠性保障的车联网中服务功能链映射算法

为支持未来交通系统中的海量服务,网络运营商将车辆作为移动智能终端加入物理设施网络来参与网络功能虚拟化是一种有前景的解决方案.然而,与静态网络不同,车联网的动态拓扑会使部分物理链路发生中断,使承载的虚拟链路失效,导致服务失败.以保障链路可靠性为约束,以提高服务映射成功率为优化目标,提出一种针对动态网络的服务功能链优化映射算法.首先,采用随机几何以及矩生成函数理论分析得出链路可靠性解析表达式,建立移动性物理网络中服务功能链的成功映射条件集合;其次,构造基于可靠性保障的服务功能链映射优化模型;最后,为了实现低复杂度求解,在可靠物理链路提取方案的基础上,采用子图同构的基本思想,结合匹配发散概率优化剪枝效率,并引入适应度匹配以提升映射成功率,从而提出高效映射算法.实验结果证明,与经典的属性排序映射算法以及设备位置映射算法相比,提出的算法能保障链路的可靠性,提高服务映射的成功率.

面向医疗急救的信息网络服务功能链调度方法

针对医疗急救分类分级服务需求,本文研究健康医疗信息网络服务功能链调度问题.首先,将急救业务按照紧急程度和服务区域分为四类,设置优先级与权重,设计健康医疗信息网络架构、服务模式以及网络工作过程.其次,以最小化总加权完成时间作为调度目标,建立服务功能链调度模型,针对不同问题规模,分别设计匹配博弈算法和Q-learning强化学习算法,求解功能链调度方案.最后,开展仿真实验.实验结果表明,本文的研究可以有效实现对医疗急救分级服务,能够推进健康医疗信息网络的建设,促进智慧医疗发展.

服务功能链的跨域部署算法

针对以往的服务功能链(service function chain, SFC)跨域部署算法很容易导致多域网络负载失衡及能耗过多的问题,提出一种分布式跨域部署算法。基于域网络的资源剩余量及不同类型的虚拟网络功能(virtual network function, VNF)资源需求量完成SFC的划分,综合考虑单域网络负载均衡及能耗,完成SFC子链在单域网络的部署。仿真结果表明,相较于基准算法,基于该算法进行SFC的跨域部署可以获得更好的负载均衡效果,负载均衡度低至0.3%,同时能耗降低了0.5%~14.7%,更加贴合实际的应用需求。