面向分层异构网络的资源分配：一种稳健分层博弈学习方案

该文研究了信道状态不确定条件下分层异构微蜂窝网络中的无线资源分配优化问题。首先引入信道不确定模型描述无线信道的随机动态性,并将该问题建模为考虑信道不确定度的双层鲁棒斯坦伯格博弈;然后给出了该博弈的均衡点分析;最后提出了一种分布式改进型分层Q学习方案以实现宏基站和微基站的均衡策略搜索。理论分析和仿真表明,所提出的分层博弈模型可以有效抑制由于信道状态不确定引起的收益下降。所采用的学习方案较传统Q学习方案收敛速度明显加快,更加适用于短时快变的通信环境。

基于多智能体技术的区域协调优化控制方法

为进一步缓解城市交通拥堵问题,设计了基于多智能的区域协调优化控制方法,将信号控制区域划分成路口智能体层与交通子区智能体层.在路口智能体层引入Stackelberg博弈,构建基于Stackelberg-Q的交通子区控制算法;在交通子区层,将Dyna算法框架与Q学习相结合提出了基于Dyna-Q的交通子区协调控制算法.采用Synchro交通仿真软件将文章算法与专家系统方案和基于Synchro仿真软件的配时优化方案进行对比验证,选取最大V/C比、延误、服务水平对每个路口进行评价,选取路网区域内车均延误和平均停车次数对整体路网的控制效果进行评价,文章算法均表现出更加良好的控制效果,验证了其算法的有效性与合理性.

移动边缘计算中依赖型任务的调度模型研究

当前移动边缘计算(mobile edge computing, MEC)环境中关于任务调度的工作经常忽略任务间的依赖关系,导致其完成时延较长。针对此问题,首先,以降低系统完成时延为目标,在考虑到跨服务器协作的多用户、多边缘服务器场景下,利用广度优先搜索算法(breadth first search, BFS)构建一种依赖型任务的调度模型。然后,根据任务和边缘服务器之间的交互,将模型中各调度层的联合卸载和迁移问题建模为一个多领导者多跟随者的Stackelberg博弈。最后,为实现Stackelberg博弈均衡,提出基于Q值的卸载算法和分布式迭代迁移算法求解模型。仿真结果表明,与基线算法相比,所提算法在不同规模的用户和边缘服务器的场景下,将系统完成时延分别降低了44.1%和63.2%。进一步实验表明,与传统方案相比,所提模型在不同规模的用户和边缘服务器的场景下使系统完成时延分别降低了20.1%和6.7%,有效保证了服务质量。

基于分层Q学习的联合抗干扰算法

针对智能干扰威胁下的跨层抗干扰通信问题,提出一种基于分层Q学习的联合抗干扰学习算法。根据用户与干扰机之间的路由信道选择问题构建分层Stackelberg博弈模型,干扰机选择最佳干扰信道实施干扰,用户与干扰机进行路由信道博弈,选择最佳路由及信道实现通信。仿真结果表明,与固定路由-随机信道选择算法、随机路由-最佳信道选择算法和随机路由-随机信道选择算法相比,该算法具有更好的抗干扰性能。

面向智慧城市的多精度群智感知定价机制研究

本文将在面向智慧城市的多精度群智感知背景下,设计基于Stackelberg博弈模型的定价激励机制来解决这三方面问题。首先在完全博弈信息条件下确立最优定价的存在条件,然后在用户感知成本不确定的情况下,设计了基于Q学习的动态定价算法SPA。在多个场景下的仿真结果验证了算法具有很好的用户适应性、成本节约性和感知安全性。

线性二次二人Stackelberg博弈均衡点求解:一种Q学习方法

近年来,Stackelberg博弈被广泛用于解决信息物理系统安全控制、智能电网能源管理等问题.已有的Stackelberg均衡点求解方法大多需要已知系统模型信息,而在实际应用中模型信息通常难以精确获取,这在一定程度上限制了相关理论研究成果的应用.鉴于此,本文研究了不基于系统模型的Stackelberg博弈均衡点的求解方法.具体地,本文考虑线性二次二人Stackelberg博弈,其中博弈状态演化满足线性方程,且成本函数为二次形式.博弈的两个参与者为能够预测另一个体可能响应的个体(即领导者),和根据领导者策略作出最优响应的个体(即跟随者).因为本文考虑线性形式的状态演化和二次形式的成本函数,且领导者先于跟随者采取行动,故领导者和跟随者的决策问题可建模为两层的线性二次型最优控制问题.本文按照从跟随者到领导者的原则,基于动态规划原理推导出最优控制策略.该策略被证明恰好为Stackelberg均衡策略,但其计算需使用系统模型信息.基于此策略,本文提出一种基于执行器–评价器(actor-critic)结构的Q学习算法,解决了系统动力学模型未知情况下线性二次二人Stackelberg博弈均衡点求解问题.此外,本文理论证明了所提算法能够保证系统状态、执行网络和评价网络权重估计误差一致最终有界,并通过数值仿真实验说明基于Q学习算法所得控制策略能够使系统状态稳定,且估计控制策略下的成本函数偏离均衡策略下的成本函数的幅度较小.