基于多智能体深度强化学习的无人机动态预部署策略

针对传统优化算法在求解长时间尺度内通信无人机(UAV)动态部署时复杂度过高且难以与动态环境信息匹配等缺陷,该文提出一种基于多智能体深度强化学习(MADRL)的UAV动态预部署策略。首先利用一种深度时空网络模型预测用户的预期速率需求以捕捉动态环境信息,定义用户满意度的概念以刻画用户所获得UAV提供服务的公平性,并以最大化长期总体用户满意度和最小化UAV移动及发射能耗为目标建立优化模型。其次,将上述模型转化为部分可观测马尔科夫博弈过程(POMG),并提出一种基于MADRL的H-MADDPG算法求解该POMG中轨迹规划、用户关联和功率分配的最佳决策。该H-MADDPG算法使用混合网络结构以实现对多模态输入的特征提取,并采用集中式训练-分布式执行的机制以高效地训练和执行决策。最后仿真结果证明了所提算法的有效性。

基于Stackelberg博弈与深度强化学习的计算卸载策略

为使5G混合专网结构的2种用户能获得最优计算卸载策略,将2种用户竞争移动边缘计算(mobile edge computing,MEC)服务器资源的问题建模成Stackelberg博弈,并分别讨论了完全信息博弈和不完全信息博弈下的策略。完全信息博弈下,存在唯一纳什均衡解;不完全信息博弈下,将环境建模为部分可观测的马尔可夫决策过程(partially observable Markov decision process,POMDP),并提出一种基于二阶段深度强化学习(two-stage deep reinforcement learning,TSDRL)的最优卸载策略。仿真实验表明:该算法相较于D-DRL算法能减少20.81%的时延及3.38%的能耗,有效提高用户QoE(quality of experience)。

应用部分马尔科夫博弈的网络安全主动响应决策模型

针对传统被动响应模型滞后于攻击且频繁误警和虚警导致不当响应的问题,提出一种基于部分马尔科夫博弈(POMG)的主动响应决策模型.该模型针对入侵过程生成入侵状态转换图,并根据攻击过程中得到的观察事件匹配入侵状态转换图,在考虑状态不确定的情况下确定系统信念状态.将概率值超过信念状态阈值的状态作为初始节点生成入侵状态转换子图,根据子图的入侵过程确定攻防策略集,最终利用POMG算法选择最优主动响应策略.实验结果表明,基于POMG的主动响应模型较映射型模型响应速度快67%,平均响应效率高24.5%.

基于攻击图的主动响应策略选择

为帮助管理员预先识别网络系统脆弱性及面临的潜在安全威胁,提出一种基于攻击图的主动响应策略选择方法.该方法利用攻击图模型分析网络攻击行为,预测攻击路径并进行定量分析.根据攻击过程中得到的观察匹配攻击图,更新信念状态,最终利用部分马尔科夫博弈(POMG)算法进行最优主动响应策略选择.实验结果表明,基于攻击图的主动响应策略选择方法能提高响应的准确性和有效性.