面向无人机数字孪生边缘网络的联邦学习资源自适应优化机制

为了解决无人机数字孪生边缘网络联邦学习性能优化问题,本文提出一种基于深度强化学习的无人机数字孪生边缘网络资源调度策略。考虑动态时变的无人机数字孪生边缘网络环境,构建包含地面基站(Base Station,BS)、地面智能终端、空中无人机以及无线传输信道的孪生网络模型,建立联合无人机飞行距离、飞行角度以及无线网络频谱资源分配的自适应资源优化模型,实现最小化联邦学习时延的目标。在无人机数字孪生边缘网络环境下,提出多智能体深度确定性策略梯度算法(Multi-Agent Deep Deterministic Policy Gradient,MA-DDPG),求解自适应资源优化模型。算法训练过程采用中心化训练、去中心化执行的方式,每个无人机智能体在评估动作价值时会考虑其他智能体的状态和动作,而在执行时只根据自身的局部观察来决定动作。上述训练过程将在数字孪生环境中执行,算法收敛后再应用于真实世界,最大限度地减少物理实体的资源开销。仿真结果表明,所提算法可显著降低联邦学习服务时延,同时保证联邦学习训练损失和准确率的优越性。