基于深度强化学习的UAV联盟网络通算联合设计

无人机联盟网络中通信和计算互耦,故对通信和计算进行联合设计有助于提升其整体性能。基于此,文中研究了基于深度强化学习的UAV联盟网络通算联合设计技术。首先,提出基于置信区间上界(UCB)Dueling DQN(U-DDQN)和状态归一化的双延迟深度确定性策略梯度(N-TD3)的多域抗干扰通信策略,根据该策略给UAV链路分配频道和功率并计算出各链路容量;然后,利用N-TD3算法和获得的链路容量设计任务卸载策略。仿真结果表明,基于U-DDQN和N-TD3的抗干扰通信策略显著提高了UAV链路容量,同时基于该链路容量和N-TD3算法设计的计算卸载策略降低了UAV任务处理时延,故所提通算联合设计满足UAV联盟网络的通信能力需求。