5G异构网络中基于多目标Actor-Critic的资源分配

在5G异构网络(heterogeneous network,HetNet)中广泛部署小基站可以提高网络容量和用户速率,但密集部署也会产生严重干扰和更高能耗问题。为了最大化网络能量效率(energy efficiency,EE)并保证用户服务质量(quality of service,QoS),提出了一种在小蜂窝基站中嵌入能量收集器供电的资源分配方案。首先,针对网络系统的下行链路,将频谱和小基站发射功率分配问题建模为联合优化系统能效和用户满意度的多目标优化问题。其次,提出了基于深度强化学习的多目标演员-评论家(multi-objective actor-critic,MAC)资源分配算法求解所建立的优化模型。最后,仿真结果表明,相比于其他传统学习算法,能量效率提高了11.96%~12.37%,用户满意度提高了11.45%~27.37%。