一种适用于非稳态浅海信道的强化学习自适应调制方案

在时-空-频随机变化的浅海水声信道条件下,采用单一调制方式的水声通信系统难以权衡稳定性和通信速率,无法适应海洋信息可靠、高效传输的应用需求,因此自适应调制成为提高水声通信环境适应性的重要技术手段之一.但是,由于水声信道下传输时延增长,传统基于阈值判断和反馈的自适应调制方案存在反馈信息过时的问题,导致系统性能下降.本文将强化学习中的重复更新Q学习(RUQL)算法引入浅海信道自适应调制,用信噪比和多普勒频偏表征信道的状态变化,通过与环境交互学习信道的变化,经过多次迭代学习最优策略,实现多通信制式的自优化调整.实验结果表明,相对传统的基于门限阈值判断调整调制参数的自适应调制方案,本文设计的强化学习自适应浅海水声调制方案在系统吞吐量和误码率上均有明显提升,且相较于传统的Q学习算法有更快的收敛速度.