基于期望Sarsa的进港航班排序模型研究

日益增长的航班流量给机场的维护带来了巨大压力的同时,也极大地影响乘客的体验。为了缓解机场的拥堵状况,结合人工智能算法,提出采用强化学习模型对终端区进港航班的序列进行优化。航班排序采用强化学习中的期望Sarsa算法,针对航班的延误考虑设计延误时间、延误成本、尾流类型等因素的奖励函数,以航班的预计达到时刻为状态,延误的分钟数为动作,对成都双流国际机场连续进港的20架航班进行仿真实验,结果表明优于现有的基于优先级的先到先服务算法和常见的启发式算法。

基于DE-SARSA(TS)的跳频系统智能抗干扰决策算法

为了提高跳频通信系统在复杂电磁环境下的抗干扰性能,提出一种基于结合汤普森采样(Thompson Sampling)、Dyna模型和期望SARSA学习(Expected Sarsa)的智能抗干扰决策算法。在期望SARSA学习中,引入Dyna模型,将模型学习与强化学习结合,提升了算法收敛速度和稳态性能;采用汤普森采样和Tanh函数改进动作选择机制,提高了算法对环境的探索和利用;以时隙对应的干扰环境为状态,以跳频速率、信号瞬时带宽、频率序列等为动作构造状态动作空间,设计了相应的跳频系统模型和奖励函数。在高斯白噪声、窄带干扰、宽带干扰和扫频干扰并存的复杂干扰环境中的仿真结果表明,此算法兼顾了对环境的探索与利用,比对比算法有更快的收敛速度和更强的抗干扰能力。