基于深度强化学习的轨道交通T2T通信网络资源分配

轨道交通下一代列车对列车(T2T)通信为基础的列控系统中,列车对轨旁(T2W)通信与T2T通信并存。为了充分利用有限的频谱资源,提出了一种基于多智能体深度强化学习的T2T通信分布式资源分配方案。该方案依据通信内容划分不同优先级,同时将一个T2T或T2W链路看成一个智能体,每个智能体在与环境不断交互的同时选择动作独立实现分布式资源分配机制。仿真结果表明,该方案在降低T2T通信时延的基础上提高了T2W链路和系统整体的吞吐量;与现有的T2T通信资源分配方案相比,系统容量和T2T链路成功传输概率均有较大提高。

利用A2C-ac的城轨车车通信资源分配算法

在城市轨道交通列车控制系统中,车车(T2T)通信作为新一代列车通信模式,利用列车间直接通信来降低通信时延,提高列车运行效率。在T2T通信与车地(T2G)通信并存场景下,针对复用T2G链路产生的干扰问题,在保证用户通信质量的前提下,该文提出一种基于多智能体深度强化学习(MADRL)的改进优势演员-评论家(A2C-ac)资源分配算法。首先以系统吞吐量为优化目标,以T2T通信发送端为智能体,策略网络采用分层输出结构指导智能体选择需复用的频谱资源和功率水平,然后智能体做出相应动作并与T2T通信环境交互,得到该时隙下T2G用户和T2T用户吞吐量,价值网络对两者分别评价,利用权重因子β为每个智能体定制化加权时序差分(TD)误差,以此来灵活优化神经网络参数。最后,智能体根据训练好的模型联合选出最佳的频谱资源和功率水平。仿真结果表明,该算法相较于A2C算法和深度Q网络(DQN)算法,在收敛速度、T2T成功接入率、吞吐量等方面均有明显提升。

基于毫米波MIMO的车车通信混合预编码研究

高速铁路普遍采用传统的车地(Train-to-Ground,T2G)通信,针对传统T2G通信存在轨旁设备多、传输延时高和系统容量不足的问题,提出一种车车(Train-to-Train,T2T)通信混合预编码(Hybrid Precoding,HP)的传输方案来弥补T2G通信的不足。在T2T通信中引入毫米波(Millimeter Wave,mmWave)、大规模多输入多输出(Multiple Input Multiple Output,MIMO)和HP等第5代移动通信(Fifth Generation Mobile Communication,5G)关键技术,并重新设计一种适用于HP的等效全连接神经网络模型,同时结合反向传播(Back Propagation,BP)算法和自适应增量(Adaptive Delta,AD)算法,进行基于毫米波大规模MIMO的T2T通信HP研究。研究结果表明:所给训练集越大,AD-BP算法的拟合情况就越好,理想输出和实际输出的误差越小,经过多次迭代训练最终收敛于频谱效率。采用等效网络算法的T2T通信HP和最优无约束预编码相比,二者性能相近。同时,对比传统HP常采用的迫零(Zero Forcing,ZF)算法和最小均方误差(Minimum Mean Square Error,MMSE)算法,采用等效网络算法的T2T通信HP的接收信噪比(Signal-to-Noise Ratio,SNR)能满足T2T传输的最低要求且频谱效率更优。在固定数据流的情况下,提高射频(Radio Frequency,RF)链的数量所带来系统性能的提升有限且获益不高,但却导致系统的复杂度提高,所以要在不降低系统性能的情况下尽可能减少RF链数量来降低系统的复杂度。研究结果可为未来实际设计高速铁路T2T通信传输提供理论指导。