基于DDQN的三元多级散列异步流量调度方法

数据中心网络(DCNs)中Web访问和分布式计算的短消息业务占据大部分的流量,为解决数据中心短消息的长尾效应,提出一种接收端驱动的基于强化学习面向动态优先级的流量调度算法。该算法基于双重深度Q网络(DDQN)强化学习设置动态调度门限,完成动态优先级分配,并在发送队列按照差额轮询极大地降低了低优先级长消息的尾部延时,在发送端将长度小于调度门限的短数据包直接发送,在接收端根据三元检测的信息给长度大于调度门限的数据包动态分配优先级队列,消除抢占延时,保证链路的高占用率和低传输时延。实验表明,本算法在链路95%以上的高负载情况下,对字节数小于Unscheduled Bytes的短消息流完成时间放缓比降低了85%。

基于深度强化学习的平滑车速控制系统

为调整不同路段的限速值,平滑交通流,从而提升高速公路车辆通行的安全性和效率,针对交通瓶颈区设计一种基于深度强化学习的平滑车速管控系统。该系统主要包含动态限速启动、限速值确定与更新和情报板动态发布等3个模块。将深度强化学习算法DDQN(Double Deep Q-Network)引入系统中,提出一种基于DDQN的平滑车速控制策略,从目标网络和经验回顾2个维度提升该算法的性能。基于元胞传输模型(Cellular Transmission Model,CTM)对宁夏高速公路某路段的交通流运行场景进行仿真,以车辆总通行时间和车流量为评价指标验证该系统的有效性,结果表明该系统能提高瓶颈区内拥堵路段车辆的通行效率。

基于深度强化学习的股市操盘手模型研究

股票市场具有变化快、干扰因素多、周期数据不足等特点,股票交易是一种不完全信息下的博弈过程,单目标的监督学习模型很难处理这类序列化决策问题。强化学习是解决该类问题的有效途径之一。提出了基于深度强化学习的智能股市操盘手模型ISTG(Intelligent Stock Trader and Gym),融合历史行情数据、技术指标、宏观经济指标等多数据类型,分析评判标准和优秀控制策略,加工长周期数据,实现可增量扩展不同类型数据的复盘模型,自动计算回报标签,训练智能操盘手,并提出直接利用行情数据计算单步确定性动作值的方法。采用中国股市1400多支的有10年以上数据的股票进行多种对比实验,ISTG的总体收益达到13%,优于买入持有总体−7%的表现。