基于深度强化学习的股市操盘手模型研究

股票市场具有变化快、干扰因素多、周期数据不足等特点,股票交易是一种不完全信息下的博弈过程,单目标的监督学习模型很难处理这类序列化决策问题。强化学习是解决该类问题的有效途径之一。提出了基于深度强化学习的智能股市操盘手模型ISTG(Intelligent Stock Trader and Gym),融合历史行情数据、技术指标、宏观经济指标等多数据类型,分析评判标准和优秀控制策略,加工长周期数据,实现可增量扩展不同类型数据的复盘模型,自动计算回报标签,训练智能操盘手,并提出直接利用行情数据计算单步确定性动作值的方法。采用中国股市1400多支的有10年以上数据的股票进行多种对比实验,ISTG的总体收益达到13%,优于买入持有总体−7%的表现。

基于规则引导DDPG的多目标电网调度算法

设计了一种多目标的电网调度模型,在保障电网安全运行的基础上,实现最大化新能源消纳和最小化运行成本的目标。引入深度确定性策略梯度(deep deterministic policy gradient,DDPG)算法与环境交互得到最优调度策略。针对DDPG算法存在的训练不稳定的问题,提出一种规则引导DDPG算法,并在训练过程中加入双价值网络。实验结果表明,所提方法能够更好地实现调度目标,在原DDPG算法的基础上提高了模型稳定性和有效性。