推断网络辅助下的DQN在卷烟制丝过程控制中的实证

DeepQ-Learning with inference netusedin cigarette silk process

针对DQN算法在工业环境维度或动作维度极高的情况下训练速度慢、不易收敛、复用性差的问题,提出了构建等价环境的方法,该方法基于MDP过程构建半增强训练模型,并在输入维度巨大的卷烟制丝过程控制中通过测试。通过分析MP过程,解释了DQN相对Q值学习更加有效的原因,分析了Q值学习本身忽略的环境压缩问题,提出构建环境等价网络的算法。实验表明,在工业环境中,该算法相对DQN明显提高了记忆的使用效率。可预见该算法能够将已完成训练的环境经验应用在新的任务中。同时该算法可推广至动作等价,以简化拥有连续动作或动作维度极高的环境训练问题。