环境适应的高斯噪声数据增强强化学习方法

状态向量输入的强化学习方法是一种基本的强化学习研究方向,具有广泛的应用前景。针对目前强化学习方法数据效率低下导致学习时间较长从而难以在现实环境中应用的问题,提出了一种环境适应的高斯噪声数据增强(environment-adapted Gaussian noise augmentation,EAGNA)方法,并将其作为一个模块插入到软演员-评论家(soft actor-critic,SAC)和近端策略优化(proximal policy optimization,PPO)方法中。针对任务环境中状态向量的各个元素分布范围,对每个元素添加具有不同均值和标准差的高斯噪声,从而达到增强数据的目的。在OpenAI Gym基准测试的3个基于状态向量输入的控制任务中,EAGNA较原算法获得了更高的平均回报,提高了算法的数据效率。特别是在具有复杂状态输入的Lunar Lander控制任务中,EAGNA获得的平均回报比SAC和PPO方法分别高出30.52和26.09。