基于历史调控经验的强化学习油藏生产优化方法

生产优化是调整水驱油流动方向、提高油田开发效果的关键技术。针对现有生产优化方法难以借鉴历史调控经验,优化效率较低的问题。提出基于历史调控经验的强化学习油藏生产优化方法。该方法基于柔性行动器-评判器算法,首先将生产优化建模为马尔可夫序列决策过程,在序列决策过程中,将油藏压力场和饱和度场作为强化学习智能体的观测状态,以开发方案的经济净现值作为智能体的奖励,然后强化学习智能体将油藏状态映射为生产调控制度,并与油藏环境持续交互以累积历史调控经验,最后通过借鉴历史调控经验,快速学习最优策略。将提出的方法应用到油藏区块上进行测试。实验结果表明,本文所提出的基于历史调控经验的强化学习油藏生产优化方法在优化性能和增油控水方面优于现有的进化算法和代理模型方法。