-
题名基于双行动者深度确定性策略梯度算法的间歇过程控制
- 1
-
-
作者
马军伟
徐琛
陶洪峰
杨慧中
-
机构
江南大学轻工过程先进控制教育部重点实验室
-
出处
《信息与控制》
CSCD
北大核心
2023年第6期773-783,810,共12页
-
基金
国家自然科学基金(62103167)
江苏省自然科学基金(BK20210451)
-
文摘
针对传统基于模型的控制方法在处理间歇过程任务时会因为其复杂的非线性动态导致模型不准确,进而影响控制性能的问题,结合强化学习(RL),提出一种不需要过程模型的间歇过程控制方案。首先,该方法通过双行动者并行训练的结构来解决深度强化学习算法中值函数高估计的问题,提高算法的学习效率。其次,为每个行动者设置独立的经验池来保持双行动者的独立性。此外,为RL控制器设置了一种新型奖励函数,引导过程回到预定轨迹,并通过引入延迟策略更新方法来缓解参数更新时的时序差分(TD)误差累积问题。最后利用青霉素发酵过程的仿真,展示了基于双行动者深度确定性策略梯度(TA-DDPG)算法的控制器对间歇过程控制的有效性。
-
关键词
间歇过程
模型未知
强化学习
行动者-评论家框架
策略梯度算法
-
Keywords
batch process
model unknown
reinforcement learning
actor-critic framework
policy gradient algorithm
-
分类号
TP277
[自动化与计算机技术—检测技术与自动化装置]
-