基于状态聚类的多站点CSPS系统的协同控制方法

单站点传送带给料加工站(Conveyor-serviced production station,CSPS)系统中,可运用强化学习对状态–行动空间进行有效探索,以搜索近似最优的前视距离控制策略.但是多站点CSPS系统的协同控制问题中,系统状态空间的大小会随着站点个数的增加和缓存库容量的增加而成指数形式(或几何级数)增长,从而导致维数灾,影响学习算法的收敛速度和优化效果.为此,本文在站点局域信息交互机制的基础上引入状态聚类的方法,以减小每个站点学习空间的大小和复杂性.首先,将多个站点看作相对独立的学习主体,且各自仅考虑邻近下游站点的缓存库的状态并纳入其性能值学习过程;其次,将原状态空间划分成多个不相交的子集,每个子集用一个抽象状态表示,然后,建立基于状态聚类的多站点反馈式Q学习算法.通过该方法,可在抽象状态空间上对各站点的前视距离策略进行优化学习,以寻求整个系统的生产率最大.仿真实验结果说明,与一般的多站点反馈式Q学习方法相比,基于状态聚类的多站点反馈式Q学习方法不仅具有收敛速度快的优点,而且还在一定程度上提高了系统生产率.

两类品种工件混流的多站点CSPS系统优化控制

研究一种两类品种工件混流的多站点传送带给料加工站系统的优化控制问题.系统中的站点如何协同工作完成工件加工任务,是提高系统生产率的重要课题.将前视距离作为各站点的决策变量,通过站点间的局部信息交互,提出一种品种均衡工作模式,并运用一种模型无关的串行反馈式多agent强化学习算法求解系统的最优策略.实验结果验证了该工作模式的合理性和算法的有效性,并分析了部分参数变化对系统性能的影响.