小脑模型关节控制器网络在传送带给料生产加工站学习优化控制中的应用

研究单站点传送带给料生产加工站(conveyor-serviced production station,CSPS)系统的前视(look-ahead)距离最优控制问题,以提高系统的工作效率.论文运用半Markov决策过程对CSPS优化控制问题进行建模.考虑传统Q学习难以直接处理CSPS系统前视距离为连续变量的优化控制问题,将小脑模型关节控制器网络的Q值函数逼近与在线学习技术相结合,给出了在线Q学习及模型无关的在线策略迭代算法.仿真结果表明,文中算法提高了学习速度和优化精度.

可变服务率模式下基于需求驱动的传送带给料加工站系统的优化控制

本文主要研究可变服务率模式下基于需求驱动的传送带给料加工站(CSPS)系统的优化控制问题,主要目标是对系统的随机优化控制问题进行建模和提供解决方案.论文以缓冲库和成品库剩余容量为联合状态,以站点前视距离和工件服务率为控制变量,将其最优控制问题描述为半马尔科夫决策过程(SMDP)模型.该模型为利用策略迭代等方法求解系统在平均准则或折扣准则下的最优控制策略提供了理论基础,特别地,据此可引入基于模拟退火思想的Q学习算法等优化方法来寻求近似解,以克服理论求解过程中的维数灾和建模难等困难.仿真结果说明了本文建立的数学模型及给出的优化方法的有效性.

服务率不确定的单站点传送带给料加工站系统鲁棒优化控制

研究了服务率不确定情况下的单站点传送带给料加工站(CSPS)系统的鲁棒优化控制问题。在仅知服务率区间的条件下,以CSPS系统的前视距离作为控制变量,将鲁棒优化控制问题建模成不确定参数的半马尔可夫决策过程(SMDP)的极大极小优化问题,在状态相关的情况下,给出全局优化算法进行鲁棒控制策略求解。首先,运用遗传算法求解固定策略下的最差性能值;其次,根据求解得到的最差性能值,运用模拟退火算法求解最优鲁棒控制策略。仿真结果表明,服务率不确定的CSPS系统的最优鲁棒性能代价与服务率固定为区间中值系统的最优性能代价相差不大,并且随着不确定区间的缩小,两者的差值越小,说明了全局优化算法的有效性。

基于多Agent强化学习的多站点CSPS系统的协作Look-ahead控制

研究多站点传送带给料生产加工站(Conveyor-serviced production station,CSPS)系统的最优控制问题,其优化目标是通过合理选择每个CSPS的Look-ahead控制策略,实现整个系统的工件处理率最大.本文首先根据多Agent系统的反应扩散思想,对每个Agent的原始性能函数进行改进,引入了具有扩散功能的局域信息交互项(原始项看作具有反应功能);并运用性能势理论,构建一种适用于平均和折扣两种性能准则的Wolf-PHC多Agent学习算法,以求解决策时刻不同步的多站点的协作Look-ahead控制策略.最后,论文通过仿真实验验证了该算法的有效性,学习结果表明,通过性能函数的改进,各工作站的负载平衡性得到改善,整个系统的工件处理率也明显提高.

非泊松工件流CSPS系统的Q学习算法适用性仿真研究

研究工件非泊松到达情况下,传送带给料加工站(CSPS)系统无法建立成半马尔可夫决策过程(SMDP)模型时, Q学习算法的适用性问题.首先,以马尔可夫调制泊松过程(MMPP)和半马尔可夫调制泊松过程(SMMPP)来模拟非泊松工件流,并在相同的平均到达率下,仿真评估其Q学习算法性能,并分别与泊松工件流情况下的Q学习算法性能进行比较:其次,在非泊松工件流情况下,观测以实时统计平均到达率作为工件标准泊松到达率的理论优化情况:最后讨论在MMPP和SMMPP叠加混合非泊松工件流情况下CSPS系统的Q学习算法性能.实验表明,在工件非泊松到达情况下Q学习算法依然能学到较好的控制策略,从而说明了CSPS系统中Q学习算法的适用性.

基于RBF-Q学习的多品种CSPS系统前视距离控制

研究一类多品种工件到达的传送带给料加工站系统(CSPS)的前视距离(Look-ahead)优化控制问题,以提高系统的工作效率。在工件品种数增加的情况下,系统状态规模会呈现指数性增长,考虑传统Q学习在面对大规模离散状态空间所面临的维数灾难,且难以直接处理前视距离为连续化变量的问题,引入了RBF网络来逼近Q值函数,网络的输入为状态行动对,输出为该状态行动对的Q值。给出RBF-Q学习算法,并应用于多品种CSPS系统的优化控制中,实现了连续行动空间的Q学习。针对不同的品种数情况进行仿真分析,仿真结果表明, RBF-Q学习算法可以对多品种CSPS系统性能进行有效优化,并且提高学习速度。

基于CMAC神经网络的多工序CSPS系统分层优化控制

研究带有柔性站点的多工序传送带给料加工站系统的优化控制问题。根据系统运行特点,文章把系统分为切换控制和Look-ahead协同控制两层决策。首先,对于上层的柔性站点切换控制问题,根据CMAC神经网络收敛速度快,适应能力强的特点,采用基于CMAC神经网络的Q学习算法进行策略优化,解决工序间控制问题;其次,对于下层的Look-ahead协同控制问题,运用Wolf-PHC多Agent学习算法,解决工序内协同问题。实验结果表明,通过引入柔性站点建立两层决策体系,整个系统的工件处理率明显提高,基于CMAC神经网络的Q学习算法收敛速度更快,空间复杂度更低。

基于需求驱动的CSPS系统多目标优化控制

本文以最小化顾客流失率和最小化成品库平均在库数量为优化目标,研究基于需求驱动的传送带给料加工站(CSPS)系统的多目标优化问题.给出了前视距离控制和库存控制两种控制方式,并建立基于需求驱动的CSPS系统多目标优化模型.通过半马尔可夫决策过程长期平均性能公式计算目标值,然后使用NSGAⅡ和SPEA2两种多目标优化算法求解问题的最优策略集合.实验结果表明,加入库存控制方式可以在保证顾客需求的同时有效降低成品库平均在库数量.此外,针对模型特点,给出二进制-实数编码和连续化实数编码两种编码方式.通过验证,连续化实数编码可以有效提高算法的收敛性能及获得的非支配解集的质量.