基于多动作深度强化学习的纺机制造车间调度方法

纺机制造车间调度问题是一种具有复杂工艺约束和序列相关设置时间的柔性作业车间调度问题,为了保证调度方案的质量,提升企业的订单准时交付能力,提出了一种以最小化最大完工期为优化目标的多动作深度强化学习算法。首先,将调度问题建模为多马尔可夫决策过程。然后,针对纺机制造车间调度的工件选择和机器选择两个子问题,分别设计了用于定义工序选择策略和机器选择策略的两个编码器,以预测选择不同工序和机器的概率分布。其中,在工序选择编码器中,采用图神经网络对析取图进行编码,以降低问题规模对解的质量的影响。其次,提出了一种具有多动作空间的强化学习训练算法,用于学习两个子策略。最后,经某纺机制造企业的实际生产案例验证,该方法的性能受问题规模影响较小,与其他对比算法相比,能够获得较高质量的调度方案,训练的模型具有较好的泛化能力和稳定性。

数据驱动的智慧车间实时调度方法研究

智能制造系统采用了物联网等大量先进信息技术,使得车间积累了大量的实时生产数据。同时,复杂制造系统在运行过程中容易出现一系列干扰事件,这对车间实时响应能力提出了更高的要求。因此,在工业大数据支撑的制造环境下,针对考虑序列相关设置时间和阻塞的混合流水车间调度问题(Hybrid flow shop scheduling problem with sequence-dependent setup times and blocking,HFSP-SDST-B),提出一种基于深度强化学习的实时调度方法,从而实现制造资源的合理分配和完工时间最小化。作为一个序列决策问题,HFSP-SDST-B可以被建模为一个马尔科夫决策过程。在每个调度点,智能体根据当前的生产状态选择相应的调度规则,从而进行合理的工件排序和机器分配。为了实现生产数据驱动的实时调度方法,依次设计考虑阻塞因素的调度点、通用生产状态特征、基于遗传规划的启发式规则和奖励函数。然后提出一种基于近端策略优化算法的训练方法,从而让智能体构建状态与规则之间的有效映射。最后试验结果表明,与现有的动态调度方法相比,该方法具有优越性和通用性,并且通过学习能够有效处理随机扰动时间和新订单插入的未知情况。