[发明专利]一种带运输过程和机器状态的车间调度方法及系统

说明书

本发明公开了一种带运输过程和机器状态的车间调度方法及系统，其技术方案为：包括获取工件参数、机器全过程运输参数；以最大完工时间和总能耗最小为优化目标，利用强化学习方法构建深度Q网络模型；采用双重深度Q网络和软目标权重更新策略训练深度Q网络，并采用softmax选择策略通过概率选择调度规则提高解的质量，得到柔性车间调度最优解决方案。本发明基于深度神经网络的强化学习模型来解决考虑起重机全过程运输、机器准备时间、机器空闲时间的柔性车间调度问题，降低了总能耗，缩短了最大完工时间，提高了工作效率。

技术领域

本发明涉及柔性车间调度领域，尤其涉及一种带运输过程和机器状态的车间调度方法及系统。

背景技术

柔性车间调度问题(FJSP)是组合优化领域中的一个重要分支，是车间调度问题(JSP)的一个扩展NP-hard问题。在FJSP中，需要完成所有工序加工的顺序和每个工序加工机器分配这两个任务。FJSP在设备制造、半导体制造、化学材料加工以及手机装配领域中广泛存在。在FJSP中，工件依靠起重机在机器之间运输，起重机运输过程的时间和能量消耗不能被忽略。

FJSP通常通过进化算法(EAs)求得满意解。然而，对于中大规模的FJSP，模型的探索和挖掘能力对于EAs的随机搜索策略来说并不明显。发明人发现，目前关于柔性车间调度的研究存在以下问题：

(1)借助进化算法优化结果，而进化算法依靠随机调整调度方案提高优化的效果，所以进化算法在调度的优化效果较为有限；

(2)起重机在运动过程中没有考虑全部的运动过程，特别是忽略了起重机在竖直方向(z方向)上的移动过程，而在实际的生产过程中，起重机在竖直方向上的运动时间不可忽略；

(3)忽略了机器的准备时间、空闲时间及其能耗问题，但实际生产过程中，同一台机器生产不同的工件往往伴随着调整机器参数等过程，同样消耗时间，与此同时，机器在整个调度过程中不可关闭，空闲状态的机器同样消耗电能，这两部分的时间和能量消耗不可忽略。

上述问题的存在导致柔性车间调度能好较高、工作效率较低。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种带运输过程和机器状态的车间调度方法及系统，基于深度神经网络的强化学习模型来解决考虑起重机全过程运输、机器准备时间、机器空闲时间的柔性车间调度问题，降低了总能耗，缩短了最大完工时间，提高了工作效率。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本发明的实施例提供了一种带运输过程和机器状态的车间调度方法，包括：

获取工件参数、机器全过程运输参数；

以最大完工时间和总能耗最小为优化目标，利用强化学习方法构建深度Q网络模型；

采用双重深度Q网络和软目标权重更新策略训练深度Q网络，并采用softmax选择策略通过概率选择调度规则提高解的质量，得到柔性车间调度最优解决方案。

作为进一步的实现方式，在深度Q网络中，首先观测初始状态s0并计算初始状态特征值；之后利用ε贪婪规则增强在线网络在柔性车间调度中的泛化能力；

根据变化的环境计算得到奖赏，根据计算误差通过梯度下降法训练在线网络Q；观测得到新的状态和新的状态特征。

作为进一步的实现方式，当在线网络更新时，目标网络通过软目标权重更新策略同步更新。

作为进一步的实现方式，采用多个状态特征描述柔性车间调度的环境，根据优化目标，将多个状态特征分为若干组，同组的状态特征在深度Q网络中共享设定层网络节点，不同组的状态特征在深度Q网络中互不链接。