[发明专利]基于深度强化学习的智能工厂生产作业调度方法及系统

说明书

本发明涉及一种基于深度强化学习的智能工厂生产作业调度方法，包括以下步骤：步骤S1:获取每个任务各个工序在对应机器上的处理数据，并预处理后构成训练集；步骤S2:构建深度强化学习DQN模型，所述深度强化学习DQN模型包括DQN深度学习网络结构和DQN强化学习模块；步骤S3:训练深度强化学习DQN模型，得到训练后的深度强化学习DQN模型；步骤S4:将待生产任务调度数据进行预处理后输入训练后的深度强化学习DQN模型，得到生产任务工序的调度安排。本发明能够实现对当前生产作业快速且高效的调度。

技术领域

本发明涉及智能工厂生产调度领域，具体涉及一种基于深度强化学习的智能工厂生产作业调度方法及系统。

背景技术

作为工业4.0的核心，智能工厂旨在构建面向制造业的信息物理系统，通过集成信息系统与物理实体，实现工厂中机器、原料、产品的自组织生产，其中，生产作业的智能调度是提升工厂生产效率、节约生产成本的关键之一，在传统的工程生产作业调度中，调度往往需要工作人员凭借以往的经验手动选择一种或几种固定调度规则，这对于人员的经验有着较高的要求，调度质量也无法保证始终高效和稳健。随着软、硬件方面的不断成熟，AI辅助的智能技术开始被集成在智能制造中以提高盈利能力和竞争力，在过去的几年里，在输运、装配搬运、生产预测、设备预防性维护中已经出现了成功的应用，很自然的会考虑将机器学习用于生产作业的智能调度中以缩短最大完成时间，提升机器利用率。

目前智能工厂中的生产作业调度方法研究主要可分为三类：

基于知识的生产作业调度方法，基于知识的方法(如专家系统)其本质是通过专业从业人员的经验累积提出决策建议，来模拟一种原始的人工智能的调度决策系统。Kumara等人引入了一个框架来开发了一个工作车间调度和故障诊断的专家系统，可以给出调度以及故障诊断的决策与建议；Wang等人提出了一种将知识推理和语义数据集成的智能糖果包装方案，设计了推理引擎用于同时处理存在模型与来自生产过程的实时语义数据；同时为智能糖果包装应用程序构建了基准测试系统，能够直接支持客户定制和灵活的混合生产。

基于数学优化方法的生产作业调度方法，经典的生产调度问题常使用基于数学规划的方法来寻找调度解决方案，将生产调度问题描述为一个受限制的优化问题，目标是找到满足约束条件下的最优调度。Ivan等人提出了短期供应链调度的动态模型和算法，同时考虑了机器结构与作业分配，提出一种基于作业执行非平稳解释与调度问题的时间分解的调度方法，通过连续最大原则的修改形式与数学优化混合，提供了一个多项式时间的调度解决方案。基于数学优化的生产作业调度方法通常能够寻找到问题的最优解，但是原始的优化模型面对调度问题时常会受限于各种变量以及多重的条件约束，在寻找最优解的过程中会产生较高的时间与计算成本，难以满足生产调度的及时性要求，需要进一步进行改进才能用于实际的生产调度问题。

基于群智能的启发式调度方法，Law等人提出了使用调度规则来实现更高的效率，它集成了一个专家系统和启发式算法，用于解决在约束条件下的供应链调度问题；秦新立等提出的改进蚁群算法，实现了发电厂清洁机器人对太阳能电池板清洁工作的任务分配。基于群智能的启发式算法具有较强的寻优能力，能够探索各种调度可能方案，但是通常会面临陷入局部最优的问题，且调度执行时间会随着调度问题规模的增大而产生明显的增长。

伴随着深度学习在声音、视觉、医药、工业各领域的成功应用，人工智能激发了越来越多的兴趣用于解决现实环境中的问题，深度强化学习作为深度学习和强化学习的结合，具有强化学习的优秀决策与深度学习的良好感知能力，能够自动提取各图像特征并通过强化学习训练给出明智的决策，在过往的工作中，深度强化学习主要用于游戏闯关训练以及棋类博弈，更多人期待它能够在实践领域中展现出实际应用，而智能工厂下的动态生产作业调度就是一个极好的实践环境。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度强化学习的智能工厂生产作业调度方法及系统，能够实现对当前生产作业快速且高效的调度。

为实现上述目的，本发明采用如下技术方案：