[发明专利]基于深度强化学习的云订单动态接受与调度方法

说明书

本发明公开了一种基于深度强化学习的云订单动态接受与调度方法，按如下步骤：步骤一，接单智能体根据车间的信息反馈，以最大利润为目标制定订单接受策略；步骤二，当云订单接受后，排单智能体将当前时刻剩余工序和云订单以最小拖期时间和最小扰动为整合目标重调度；调度结束后将车间的生产能力反馈给接单智能体。本发明可对动态到达的云订单实现调度优化，能在正常生产自有订单的同时提高车间资源利用率，提升企业的利润。

技术领域

本发明涉及一种基于深度强化学习的云订单动态接受与调度方法。

背景技术

云制造是利用网络和服务平台，为顾客需求提供各类按需制造服务的一种智能化制造新模式。云制造具有“分散资源集中使用”和“集中资源分散服务”的特点，为企业和顾客提供制造能力，实现资源共享。云平台接收到制造任务后，寻找符合用户需求的生产企业，高效的服务资源分配方法才能保障云制造模式推广与应用。云制造环境下，企业如何分配资源，适应动态到达的订单，提高自身的利润，成为企业参与云制造模式关注的关键核心问题之一。现有的研究大多集中在有关云制造平台的架构、功能、技术实现等方面，关于云制造背景下企业车间的生产调度问题的研究还较为缺乏。

参与云制造的生产型企业的订单可以分为两类：其自有订单和云订单，其中自有订单可视为是确定的，而云订单具有极高的不确定性。顾客将订单提交至云平台，平台将订单分配给合适的企业，企业对该订单是否接收做出决策，以及安排接收的订单进行生产。在接收云订单后，企业根据其自身的剩余能力安排所有订单的最佳调度方案，使得利润最高。因此，对于云制造环境下的企业该如何协同生产两类订单，合理调度优化企业的生产资源分配，对提高企业自身利润有着重要的意义，也是企业参与云制造后亟待解决的关键问题。

近年来，关于订单接受与调度问题已取得了较好的研究成果。根据云订单的插入方式可将这类问题分为静态调度和动态调度两类，静态调度为云订单不会改变自有订单的生产，动态调度为云订单与未开始生产的初始调度方案重调度。动态环境下的订单接受与调度问题的研究面临以下一些挑战：

(1)订单不确定性，订单的到达时间、加工数量、交货期、价格等信息的不确定，使得企业难以结合未来订单到达情况，对当前订单做出决策。例如，企业接收某个利润较小的云订单A后，又有某个利润较大的云订单B到达，但接收订单A后，车间已经没有能力接收订单B，导致损失部分利润。若如果拒绝订单A，可能造成较长时间等待利润高的订单，导致企业资源浪费。Emmami等在平行机加工环境中，考虑了订单交货期、收益、延误惩罚和所需安装时间等信息不确定情况下，订单接受和调度集成优化问题。Wang等在订单的价格、加工时间、交货期等不确定情况下，研究了企业计划期之前双机流水作业车间的订单接受和排序问题，提出一种改进启发式算法和分支定界算法。

(2)对车间生产的扰动性，在云订单未到达之前，企业的自有订单已经生成调度方案，对于动态调度问题，接收云订单会扰动车间原有的调度方案，人员、机器设备和物料等的变动会加大企业生产的管理难度。Moratori等对现行的计划表中插入新的订单进行了研究，为了保持调度的有效性以及车间生产的稳定性，提出了新的有效匹配策略。严浩云等建立了订单重排问题的混合整数规划模型，并采用一种基于动态规划思想的启发式求解方法，有效解决了紧急订单的插单问题。

(3)交货期的敏感性，当订单未在截止时间交货时，不仅会产生延期成本，还会损失企业的信誉。所以企业接单时，需要充分考虑剩余生产能力能否在交货期内完成订单。Slotnick等研究了在生产能力有限，订单因延迟交货而获得折扣，但提前交货不受惩罚或奖励的情况下的订单接受决策问题，并利用基于松弛法的启发式算法解决。Cesaret等提出了禁忌搜索算法，用于解决考虑了拖期惩罚的单机订单接受和排序问题。Xiao等针对流水作业生产线上，企业面临的订单接收和加权拖期的排列流水线作业调度问题，采用部分优化的启发式模拟退火算法。