[发明专利]用于为多个机器调度作业集合的设备和方法

说明书

提供了用于为多个机器调度作业集合的设备和方法。用于为多个机器调度作业集合的方法，其中每个作业由表征作业的处理时间的至少一个特征来定义，其中如果任何机器空闲，则从作业集合选择一个作业来由所述机器实行并为所述机器调度所述作业，其中如下选择所述作业：图神经网络接收作业集合和至少空闲的机器的当前状态作为输入，图神经网络如果在机器上启动，则输出每个作业的奖励，状态被输入到图神经网络中，并且取决于图神经网络输出来选择用于空闲机器的作业。

技术领域

本发明涉及一种用于机器、特别是生产机器的作业调度器，用于经由图神经网络连续选择作业。本发明进一步涉及被配置为实行作业调度器的计算机程序和机器可读存储介质以及系统。

背景技术

先前技术

生产量或资源利用率的优化具有挑战性，并具有对于制造工厂中的极大成本节省的潜力和对于增加生产率的极大潜力。

一个挑战在于问题的组合性质。存在许多可能的调度，并且找到最佳调度的问题通常是NP难的。另一个挑战是它的在线（或动态）性质。附加任务在当前调度执行期间到达。到达的作业的特性在它们到达之前不是确知的。

Mao等人（https://arxiv.org/abs/1810.01963）使用利用图卷积嵌入的强化学习算法REINFORCE以用于在集群上进行作业调度。

本发明的优点

本发明公开了一种作业调度器，该作业调度器基于强化学习，并且优选地进一步基于全局搜索，更精确地，通过组合用DQN（深度Q网络）算法以及用MCTS（蒙特卡罗树搜索）训练的图卷积网络。

优点如下给出：（1）当需要快速做出调度决策时，所述作业调度器具有良好的性能。在这种情况下，没有时间进行搜索，并且建议仅基于DQN的价值网络创建调度。实验已经示出，由DQN价值网络创建的调度已经优于用于调度（诸如基于规则的调度）的标准启发式方法，例如加权最短处理时间启发法。（2）所述作业调度器可以完全利用任何可用的时间来进行审议。当一些时间对于经由MCTS优化调度可用时。由于MCTS是随时（anytime）算法，因此它可以在任何时间停止，并产生输出调度。因为使用DQN的价值网络的输出作为搜索启发法，所以输出的调度至少与仅由价值网络产生的调度一样好。MCTS运行得越久，输出就持续改进。给出足够的时间，MCTS可以达到最优调度。（3）所述作业调度器可以将关于附加任务如何随时间到达的信息考虑在内。

发明内容

在本发明的第一方面，公开了一种用于调度多个作业的方法。优选地，它是计算机实现的方法。

特别是在时隙内将工作分配和/或排序给作为机器的工业执行器可以称为调度。作业集合包含不得不被实行且当前等待被实行的所有作业。作业可以理解为不得不被机器实行的任务。多个机器可以是相同或相似的机器，并且可以并行操作。机器可以全部在一个工厂中，或者分布在几个工厂之内。

每个作业至少由表征作业处理时间的第一特征来定义。处理时间可以是机器需要以便履行对应作业的持续时间。可选地，第二特征表征了作业的重要性。

如果任何机器空闲，则从作业集合选择一个作业来由所述机器实行并为所述机器调度所述作业。理想地，选择作业使得作业集合的总完成时间最小化。在空闲机器下，可以理解为机器已经完成其当前作业/当前作业被取消并且机器能够开始新的作业，或者机器没有开始任何作业。如果机器实行作业，则该机器的对应状态可以称为被占用。

如下选择作业。图神经网络（GNN）接收作业集合和至少空闲的机器的当前状态作为输入。GNN被训练来估计当实行一项作业时将获得的奖励，使得总完成时间被最小化。更精确地，GNN被训练成对于作业集合的小的完成时间输出高的奖励。