[发明专利]任务调度系统、方法和服务器

说明书

本发明提供了一种任务调度系统、方法和服务器，其中，该系统包括第一任务派发模块和多个任务执行模块；第一任务派发模块与多个任务执行模块通信连接；第一任务派发模块用于存储待执行任务；多个任务执行模块用于从第一任务派发模块中获取待执行任务，通过获取到待执行任务的任务执行模块，执行待执行任务。本发明通过多个任务执行模块从第一任务派发模块中获取待执行任务，相较于任务队列按照工作节点的排列顺序将各个任务分配给各个工作节点的方式，该方式中的任务执行模块主动获取任务，从而提高了任务分配的灵活性，且任务执行模块可根据自身的工作状态获取任务，有利于提高任务分配的合理性。

技术领域

本发明涉及大数据处理技术领域，尤其是涉及一种任务调度系统、方法和服务器。

背景技术

相关技术中的任务调度系统，通常将任务存储于数据库中，由调度节点从数据库中获取任务，然后将获取到的任务发送至任务队列，该任务队列将各个任务分配给各个工作节点，在分配任务的过程中，通常是按照工作节点的排列顺序进行分配的，导致任务分配的灵活性较差，且难以合理分配任务。

发明内容

本发明的目的在于提供一种任务调度系统、方法和服务器，以提高任务分配的灵活性和合理性。

第一方面，本发明实施例提供一种任务调度系统，该系统包括第一任务派发模块和多个任务执行模块；该第一任务派发模块与多个任务执行模块通信连接；第一任务派发模块用于存储待执行任务；多个任务执行模块用于：从第一任务派发模块中获取待执行任务，通过获取到待执行任务的任务执行模块，执行待执行任务。

在可选的实施方式中，上述第一任务派发模块中预设有多级任务存储目录，用于存储待执行任务；该第一任务派发模块还用于：从预设的数据库获取待执行任务；根据待执行任务的任务属性，从任务存储目录中确定目标路径，将待执行任务添加至任务存储目录中的目标路径。

在可选的实施方式中，上述多个任务执行模块还用于：每个任务执行模块均监听第一任务派发模块中是否添加新的待执行任务，如果监听到添加新的待执行任务，获取新的待执行任务；其中，多个任务执行模块中最多一个任务执行模块获取到新的待执行任务；通过获取到新的待执行任务的任务执行模块，执行新的待执行任务。

在可选的实施方式中，上述第一任务派发模块还用于：将执行待执行任务的任务执行模块的模块标识，与待执行任务关联保存。

在可选的实施方式中，上述多个任务执行模块中，任意两个任务执行模块通信连接；多个任务执行模块中的每个任务执行模块，用于：监听除当前任务执行模块以外的目标任务执行模块的任务执行状态；如果目标任务执行模块的任务执行状态满足第一预设条件，并且当前任务执行模块的任务执行状态满足第二预设条件，执行目标任务执行模块中的指定任务。

在可选的实施方式中，上述第一任务派发模块中的任务存储目录，包括Zookeeper模式的任务存储目录和/或ETCD模式的任务存储目录。

在可选的实施方式中，上述系统还包括第二任务派发模块；该第二任务派发模块用于：从预设的数据库获取待执行任务；通过预设的派发器，将待执行任务分配至多个任务执行模块中的一个任务执行模块，以通过分配到待执行任务的任务执行模块，执行待执行任务。

在可选的实施方式中，上述系统还包括任务管理器；该任务管理器分别与数据库、第一任务派发模块和第二任务派发模块通信连接；该任务管理器用于从数据库获取待执行任务，向第一任务派发模块和/或第二任务派发模块分别发布待执行任务。

第二方面，本发明实施例提供一种任务调度方法，该方法应用于前述实施方式任一项所述的任务调度系统；该方法包括：获取待执行任务，并将该待执行任务存储至第一任务派发模块；通过多个任务执行模块从第一任务派发模块中获取待执行任务，以执行待执行任务。