[发明专利]一种任务调度方法、系统、计算设备和存储介质

说明书

本发明公开了一种任务调度方法、系统、计算设备和存储介质，该方法包括：多个任务处理节点向调度节点发送注册请求；调度节点查询任务调度表中是否包含有待执行任务，若查询到待执行任务，则对多个任务处理节点进行注册，生成节点注册信息；调度节点获取待执行任务对应的待处理数据，根据待处理数据的数量和节点注册信息拆分待处理数据，并将拆分后的待处理数据分配给多个任务处理节点进行处理。本发明通过调度节点将待执行任务动态调度多个任务处理节点，通过多个任务处理节点并发处理数据，避免多个任务处理节点之间竞争处理任务或重复处理任务的情况发生，从而大大提高数据处理的效率，提高大批量数据处理的效率和健壮性。

技术领域

本发明涉及数据处理技术领域，具体涉及一种任务调度方法、系统、计算设备和存储介质。

背景技术

在云运维平台建设过程中，需要对各种云资源、进程、服务等组件实例进行实时的采集和监控，随着云平台资源规模、技术服务数量以及客户规模越来越庞大，需要采集和监控的数据规模也呈指数级增长。现有技术中对于大规模数据进行采集时，采用定时任务的方式进行数据同步和比对，常用的方法一般有两种：第一种是定时任务部署在单个节点上，逐条对数据进行处理；第二种是定时任务部署在多个节点上，处理完一条数据后打上相应的标识，采用第二种方法每次处理数据前，需判断数据是否已被处理过。

然而，针对第一种方法，当待处理数据量比较大时，速度会比较慢，效率较低，同时处理过程中存在单节点故障风险，不具备高可用性；针对第二种方法，每次处理数据前，都需要先校验数据是否已被处理，而且存在多个节点同时查询一条未处理的数据的情况，有可能导致一条数据被多个节点同时处理的情况。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种任务调度方法、系统、计算设备和存储介质。

根据本发明的一个方面，提供了一种任务调度方法，包括：

多个任务处理节点向调度节点发送注册请求；

所述调度节点根据所述注册请求查询任务调度表中是否包含有待执行任务，若查询到待执行任务，则对多个任务处理节点进行注册，生成节点注册信息；

所述调度节点获取所述待执行任务对应的待处理数据，根据所述待处理数据的数量和所述节点注册信息拆分所述待处理数据，并将拆分后的待处理数据分配给多个任务处理节点进行处理。

根据本发明的另一方面，提供了一种任务调度系统，包括多个任务处理节点和调度节点；

其中所述多个任务处理节点用于向调度节点发送注册请求；

所述调度节点用于根据所述注册请求查询任务调度表中是否包含有待执行任务，若查询到待执行任务，则对多个任务处理节点进行注册，生成节点注册信息；以及，获取所述待执行任务对应的待处理数据，根据所述待处理数据的数量和所述节点注册信息拆分所述待处理数据，并将拆分后的待处理数据分配给多个任务处理节点进行处理。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述任务调度方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述任务调度方法对应的操作。