[发明专利]任务分布式处理方法、装置、存储介质和服务器

说明书

本发明涉及一种任务分布式处理方法、装置、存储介质和服务器,应用于分布式任务调度系统中，所述分布式任务调度系统包括服务器和多个终端，所述服务器为所述分布式任务调度系统中的主控节点，每个所述终端为所述分布式任务调度系统中的执行节点。所述方法包括：服务器接收终端发送的任务处理请求；选取至少一个待分配状态的任务，将选取的任务分配给所述终端进行处理；接收所述终端反馈的任务处理结果；根据所述任务处理结果修改对应任务的任务状态。上述任务分布式处理方法、装置、存储介质和服务器，可提高任务处理的效率。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种任务分布式处理方法、装置、存储介质和服务器。

背景技术

分布式计算系统通常都需要处理计算大量的任务，如需要进行统计日志报表、编译应用程序、解析Crash等。而处理这些分布式需要占用大量的服务器资源。

传统方法中，分布式计算系统基本上都是架设在服务器集群上，基于Zookeeper将待处理的任务分配至服务器上的各个节点进行处理，使使得对任务的处理以及上分配进行优化，提高服务器的资源利用效率。然而服务器的资源终究是有限的，当需要处理的数据量较大、任务较多，甚至超过服务器的处理负荷时，传统的方法的任务处理效率并不高。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高任务处理效率的任务分布式处理方法、装置、存储介质和服务器。

一种任务分布式处理方法，应用于分布式任务调度系统中，所述分布式任务调度系统包括服务器和多个终端，所述服务器为所述分布式任务调度系统中的主控节点，每个所述终端为所述分布式任务调度系统中的执行节点；所述方法包括：所述服务器接收所述终端发送的任务处理请求；选取至少一个待分配状态的任务，将选取的任务分配给所述终端进行处理；接收所述终端反馈的任务处理结果；根据所述任务处理结果修改对应任务的任务状态。

在其中一个实施例中，所述选取至少一个待分配状态的任务，包括：选取至少一个待分配状态的任务标识；从主数据库中读取每个任务标识对应的任务，当从所述主数据库读取失败时，从备用数据库中读取每个任务标识对应的任务。

在其中一个实施例中，所述任务处理请求中携带所述终端的互联网协议地址；所述将选取的任务分配给所述终端进行处理，包括：根据所述互联网协议地址，将选取的任务分配给所述终端进行处理。

在其中一个实施例中，在所述将选取的任务分配给所述终端进行处理之后，包括：接收所述终端发送的心跳包，以根据所述心跳包确定所述终端正在处理所述选取的任务。

在其中一个实施例中，在所述将选取的任务分配给所述终端进行处理之后，包括：检测是否在预设时长之内接收到所述任务处理结果，若否，则将所述选取的任务重新分配给其它发送任务处理请求的终端进行处理。

在其中一个实施例中，所述方法还包括：统计每个终端完成的任务数量，根据完成的任务数量对终端进行排序。

一种应用于分布式任务调度系统中的任务分布式处理装置，所述装置包括：请求接收模块，用于接收终端发送的任务处理请求，所述终端为所述分布式任务调度系统中的执行节点；任务分配模块，用于选取至少一个待分配状态的任务，将选取的任务分配给所述终端进行处理；任务状态修改模块，用于接收所述终端反馈的任务处理结果；根据所述任务处理结果修改对应任务的任务状态。

在其中一个实施例中，所述任务分配模块还用于选取至少一个待分配状态的任务标识；从主数据库中读取每个任务标识对应的任务，当从所述主数据库读取失败时，从备用数据库中读取每个任务标识对应的任务。