[发明专利]一种任务处理方法和装置

权利要求书

1.一种任务处理方法，其特征在于，包括：

确定待执行的批处理任务，从所述批处理任务的属性中获取分片参数，判断所述分片参数是否设置为预设数值；其中，一个批处理任务包含待处理的多个数据；

若判断结果为是，则确定处理所述多个数据的多个设备，将不同数据分别分配给相应设备进行处理，汇总处理结果，得到执行结果；或

若判断结果为否，则确定一同处理所述多个数据的一个设备，将所述多个数据一同分配给所述一个设备进行处理，得到执行结果。

2.根据权利要求1所述的方法，其特征在于，所述确定处理所述多个数据的多个设备，包括：

采用哈希算法，根据每个设备当前的处理器利用率和内存使用率、所述批处理任务中待处理的数据量，计算每个设备被分配的数据量。

3.根据权利要求1所述的方法，其特征在于，所述确定一同处理所述多个数据的一个设备，包括：

从多个设备中筛选出当前负载最小的一个设备，将所述一个设备作为一同处理所述多个数据的目标设备。

4.根据权利要求1所述的方法，其特征在于，所述确定一同处理所述多个数据的一个设备，包括：

确定历史处理所述批处理任务的一个或多个设备，统计所述批处理任务的历史执行时长、以及每个处理所述批处理任务时的处理器利用率，进而计算每个设备的权重值；

从所述一个或多个设备中筛选出权重值最大的一个设备，将所述一个设备作为一同处理所述多个数据的目标设备。

5.根据权利要求1所述的方法，其特征在于，所述将不同数据分别分配给相应设备进行处理、或将所述多个数据一同分配给所述一个设备进行处理，包括：

从所述批处理任务的属性中获取串行参数，判断所述串行参数是否设置为第一预设数值；其中，串行参数对应批处理任务的多次执行实例，每执行一次批处理任务生成一个实例；

若判断结果为是，则在达到所述批处理任务的任务执行周期时，处理数据；或

若判断结果为否，则获取前一次执行所述批处理任务的实例的执行状态，在执行状态为执行完毕的情况下再处理数据。

6.根据权利要求5所述的方法，其特征在于，所述在执行状态为执行完毕的情况下再处理数据，还包括：

对于一同处理所述多个数据的情况，若在达到所述批处理任务的执行周期时，所述执行状态为未执行完毕，则重新确定一同处理所述多个数据的另一个设备。

7.根据权利要求1所述的方法，其特征在于，还包括：

从数据库/操作路径中拉取待执行的多个批处理任务，并按照拉取顺序排列，以生成所述待执行任务队列。

8.根据权利要求7所述的方法，其特征在于，还包括：当待处理数据为文件时，基于检查周期检查所述操作路径下是否存在文件，若不存在，则执行等待文件操作。

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述属性还包括任务编号、名称、可执行时段和任务参数；其中，任务参数包括任务执行时所需的特定参数。

10.根据权利要求9所述的方法，其特征在于，还包括：

判断当前时间段是否处于所述可执行时段内，若不处于，则执行等待操作。

11.根据权利要求1所述的方法，其特征在于，还包括：

在执行所述批处理任务的过程中，利用监听机制监控执行状态，若出现异常，则记录异常数据、异常原因和操作设备，生成任务执行异常日志。

12.根据权利要求11所述的方法，其特征在于，在所述生成任务执行异常日志之后，还包括：

响应于对所述任务执行异常日志的打开，根据所述异常数据和异常原因，定位异常执行步骤；其中，一个批处理任务包括多个执行步骤。