[发明专利]一种任务处理方法和装置

说明书

本发明公开了一种任务处理方法和装置，涉及大数据技术领域。该方法的一具体实施方式包括：确定待执行的批处理任务，从所述批处理任务的属性中获取分片参数，判断所述分片参数是否设置为预设数值；若判断结果为是，则确定处理所述多个数据的多个设备，将不同数据分别分配给相应设备进行处理，汇总处理结果，得到执行结果；若判断结果为否，则确定一同处理所述多个数据的一个设备，将所述多个数据一同分配给所述一个设备进行处理，得到执行结果。该实施方式能够实现机构(如银行系统)各种批处理需求的快速处理，简化了批处理的开发及运维处理。

技术领域

本发明涉及大数据技术领域，尤其涉及一种任务处理方法和装置。

背景技术

随着技术的发展和银行业务的不断推陈出新，银行系统需要进行批处理的业务数据也随之增多，且数据种类繁多，处理流程复杂。如何能较快速、稳定、灵活的对数据进行批处理，对现有批处理进行平滑过渡，是当前需要考虑的问题。

目前已有多种技术方案提供有对数据进行批处理的功能，如Kettle、DataStage，主要使用DataStage处理，但这些方案各有一定的不足，如开发流程复杂、可维护性较长、配置不便等。

以DataStage为例，在新开发一个批处理作业时，通过在DataStage中增加一个作业，然后在Control-M中新增一个调度，调用开发的批处理作业。Control-M调度支持按天执行的调度配置，对于需要一天执行多次的批处理作业，支持较弱。数据处理模式使用传统ETL方式进行处理，对事务支持较弱，若作业流程包含多个步骤，在作业执行出现错误时，难以追踪错误的具体原因。另外，对于已有批量作业，处理流程链复杂，当需修改优化时，难易进行修改。

发明内容

有鉴于此，本发明实施例提供一种任务处理方法和装置，至少能够解决现有技术中现有任务批处理存在开发流程复杂、可维护性较长、配置不便等问题的现象。

为实现上述目的，根据本发明实施例的一个方面，提供了一种任务处理方法，包括：

确定待执行的批处理任务，从所述批处理任务的属性中获取分片参数，判断所述分片参数是否设置为预设数值；其中，一个批处理任务包含待处理的多个数据；

若判断结果为是，则确定处理所述多个数据的多个设备，将不同数据分别分配给相应设备进行处理，汇总处理结果，得到执行结果；或

若判断结果为否，则确定一同处理所述多个数据的一个设备，将所述多个数据一同分配给所述一个设备进行处理，得到执行结果。

可选的，所述确定处理所述多个数据的多个设备，包括：

采用哈希算法，根据每个设备当前的处理器利用率和内存使用率、所述批处理任务中待处理的数据量，计算每个设备被分配的数据量。

可选的，所述确定一同处理所述多个数据的一个设备，包括：

从多个设备中筛选出当前负载最小的一个设备，将所述一个设备作为一同处理所述多个数据的目标设备。

可选的，所述确定一同处理所述多个数据的一个设备，包括：

确定历史处理所述批处理任务的一个或多个设备，统计所述批处理任务的历史执行时长、以及每个处理所述批处理任务时的处理器利用率，进而计算每个设备的权重值；

从所述一个或多个设备中筛选出权重值最大的一个设备，将所述一个设备作为一同处理所述多个数据的目标设备。

可选的，所述将不同数据分别分配给相应设备进行处理、或将所述多个数据一同分配给所述一个设备进行处理，包括：

从所述批处理任务的属性中获取串行参数，判断所述串行参数是否设置为第一预设数值；其中，串行参数对应批处理任务的多次执行实例，每执行一次批处理任务生成一个实例；