[发明专利]数据批处理的方法和装置

权利要求书

1.一种数据批处理的方法，其特征在于，包括：

创建批处理任务对应的批处理统计实例；其中，所述批处理统计实例用于记录所述批处理任务的执行过程的统计信息；

以所述批处理统计实例作为输入参数，调用批处理对象执行所述批处理任务，得到所述批处理任务的执行结果；其中，所述批处理对象，包括由批处理过程进行逻辑抽象后得到的批处理开发框架，以及针对所述批处理任务实现的至少一个处理器。

2.根据权利要求1所述的方法，其特征在于，所述针对所述批处理任务实现的至少一个处理器，包括批处理初始化器，数据读取器，单笔交易处理器，多笔交易后处理器，批后处理器和异常处理器；

其中，所述以所述批处理统计实例作为输入参数，调用批处理对象执行所述批处理任务，得到所述批处理任务的执行结果，包括：

以所述批处理统计实例作为输入参数，调用所述批处理初始化器执行批处理任务初始化；

以所述批处理统计实例作为输入参数执行批量过程，以获得所述批处理任务的执行结果；其中，所述批量过程被执行时，用于调用所述数据读取器、所述单笔交易处理器、所述多笔交易后处理器和所述异常处理器处理目标交易数据；所述目标交易数据指所述批处理任务所针对的交易数据；

以所述批处理统计实例作为输入参数，调用所述批后处理器对所述批处理任务的执行结果进行后处理；

清理批处理上下文，并关闭所述批处理对象对外部资源的访问；其中，所述批处理上下文，是在所述批处理任务的执行过程中产生的上下文数据。

3.根据权利要求2所述的方法，其特征在于，所述以所述批处理统计实例作为输入参数执行批量过程，以获得所述批处理任务的执行结果，包括：

将批处理调用次数初始化为1；

判断所述批处理调用次数是否溢出；

若所述批处理调用次数未溢出，以所述批处理统计实例和所述批处理调用次数调用子批量处理过程，以获得所述批处理任务的子执行结果；其中，所述子批量处理过程被调用时，用于调用所述数据读取器、所述单笔交易处理器、所述多笔交易后处理器和所述异常处理器处理所述目标交易数据中的一部分；

判断是否存在未被处理的所述目标交易数据；

若存在未被处理的所述目标交易数据，将所述批处理调用次数加1，返回执行所述判断所述批处理调用次数是否溢出步骤；

若不存在未被处理的所述目标交易数据，结束所述批量过程；

若所述批处理调用次数溢出，结束所述批量过程。

4.根据权利要求3所述的方法，其特征在于，所述以所述批处理统计实例和所述批处理调用次数调用子批量处理过程，以获得所述批处理任务的子执行结果，包括：

调用所述数据读取器读取部分所述目标交易数据；

根据核心线程数量，将读数据划分为多个数据分组，并为每一个核心线程配置一个对应的数据分组；其中，所述读数据指代所述数据读取器读取得到的部分所述目标交易数据；数据分组的个数与所述核心线程数量一致；

针对每一个所述核心线程，利用所述核心线程调用多笔交易处理过程处理所述核心线程对应的数据分组，得到所述核心线程的处理结果，并将每一个所述核心线程的处理结果合并为所述批处理任务的子执行结果；其中，所述多笔交易处理过程被调用时，用于调用所述单笔交易处理器、所述多笔交易后处理器和所述异常处理器处理所述核心线程对应的线程分组；

返回剩余数据标识；其中，所述剩余数据标识用于判断是否存在未被处理的所述目标交易数据。