[发明专利]数据处理系统、方法、计算机设备、存储介质

权利要求书

1.一种数据处理系统，其特征在于，所述系统包括：存储层、调度模块和微服务模块；

所述存储层，用于存储需要批量处理的数据以及进行处理数据时的过程信息；

所述调度模块，用于从所述存储层中获取需要批量处理的数据，对需要批量处理的数据进行分区处理，并将分区处理后的需要批量处理的数据通过远程调用的方式发送给微服务模块；

所述微服务模块，用于根据每类需要批量处理的数据对应的业务场景构建对应的微服务，利用所述微服务对分区处理后的需要批量处理的数据执行数据处理任务，得到数据处理结果；在数据处理结果为异常的情况下，根据所述业务场景对所述数据处理结果进行划分，确定异常类型；选择与所述异常类型对应的异常处理方法对所述异常类型进行异常处理；异常处理后，继续执行数据处理任务。

2.根据权利要求1所述的系统，其特征在于，所述异常类型，包括：可跳过的不可重试异常、可跳过的同步重试异常、可跳过的异步重试异常、可跳过的先同步重试异常再异步重试异常、不可跳过的不可重试异常、不可跳过的同步重试异常、不可跳过的异步重试异常、不可跳过的先同步重试异常再异步重试异常；

所述微服务模块，还用于：当存在同步重试的异常时，进行轮询重试，当重试次数超过预先设置的次数阈值时，若继续存在异常，则将对应的异常信息存储至所述存储层；

当存在异步重试的异常时，将对应的异常信息返回至所述调度模块，以指示所述调度模块根据预先设置的异步重试次数阈值、重试时间间隔以及异步重试停止时间节点进行轮询重试，当轮询重试的次数达到预先设置的异步重试次数阈值，和/或，轮询重试的时间达到异步重试停止时间节点时，若继续存在异常，则将对应的异常信息存储至所述存储层。

3.根据权利要求1所述的系统，其特征在于，所述微服务模块，还用于：计算所述异常的数据处理结果对应的容错率，在所述容错率满足预先设置的容错率阈值的情况下，停止进行数据处理任务并进行告警。

4.根据权利要求1所述的系统，其特征在于，所述调度模块，包括：调度单元和执行单元，所述调度单元和执行单元之间通过消息队列进行传输需要批量处理的数据；

所述调度单元，用于配置所述数据处理任务以及对应的任务参数，从所述存储层中获取数据处理任务对应的需要批量处理的数据；通过远程分区模块对数据处理任务对应的需要批量处理的数据进行分区处理，将分区处理后得到的需要批量处理的数据对应的识别号存储至所述消息队列中；

所述执行单元，用于利用所述消息队列获取所述识别号，根据所述识别号从所述存储层中获取对应的数据，将分区处理后得到的需要批量处理的数据按照预设的数据量进行分包处理，将分包后的需要批量处理的数据按照远程调用的方式发送给所述微服务模块。

5.根据权利要求4所述的系统，其特征在于，所述消息队列，包括：MQ消息队列，其中，所述MQ消息队列采用先进先出的数据结构。

6.根据权利要求4所述的系统，其特征在于，所述微服务模块，还用于根据所述任务参数调用对应的数据处理方法对所述数据处理任务进行处理，所述任务参数包括：需要调用的服务名称、实现方式类名称、预先设置的容错率阈值；当所述数据处理任务完成后，将数据处理任务完成的结果反馈给所述执行单元。

7.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括：调度模块和微服务模块，所述方法包括：

获取调度模块通过远程调用的方式发送的分区处理后的需要批量处理的数据，根据每类需要批量处理的数据对应的业务场景构建对应的微服务；

利用所述微服务对分区处理后的需要批量处理的数据执行数据处理任务，得到数据处理结果；

在数据处理结果为异常的情况下，根据所述业务场景对所述数据处理结果进行划分，确定异常类型；

选择与所述异常类型对应的异常处理方法对所述异常类型进行异常处理；异常处理后，继续对执行数据处理任务。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7所述的方法的步骤。