[发明专利]数据处理系统、方法、计算机设备、存储介质

说明书

本公开涉及一种数据处理系统、方法、计算机设备、存储介质。所述系统包括：存储层、调度模块和微服务模块；调度模块，用于从存储层中获取需要批量处理的数据，对需要批量处理的数据进行分区处理，并将分区处理后的需要批量处理的数据通过远程调用的方式发送给微服务模块；微服务模块，用于根据每类需要批量处理的数据对应的业务场景构建对应的微服务，利用微服务对分区处理后的需要批量处理的数据执行数据处理任务，得到数据处理结果；在数据处理结果为异常的情况下，根据业务场景对所述数据处理结果进行划分，确定异常类型；选择与异常类型对应的异常处理方法进行异常处理。能够在跑批处理时，不会由于个别任务异常，导致跑批过程中断。

技术领域

本公开涉及数据处理技术领域，特别是涉及一种数据处理系统、方法、计算机设备、存储介质。

背景技术

随着大数据的发展，应用系统业务数据的规模不断扩大，为了更好的利用业务数据，需要对业务数据进行批量处理，即跑批。

目前，跑批的数据来源多个系统，业务种类多，数量大，处理逻辑复杂，易出现问题。而在涉及大批量数据集中处理过程中，主要采用了分布式集群处理的方式，但是在跑批任务处理过程中，经常会因为个别的任务数据的异常，导致整个跑批过程中断，造成系统资源浪费、运维成本高，因此目前的系统的自愈性和容错性较差，给业务的正常开展带来很大的影响、同时提高了运维人员的维护成本。

发明内容

基于此，有必要针对上述技术问题，提供一种在跑批处理时，不会由于个别任务异常，导致跑批过程中断的数据处理系统、方法、计算机设备、存储介质。

第一方面，本公开提供了一种数据处理方法。所述系统，包括：

所述存储层，用于存储需要批量处理的数据以及进行处理数据时的过程信息；

所述调度模块，用于从所述存储层中获取需要批量处理的数据，对需要批量处理的数据进行分区处理，并将分区处理后的需要批量处理的数据通过远程调用的方式发送给微服务模块；

所述微服务模块，用于根据每类需要批量处理的数据对应的业务场景构建对应的微服务，利用所述微服务对分区处理后的需要批量处理的数据执行数据处理任务，得到数据处理结果；在数据处理结果为异常的情况下，根据所述业务场景对所述数据处理结果进行划分，确定异常类型；选择与所述异常类型对应的异常处理方法对所述异常类型进行异常处理；异常处理后，继续执行数据处理任务。

在其中一个实施例中，所述异常类型，包括：可跳过的不可重试异常、可跳过的同步重试异常、可跳过的异步重试异常、可跳过的先同步重试异常再异步重试异常、不可跳过的不可重试异常、不可跳过的同步重试异常、不可跳过的异步重试异常、不可跳过的先同步重试异常再异步重试异常；

所述微服务模块，还用于：当存在同步重试的异常时，进行轮询重试，当重试次数超过预先设置的次数阈值时，若继续存在异常，则将对应的异常信息存储至所述存储层；

当存在异步重试的异常时，将对应的异常信息返回至所述调度模块，以指示所述调度模块根据预先设置的异步重试次数阈值、重试时间间隔以及异步重试停止时间节点进行轮询重试，当轮询重试的次数达到预先设置的异步重试次数阈值，和/或，轮询重试的时间达到异步重试停止时间节点时，若继续存在异常，则将对应的异常信息存储至所述存储层。

在其中一个实施例中，所述微服务模块，还用于：计算所述异常的数据处理结果对应的容错率，在所述容错率满足预先设置的容错率阈值的情况下，停止进行数据处理任务并进行告警。

在其中一个实施例中，所述调度模块，包括：调度单元和执行单元，所述调度单元和执行单元之间通过消息队列进行传输需要批量处理的数据；