[发明专利]数据处理方法、装置、系统、计算机可读存储介质

说明书

本公开提供一种数据处理方法，包括：从至少一个父任务数据中获取目标父任务数据，其中，至少一个父任务数据中的每个父任务数据均包括与配置数据相匹配的父任务类型标识；根据目标父任务的目标父任务类型标识，确定与目标父任务类型标识相匹配的目标配置数据，其中，目标配置数据表征针对目标父任务数据的处理方式；根据目标配置数据，处理目标父任务数据得到多个子任务数据；将多个子任务数据发送至多个子服务器中进行处理。本公开还提供了一种数据处理装置、一种数据处理系统以及一种计算机可读存储介质。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种数据处理方法、一种数据处理装置、一种数据处理系统、以及一种计算机可读存储介质。

背景技术

在日常生产中，为了提升异步业务的处理速度，一个完整的业务会被拆分成多个子任务并行处理。目前现有的数据处理方法包括由异步业务基于一个业务创建多个子任务数据，并将多个子任务数据添加至数据库中，由多个子任务处理服务器定时查询数据库中新添加的子任务数据，当查询到子任务数据后由子任务处理服务器处理子任务数据，处理成功后删除对应的子任务数据。或者，由异步业务创建多个子任务，并将多个子任务数据封装成消息发送到消息队列中，由指定的子任务处理服务器接收多个子任务数据后处理该指定子任务处理服务器可以处理的子任务，再将任务数据(包括未处理的子任务数据)发回到消息队列中，继续指定其他子任务处理服务器进行处理。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题，相关技术中数据处理流程的可扩展性低，当业务需要添加新的子任务时必须要修改现有逻辑，并且增加了数据库的读写压力，数据处理过程对消息队列有较强依赖的关系，如果消息队列宕机或消息队列积压，整个业务处理将受到影响。

发明内容

有鉴于此，本公开提供了一种优化的数据处理方法、数据处理装置、数据处理系统和计算机可读存储介质。

本公开的一个方面提供了一种数据处理方法，包括：从至少一个父任务数据中获取目标父任务数据，其中，所述至少一个父任务数据中的每个父任务数据均包括与配置数据相匹配的父任务类型标识，根据所述目标父任务的目标父任务类型标识，确定与所述目标父任务类型标识相匹配的目标配置数据，其中，所述目标配置数据表征针对所述目标父任务数据的处理方式，根据所述目标配置数据，处理所述目标父任务数据得到多个子任务数据，将所述多个子任务数据发送至多个子服务器中进行处理。

根据本公开实施例，上述方法还包括：在处理所述目标父任务数据得到多个子任务数据之后，将所述目标父任务类型标识和子任务类型标识列表作为校验信息存储于校验缓存单元，其中，所述子任务类型标识列表包括所述多个子任务数据中每个子任务数据的子任务类型标识。在经由处理所述目标父任务数据得到多个子任务数据的预设时间段后，通过校验服务器从所述校验缓存单元中获取所述校验信息，并通过所述校验服务器删除存储于所述校验缓存单元的所述校验信息。通过所述校验服务器根据所述校验信息校验所述多个子任务数据的处理状态。

根据本公开实施例，处理所述目标父任务数据得到的多个子任务数据分别存储于多个缓存单元中，所述方法还包括以下至少一项：通过所述多个子服务器处理所述多个子任务数据，并将处理成功的子任务数据存储至执行成功存储单元中，并删除存储于缓存单元中处理成功的子任务数据，以及通过所述多个子服务器处理所述多个子任务数据，并将处理失败的子任务数据存储至失败待重试存储单元中，并删除存储于缓存单元中处理失败的子任务数据。

根据本公开实施例，上述根据所述校验信息校验所述多个子任务数据的处理状态包括：基于所述校验信息中的目标父任务类型标识，确定所述目标配置数据中关于目标父任务数据的预定重试次数，其中，所述多个子任务数据中每个子任务数据均能够被按照所述预定重试次数重新处理。确定存储于所述失败待重试存储单元中的子任务数据的已重试次数。根据所述预定重试次数和所述已重试次数，确定是否重新处理存储于所述失败待重试存储单元中的子任务数据。