[发明专利]数据处理方法、装置、设备、介质和计算机程序产品

说明书

本发明涉及数据处理技术领域，特别涉及数据处理方法、装置、设备、介质和计算机程序产品。本发明的方法包括：接收待处理的数据；将接收到的所述数据进行逻辑拆分，以生成一个或多个处理任务；将所述一个或多个处理任务分发到一个或多个处理单元，以进行并行处理；从所述一个或多个处理单元接收所述一个或多个处理任务的处理结果；将接收到的所述一个或多个处理任务的处理结果进行逻辑整合，以形成接收到的所述数据的处理结果。本发明能够实现对业务处理无侵入性，能够根据集群规模提供线性化的批处理性能提升，并且能够实现拆分粒度的动态调整。

技术领域

本发明涉及数据处理技术领域，特别涉及数据处理方法、装置、设备、介质和计算机程序产品。

背景技术

目前，当面对大数据处理场景时，一种是使用传统的单任务处理模式，另一种是使用批处理模式。

其中，传统的单任务处理模式只能实现少量数据处理，而批处理模式虽然可以对数据进行批量处理和批量上传，但仍然无法满足海量数据的批处理要求。

因此亟待提高海量数据的处理效率，可以将海量数据进行逻辑拆分并且基于处理集群实现并行处理。

发明内容

本发明的目的在于提供数据处理方法、装置、设备、介质和计算机程序产品，能够实现对业务处理无侵入性，能够根据集群规模提供线性化的批处理性能提升，并且能够实现拆分粒度的动态调整。

本发明公开了一种数据处理方法，所述方法包括：

接收待处理的数据；

将接收到的所述数据进行逻辑拆分，以生成一个或多个处理任务；

将所述一个或多个处理任务分发到一个或多个处理单元，以进行并行处理；

从所述一个或多个处理单元接收所述一个或多个处理任务的处理结果；

将接收到的所述一个或多个处理任务的处理结果进行逻辑整合，以形成接收到的所述数据的处理结果。

可选地，将接收到的所述数据进行逻辑拆分，以形成一个或多个处理任务包括：

将接收到的所述数据逻辑拆分为一个或多个逻辑数据，每个逻辑数据包括对应的标识符，并且所述标识符包括对应的逻辑数据的开始位置、结束位置和处理规则；

基于所述一个或多个逻辑数据的一个或多个标识符，生成所述一个或多个处理任务。

可选地，每个处理单元基于对应的处理任务中的标识符，访问从对应的开始位置到对应的结束位置之间的对应的逻辑数据，并且使用对应的处理规则来处理所述逻辑数据，以生成所述处理任务的处理结果。

可选地，将接收到的所述一个或多个处理任务的处理结果进行逻辑整合，以形成接收到的所述数据的处理结果包括：

基于对应的处理任务中的标识符，将所述处理任务的处理结果按照对应的开始位置和对应的结束位置进行排序和逻辑整合，以形成接收到的所述数据的处理结果。

可选地，基于接收到的所述数据的数据类型和数据量，确定所述一个或多个处理任务的任务量。

可选地，接收到的所述数据包括批处理数据，每个批处理数据包括一个或多个数据步，并且对于每个数据步进行逻辑拆分。

本发明公开了一种数据处理装置，所述装置包括：

数据接收单元，用于接收待处理的数据；

逻辑拆分单元，用于将接收到的所述数据进行逻辑拆分，以生成一个或多个处理任务；

任务分发单元，用于将所述一个或多个处理任务分发到一个或多个处理单元，以进行并行处理；