[发明专利]一种数据处理方法、装置、设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取待处理数据以及所述待处理数据对应的预设计算图；所述预设计算图表征多个算子之间的关系，所述多个算子包括连接算子和由所述待处理数据的数据处理任务确定的任务算子，所述任务算子包括上游任务算子和至少两个并发任务算子；

基于所述上游任务算子，对所述待处理数据进行处理，得到上游数据处理结果；

基于所述至少两个并发任务算子，对所述上游数据处理结果进行并发处理，得到各个并发任务算子各自对应的并发数据处理结果；

基于所述连接算子，对各个并发任务算子各自对应的并发数据处理结果进行组合，得到数据组合结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括构建所述预设计算图的步骤，所述构建所述预设计算图包括：

获取所述待处理数据的数据处理任务；

对所述数据处理任务进行分析，确定处理所述待处理数据所需的所述任务算子；

确定所述任务算子的算子类型和配置参数；所述任务算子的配置参数包括记录相应的字段偏移位置信息的字段偏移参数；

基于所述任务算子的算子类型和配置参数，确定具有相互依赖关系的任务算子和不具有相互依赖关系的任务算子；

基于所述具有相互依赖关系的任务算子之间的依赖关系，确定所述具有相互依赖关系的任务算子的执行顺序；

将所述具有相互依赖关系的任务算子按照相应的执行顺序进行连接，并将所述不具有相互依赖关系的任务算子的输出结果通过所述连接算子进行组合，得到所述预设计算图；所述连接算子的配置参数包括统计所述不具有相互依赖关系的任务算子的统计参数，所述至少两个并发任务算子属于所述不具有相互依赖关系的任务算子，所述上游任务算子为所述预设计算图中，执行顺序位于所述多个并发任务算子之前的任务算子。

3.根据权利要求2所述的方法，其特征在于，所述上游任务算子包括预处理任务算子，则所述基于所述上游任务算子，对所述待处理数据进行处理，得到上游数据处理结果，包括：

获取所述预处理任务算子的算子类型和配置参数；

基于所述预处理算子的算子类型和配置参数，将所述待处理数据处理成预设格式数据；

将所述预设格式数据作为所述上游数据处理结果；

相应地，在所述基于所述上游任务算子，对所述待处理数据进行处理，得到上游数据处理结果之后，所述方法还包括：

获取所述上游任务算子对应的字段偏移参数；

从所述上游任务算子对应的字段偏移参数中，获取所述上游数据处理结果对应的第一字段偏移位置信息；

确定所述上游数据处理结果所需的第一存储空间；

基于所述第一字段偏移位置信息和所述第一存储空间，将所述上游数据处理结果存储在预设存储结构中。

4.根据权利要求2所述的方法，其特征在于，在所述基于所述至少两个并发任务算子，对所述上游数据处理结果进行并发处理，得到各个并发任务算子各自对应的并发数据处理结果之前，所述方法还包括：

将所述上游数据处理结果同时传输至所述至少两个并发任务算子；

相应地，所述基于所述至少两个并发任务算子，对所述上游数据处理结果进行并发处理，得到各个并发任务算子各自对应的并发数据处理结果，包括：

获取各个并发任务算子各自对应的算子类型和配置参数；

基于各个并发任务算子各自对应的算子类型和配置参数，对所述上游数据处理结果进行并发处理，得到各个并发任务算子各自对应的并发数据处理结果，所述并发数据处理结果包括所述上游数据处理结果对应的字段和新生成字段；

相应地，在所述基于所述至少两个并发任务算子，对所述上游数据处理结果进行并发处理，得到各个并发任务算子各自对应的并发数据处理结果之后，所述方法还包括：

计算各个并发任务算子各自对应的新生成字段所需要的第二存储空间；

获取各个并发任务算子各自对应的字段偏移参数；

从各个并发任务算子各自对应的字段偏移参数中，获取各个并发任务算子各自对应的新生成字段的第二字段偏移位置信息；

基于各个并发任务算子各自对应的新生成字段的第二字段偏移位置信息以及相应的第二存储空间，将各个并发任务算子各自对应的新生成字段存储在预设存储结构中。