[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本发明提供一种数据处理方法、装置、设备及存储介质，该方法包括：获取待处理数据以及待处理数据对应的预设计算图；预设计算图表征多个算子之间的关系，多个算子包括连接算子和由待处理数据的数据处理任务确定的任务算子，任务算子包括上游任务算子和至少两个并发任务算子；基于上游任务算子，对待处理数据进行处理，得到上游数据处理结果；基于至少两个并发任务算子，对上游数据处理结果进行并发处理，得到各个并发任务算子各自对应的并发数据处理结果；基于连接算子，对各个并发任务算子各自对应的并发数据处理结果进行组合，得到数据组合结果。本发明能够实现单消息在多个算子之间的并发计算，缩短消息处理时间，提高系统响应速度。

技术领域

本发明属于计算机技术领域，具体涉及一种数据处理方法、装置、设备及存储介质。

背景技术

在现有的实时计算框架中，通常是将计算任务在内部分解成为若干个算子，将这些算子之间的逻辑关系或顺序构建成有向无环图(Directed Acyclic Graph，DAG)结构。

图1是现有技术中的一种实时计算图结构，在该计算图结构中，数据首先流入A1算子节点，经过处理后，有两个分支，一部分数据流向B1算子节点，另一部分数据流向C1算子节点处理，再流向D1算子节点。

但图1中的实时计算图结构中的一条消息同时只会在一个算子节点中处理，其仅考虑了多条消息的并发处理，并未考虑单条消息在多个算子之间的并发运行，使得消息处理时间较长，系统响应速度较慢。

发明内容

为了实现单消息在多个算子之间的并发运行，缩短消息处理时间，提高系统响应速度，本发明提出一种数据处理方法、装置、设备及存储介质。

一方面，本发明提出了一种数据处理方法，所述方法包括：

获取待处理数据以及所述待处理数据对应的预设计算图；所述预设计算图表征多个算子之间的关系，所述多个算子包括连接算子和由所述待处理数据的数据处理任务确定的任务算子，所述任务算子包括上游任务算子和至少两个并发任务算子；

基于所述上游任务算子，对所述待处理数据进行处理，得到上游数据处理结果；

基于所述至少两个并发任务算子，对所述上游数据处理结果进行并发处理，得到各个并发任务算子各自对应的并发数据处理结果；

基于所述连接算子，对各个并发任务算子各自对应的并发数据处理结果进行组合，得到数据组合结果。

另一方面，本发明实施例提供了一种数据处理装置，所述装置包括：

获取模块，用于获取待处理数据以及所述待处理数据对应的预设计算图；所述预设计算图表征多个算子之间的关系，所述多个算子包括连接算子和由所述待处理数据的数据处理任务确定的任务算子，所述任务算子包括上游任务算子和至少两个并发任务算子；

上游处理模块，用于基于所述上游任务算子，对所述待处理数据进行处理，得到上游数据处理结果；

并发处理模块，用于基于所述至少两个并发任务算子，对所述上游数据处理结果进行并发处理，得到各个并发任务算子各自对应的并发数据处理结果；

组合模块，用于基于所述连接算子，对各个并发任务算子各自对应的并发数据处理结果进行组合，得到数据组合结果。

另一方面，本发明提出了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述所述的数据处理方法。

另一方面，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述所述的数据处理方法。