[发明专利]一种数据运算优化方法、装置以及可读存储介质

权利要求书

1.一种数据运算优化方法，所述方法包括：

获取预设Spark任务，其中所述Spark任务中包括多个表征计算过程的计算节点，所述计算节点用于接收输入数据并生成输出数据；

执行所述预设Spark任务，以按照预设调用顺序依次执行每个所述计算节点；

若被调用的当前计算节点满足预设条件，则结合Spark缓存中的缓存数据执行所述当前计算节点；其中，所述缓存数据包括至少一个所述计算节点的输出数据。

2.根据权利要求1所述的方法，所述满足预设条件，包括：

所述缓存数据为所述当前计算节点的输入数据。

3.根据权利要求1所述的方法，所述结合Spark缓存中的缓存数据执行所述当前计算节点，包括：

获取上一计算节点的第一输出信息；

将所述第一输出数据以及缓存数据作为所述当前计算节点的输入，生成第二输出数据。

4.根据权利要求3所述的方法，所述将所述第一输出数据以及缓存数据作为所述当前计算节点的输入，包括：

根据所述当前计算节点，选取所述缓存数据中的子数据；

将所述第一输出数据和所述子数据作为所述当前计算节点的输入。

5.根据权利要求3所述的方法，在生成第二输出数据之后，所述方法还包括：

根据所述第二输出数据，更新所述缓存数据。

6.根据权利要求1所述的方法，所述方法还包括：

当所述预设Spark任务执行结束之后，清除所述Spark缓存中的缓存数据。

7.根据权利要求1所述的方法，所述输入数据和输出数据均为抽象弹性分布式数据集RDD数据。

8.一种数据运算优化装置，所述装置包括：

任务获取模块，用于获取预设Spark任务，其中，所述Spark任务中包括多个表征运算过程的计算节点，所述计算节点用于接收输入数据并生成输出数据；

任务执行模块，用于执行所述预设Spark任务，以按照预设调用顺序依次执行每个所述计算节点；

任务结合模块，用于若被调用的当前计算节点满足预设条件，则结合Spark缓存中的缓存数据执行所述当前计算节点；其中，所述缓存数据包括至少一个所述计算节点的输出数据。

9.根据权利要求8所述的装置，所述任务结合模块，具体用于：

获取上一计算节点的第一输出信息；

将所述第一输出数据以及缓存数据作为所述当前计算节点的输入，生成第二输出数据。

10.一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行权利要求1-7任一项所述的数据运算优化方法。