[发明专利]一种数据运算优化方法、装置以及可读存储介质

说明书

本发明公开了一种数据运算优化方法、装置以及可读存储介质，包括：获取预设Spark任务，其中所述Spark任务中包括多个表征计算过程的计算节点，所述计算节点用于接收输入数据并生成输出数据；执行所述预设Spark任务，以按照预设调用顺序依次执行每个所述计算节点；若被调用的当前计算节点满足预设条件，则结合Spark缓存中的缓存数据执行所述当前计算节点；其中，所述缓存数据包括至少一个所述计算节点的输出数据。相较于现有技术，本方案无需通过外部缓存中间文件便可实现过程数据复用，避免了外部组件写入导致出现的资源竞争问题，提升了Spark任务在处理大数据时的性能。

技术领域

本发明涉及大数据领域，尤其涉及一种数据运算优化方法、装置以及可读存储介质。

背景技术

在实际的数据计算业务场景中，有时需要中间计算结果作为输入参数，实现数据复用。

Spark作为分布式计算引擎，为了将计算过程数据的复用计算，一般是利用UDF，将过程数据写入外部缓存中间文件，再从外部缓存中间件读取数据作为输入进行数据复用。但该方案有两个严重问题，一是必须依赖外部组件，对系统的部署有较高要求，特别是待缓存的数据量较大时，外部组件的数据读写性能会影响整个计算流程的性能；二是由于Spark是分布式计算框架，外部组件写入首先会出现资源竞争问题，同时无法保证Spark后续计算对数据分布的需求。

发明内容

本发明实施例提供了一种数据运算优化方法、装置以及可读存储介质，具有在过程数据复用时，避免外部组件写入导致出现的资源竞争问题，并且提升Spark任务在处理大数据时的性能的技术效果。

本发明一方面提供一种数据运算优化方法，所述方法包括：获取预设Spark任务，其中所述Spark任务中包括多个表征计算过程的计算节点，所述计算节点用于接收输入数据并生成输出数据；执行所述预设Spark任务，以按照预设调用顺序依次执行每个所述计算节点；若被调用的当前计算节点满足预设条件，则结合Spark缓存中的缓存数据执行所述当前计算节点；其中，所述缓存数据包括至少一个所述计算节点的输出数据。

在一可实施方式中，所述满足预设条件，包括：所述缓存数据为所述当前计算节点的输入数据。

在一可实施方式中，所述结合Spark缓存中的缓存数据执行所述当前计算节点，包括：获取上一计算节点的第一输出信息；将所述第一输出数据以及缓存数据作为所述当前计算节点的输入，生成第二输出数据。

在一可实施方式中，所述将所述第一输出数据以及缓存数据作为所述当前计算节点的输入，包括：根据所述当前计算节点，选取所述缓存数据中的子数据；将所述第一输出数据和所述子数据作为所述当前计算节点的输入。

在一可实施方式中，在生成第二输出数据之后，所述方法还包括：根据所述第二输出数据，更新所述缓存数据。

在一可实施方式中，所述方法还包括：当所述预设Spark任务执行结束之后，清除所述Spark缓存中的缓存数据。

在一可实施方式中，所述输入数据和输出数据均为抽象弹性分布式数据集RDD数据。

本发明另一方面提供一种数据运算优化装置，所述装置包括：任务获取模块，用于获取预设Spark任务，其中，所述Spark任务中包括多个表征运算过程的计算节点，所述计算节点用于接收输入数据并生成输出数据；任务执行模块，用于执行所述预设Spark任务，以按照预设调用顺序依次执行每个所述计算节点；任务结合模块，用于若被调用的当前计算节点满足预设条件，则结合Spark缓存中的缓存数据执行所述当前计算节点；其中，所述缓存数据包括至少一个所述计算节点的输出数据。

在一可实施方式中，所述任务结合模块，具体用于：获取上一计算节点的第一输出信息；将所述第一输出数据以及缓存数据作为所述当前计算节点的输入，生成第二输出数据。