[发明专利]一种数据运算优化方法、装置以及可读存储介质

摘要

本发明公开了一种数据运算优化方法、装置以及可读存储介质，包括：获取预设Spark任务，其中所述Spark任务中包括多个表征计算过程的计算节点，所述计算节点用于接收输入数据并生成输出数据；执行所述预设Spark任务，以按照预设调用顺序依次执行每个所述计算节点；若被调用的当前计算节点满足预设条件，则结合Spark缓存中的缓存数据执行所述当前计算节点；其中，所述缓存数据包括至少一个所述计算节点的输出数据。相较于现有技术，本方案无需通过外部缓存中间文件便可实现过程数据复用，避免了外部组件写入导致出现的资源竞争问题，提升了Spark任务在处理大数据时的性能。