[发明专利]一种spark任务运行时间调整方法、装置及设备

说明书

本发明公开了一种spark任务运行时间调整方法，包括：接收spark任务后，依据任务内容从分布式文件系统的元数据信息中，获取spark任务运行时需要读取的数据量；依据预设调整规则，确定数据量所处的阈值范围区间及该阈值范围区间对应的本地等待时间；阈值范围区间越大其对应的本地等待时间越长；依据所确定的本地等待时间及本地性属性的类型依次进行等待，等待过程中，检测到符合当前等待的本地性属性的进程后，通过该进程运行spark任务。本发明能够依据spark任务的数据量动态调整任务的本地等待时间，尽可能保证各种情况下的任务处理效率，整体处理性能高。本发明还公开了一种基于上述方法的装置、设备及计算机可读存储介质。

技术领域

本发明涉及分布式计算技术领域，特别是涉及一种spark任务运行时间调整方法。本发明还涉及一种spark任务运行时间调整装置、设备及计算机可读存储介质。

背景技术

分布式计算引擎拥有高性能易用的特点，可以用于离线计算、流式计算、图像计算和机器学习等各个领域。spark是一种编程语言，其典型应用场景是读取HDFS等分布式文件系统的数据，并启动多个并发的任务进行并行计算。由于典型的HDFS环境文件是三副本保存的，即任意一份文件，均会在集群中的三个节点上保存。这也意味着在除了这三个节点以外的其他节点上访问这份文件需要跨网络传输。

spark出于性能考虑设计了任务的数据本地性属性，用于指导任务的调度，尽量减少数据的网络传输路径长度。参见表1所示，表1为本地性属性示意表。

表1为本地性属性示意表

目前，spark在调度任务投入执行前，会依次在不同的本地性属性上根据配置的spark.locality.wait时间(本地等待时间)进行等待。不同的本地性属性的等待顺序为：PROCESS_LOCAL-NODE_LOCAL-RACK_LOCAL，如果等不到满足这三种本地性属性的进程的话，则会按照ANY级别去调度执行。举例来说，假如spark.locality.wait为3s，则任务会首先等待符合PROCESS_LOCAL的进程，若三秒内没有等到则会继续等待符合LOCAL-NODE的进程，后续同理。若以上三种进程均未等到的话，则会按照ANY级别去调度执行。

但是这种方式下，由于涉及到的数据大小本身可能并不大，也许只需要1s或者更短的时间就能完成网络传输，但是因为本地性条件不满足，spark还是需要等待预先配置的spark.locality.wait的若干倍时间，导致spark任务处理效率低。

因此，如何提供一种任务处理效率高的spark任务运行时间调整方案是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种spark任务运行时间调整方法，能够依据spark任务的数据量动态调整任务的本地等待时间，从而尽可能保证各种情况下的任务处理效率，提高spark任务的整体处理性能；本发明的另一目的是提供一种基于上述方法的装置、设备及计算机可读存储介质。

为解决上述技术问题，本发明提供了一种spark任务运行时间调整方法，应用于分布式文件系统，包括：

接收spark任务后，依据任务的内容从分布式文件系统的元数据信息中，获取所述spark任务运行时需要从所述分布式文件系统中读取的数据量；

依据预设调整规则，确定所述数据量所处的阈值范围区间以及该阈值范围区间所对应的本地等待时间；阈值范围区间越大其对应的本地等待时间越长；

依据确定的本地等待时间以及本地性属性的类型依次进行等待，等待过程中，检测到符合当前等待的本地性属性的进程后，通过该进程运行所述spark任务。