[发明专利]一种spark任务运行时间调整方法、装置及设备

权利要求书

1.一种spark任务运行时间调整方法，应用于分布式文件系统，其特征在于，包括：

接收spark任务后，依据任务的内容从分布式文件系统的元数据信息中，获取所述spark任务运行时需要从所述分布式文件系统中读取的数据量；

依据预设调整规则，确定所述数据量所处的阈值范围区间以及该阈值范围区间所对应的本地等待时间；阈值范围区间越大其对应的本地等待时间越长；

依据所确定的本地等待时间以及本地性属性的类型依次进行等待，等待过程中，检测到符合当前等待的本地性属性的进程后，通过该进程运行所述spark任务，其中，所述符合当前等待的本地性属性的进程为本地性属性与当前等待的本地性属性相同的进程。

2.根据权利要求1所述的spark任务运行时间调整方法，其特征在于，所述预设调整规则包括三个阈值范围区间，第一阈值范围区间对应的本地等待时间为N1，第二阈值范围区间对应的本地等待时间为N2，第三阈值范围区间对应的本地等待时间为N3；第一阈值范围区间第二阈值范围区间第三阈值范围区间；N1N2N30；本地性属性的类型包括PROCESS_LOCAL、NODE_LOCAL以及RACK_LOCAL。

3.根据权利要求1所述的spark任务运行时间调整方法，其特征在于，所述预设调整规则包括三个阈值范围区间，第一阈值范围区间对应的本地等待时间为N1，第二阈值范围区间对应的本地等待时间为N2，第三阈值范围区间对应的本地等待时间为0；第一阈值范围区间第二阈值范围区间第三阈值范围区间；N1N20；

其中，若所述确定的本地等待时间大于0，则本地性属性的类型包括PROCESS_LOCAL、NODE_LOCAL以及RACK_LOCAL；

若所述确定的本地等待时间为0，则本地性属性的类型为ANY，后续直接选择任一进程运行所述spark任务。

4.根据权利要求1所述的spark任务运行时间调整方法，其特征在于，所述获取所述spark任务运行时所需读取的数据量之后，还包括：

依据所述预设调整规则，确定所述数据量所处的阈值范围区间对应的本地性属性的类型，阈值范围区间越大对应的本地性属性的类型个数越多。

5.根据权利要求4所述的spark任务运行时间调整方法，其特征在于，所述预设调整规则包括三个阈值范围区间，第一阈值范围区间对应的本地等待时间为N1，本地性属性的类型包括PROCESS_LOCAL、NODE_LOCAL以及RACK_LOCAL；

第二阈值范围区间对应的本地等待时间为N2，本地性属性的类型包括PROCESS_LOCAL、NODE_LOCAL以及RACK_LOCAL中的任意两种；

第三阈值范围区间对应的本地等待时间为N3，N3大于0时，本地性属性的类型包括PROCESS_LOCAL、NODE_LOCAL以及RACK_LOCAL中的任意一种；N3＝0时，本地性属性的类型为ANY；

第一阈值范围区间第二阈值范围区间第三阈值范围区间；N1和N2大于0；N1≥N2≥N3。

6.根据权利要求1所述的spark任务运行时间调整方法，其特征在于，所述预设调整规则包括多个阈值范围区间，每个阈值范围区间对应有三个本地等待时间n1、n2和n3；n1≥n2≥n3；

n1用于调整PROCESS_LOCAL类型的本地性属性对应的本地等待时间；

n2用于调整NODE_LOCAL类型的本地性属性对应的本地等待时间；

n3用于调整RACK_LOCAL类型的本地性属性对应的本地等待时间；

若n1、n2和n3均为0，则本地性属性的类型为ANY，后续直接选择任一进程运行所述spark任务。