[发明专利]数据处理任务的并行度调整方法、装置、设备及介质

权利要求书

1.一种数据处理任务的并行度调整方法，其特征在于，包括：

确定数据处理系统的当前执行作业以及所述当前执行作业对应的下游作业的预计处理时间；

基于所述预计处理时间判断所述数据处理系统针对所述下游作业的执行时间是否超时；

若是，则基于所述数据处理系统的当前吞吐量、所述当前执行作业的预计处理时间、所述下游作业的预计处理时间以及作业依赖关系，调整所述下游作业对应的执行并行度。

2.根据权利要求1所述的方法，其特征在于，所述确定数据处理系统的当前执行作业以及所述当前执行作业对应的下游作业的预计处理时间，包括：

获取数据处理系统的历史作业统计信息；

基于所述历史作业统计信息确定所述数据处理系统的当前执行作业以及所述当前执行作业对应的下游作业的预计处理时间。

3.根据权利要求2所述的方法，其特征在于，所述基于所述历史作业统计信息确定所述数据处理系统的当前执行作业以及所述当前执行作业对应的下游作业的预计处理时间，包括：

基于所述历史作业统计信息确定历史作业对应的历史任务的吞吐量；

基于所述历史任务的吞吐量，确定所述当前执行作业以及所述当前执行作业对应的下游作业的吞吐量；

根据所述当前执行作业以及所述下游作业的吞吐量，确定所述当前执行作业以及所述下游作业的预计处理时间。

4.根据权利要求1所述的方法，其特征在于，所述基于所述预计处理时间判断所述数据处理系统针对所述当前执行作业对应的下游作业的执行时间是否超时，包括：

获取所述的当前执行作业的预设处理时间；

若所述当前执行作业的预计处理时间与所述预设处理时间的差值大于预设阈值，且所述预计处理时间大于所述预设处理时间，则确定所述数据处理系统针对所述当前执行作业对应的下游作业的执行时间超时。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述预计处理时间判断所述数据处理系统针对所述下游作业的执行时间是否提前；

若是，则基于所述当前吞吐量、所述当前执行作业的预计处理时间、所述下游作业的预计处理时间以及所述作业依赖关系，调整所述下游作业对应的执行并行度。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述数据处理系统的全部作业对应的有向无环图，其中，所述有向无环图包括连接方向信息；

基于所述连接方向信息确定所述作业依赖关系。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

判断所述当前执行作业是否为所述数据处理系统的最终执行作业；

若否，则在所述当前执行作业完成后，将所述当前执行作业对应的下一执行作业确定为当前执行作业，并返回执行判断确定所述当前执行作业以及所述当前执行作业对应的下游作业的预计处理时间的操作。

8.一种数据处理任务的并行度调整装置，其特征在于，所述装置包括：

时间预测模块，用于确定数据处理系统的当前执行作业以及所述当前执行作业对应的下游作业的预计处理时间；

超时判断模块，用于基于所述预计处理时间判断所述数据处理系统针对所述下游作业的执行时间是否超时；

下游调整模块，用于若是，则基于所述数据处理系统的当前吞吐量、所述当前执行作业的预计处理时间、所述下游作业的预计处理时间以及作业依赖关系，调整所述下游作业对应的执行并行度。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据处理任务的并行度调整方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据处理任务的并行度调整方法。