[发明专利]一种预估时长的方法

说明书

技术领域

本发明涉及数据处理领域，具体涉及一种预估处理任务时长的方法。

背景技术

随着大数据的来临，分布式运算已成为解决大数据的主要途径。在分布式系统中下，一般将一个大任务分解成多个小任务进行并发处理，然后再合并输出处理后的结果。例如，在分布式云转码平台中，将一个源文件转换成其它格式的视频输出，首先将该源文件切成若干小片，再调度给转码器群进行并发转码，转码成功后再合并输出视频；但是转码器群数量是一个固定值，该固定值即最多可以同时转码任务数量，当提交的任务数量超过这个数值的时候，将优先处理排在队列前面的任务，超过该固定值的部分任务将排队等待，直至有转码器资源释放。由于受到当前并发的任务数、处理器资源的利用率、处理器处理速度、调度算法、任务本身业务复杂程度等因素的影响，在当前的分布式环境下还没有一个能够预估任务处理剩余时间的方法。因此，分布式系统还无法及时为用户提供分布式系统完成某一任务处理的剩余时间，这使得后续的资源调度或其他任务安排计划难以顺利展开。

发明内容

本发明提供一种任务处理时间的预估方法，可以获得待执行任务的剩余时长，即获得当前时间与待执行任务的执行结束时间之间的间隔时长，从而能够方便后续的资源调度或其他任务的安排。

一种预估时长的方法，包括：

获取分布式系统中待执行任务的等待时长和执行所述待执行任务的执行时长；一个任务的等待时长为当前时间与一个任务的执行开始时间之间的间隔时长，一个任务的执行时长为一个任务的执行开始时间与执行结束时间之间的间隔时长；

根据所述待执行任务的等待时长和所述待执行任务的执行时长，获得所述待执行任务的剩余时长，一个任务的剩余时长为当前时间与一个任务的执行结束时间之间的间隔时长；

其中，所述获取系统中待执行任务的等待时长，包括：

分别获取系统中正在执行的各个任务的剩余时长，一个任务的剩余时长为当前时间与所述一个任务的执行结束时间之间的间隔时长；

将所述正在执行的各个任务的剩余时长中的最小剩余时长作为所述系统中需最优先执行的待执行任务的等待时长；

将所述正在执行的各个任务的剩余时长的平均值作为所述系统中非最优先执行的待执行任务的等待时长；

所述获取系统中待执行任务的执行时长，包括：

获取系统执行任务的速率和所述待执行任务的大小；

根据所述系统执行任务的速率和所述待执行任务的大小，获得所述待执行任务的执行时长。

优选的，所述分别获取系统中正在执行的各个任务的剩余时长，包括：

分别获取所述正在执行的各个任务的处理进度和所述正在执行的各个任务的已执行时长；一个任务的已执行时长为所述第一任务的执行开始时间与当前时间之间的间隔时长；

根据所述正在执行的各个任务的处理进度和所述正在执行的各个任务的已执行时长，预估得到所述正在执行的各个任务的剩余时长。

优选的，所述获取系统执行任务的速率，包括：

分别获取所述系统正在执行的各个任务的已执行任务量、所述正在执行的各个任务的大小和所述正在执行的各个任务的已执行时长；

根据所述正在执行的各个任务的已执行任务量、所述正在执行的各个任务的大小和所述正在执行的各个任务的已执行时长，获取所述系统执行所述正在执行的各个任务的平均速率，将所述系统执行所述正在执行的各个任务的平均速率作为所述系统执行任务的平均速率；

所述根据所述系统执行任务的速率和所述待执行任务的大小，获得所述待执行任务的执行时长，包括：

根据所述系统执行任务的平均速率和所述待执行任务的大小，获得所述待执行任务的执行时长。

一种预估等待时长的方法，包括：

分别获取系统中正在执行的各个任务的剩余时长，一个任务的剩余时长为当前时间与所述一个任务的执行结束时间之间的间隔时长；

将所述正在执行的各个任务的剩余时长中的最小剩余时长作为所述系统中需最优先执行的待执行任务的等待时长，一个任务的等待时长为当前时间与所述一个任务的执行开始时间之间的间隔时长；

将所述正在执行的各个任务的剩余时长的平均值作为所述系统中非最优先执行的待执行任务的等待时长。

优选的，所述分别获取系统中正在执行的各个任务的剩余时长，包括：

分别获取所述正在执行的各个任务的处理进度和所述正在执行的各个任务的已执行时长；一个任务的已执行时长为所述第一任务的执行开始时间与当前时间之间的间隔时长；