[发明专利]执行任务的方法和系统

说明书

技术领域

本发明涉及数据处理领域，特别涉及一种执行任务的方法和系统。

背景技术

在大数据平台的计算任务当中，经常会处理非常大规模的计算任务。当需要计算大规模的计算任务时系统通常会将计算任务分解成若干的阶段去执行。如果当用户经过很长时间的等待而执行到某个后面的阶段，而该后面的阶段对应的计算时间超长，或者该后面的阶段存在根本执行不完的情况时，会导致位于执行该后面的阶段的前面各阶段的执行，都白白浪费掉，浪费了用户等待前面所有的阶段都已经执行完所等待的时间，极大降低了用户的体验效果。

发明内容

本发明实施例提供了一种执行任务的方法和系统，该方法能够将大规模的计算任务分解成的各个阶段分别试运行一下，给出各自的用时情况，如果后面的某些阶段的计算代价过高，则在该任务正式的运行前警告用户，达到及时发现问题，节省用户等待时间的目的。

根据本发明的一方面，提供了一种执行任务的方法，所述方法包括：将任务划分为至少两个子任务；分别试运行划分得到的各个子任务；以及基于得到的试运行结果判断是否存在执行成本超过预定值的子任务，如果存在执行成本超过预定值的子任务则终止执行所述任务，否则继续执行所述任务。

此外，根据本发明的一个实施例，其中，所述将任务划分为至少两个子任务，包括：通过有向无环图模型将任务划分为多个子任务；其中，所述多个子任务对应于所述任务被执行的先后顺序。

此外，根据本发明的一个实施例，其中，所述试运行划分得到的各个子任务，包括：从各个子任务中选择部分内容；运行所述部分内容得到对应的试运行结果，其中，所述试运行结果包括试运行所述部分内容所消耗的时间以及运行该所述部分内容所消耗的资源。

此外，根据本发明的一个实施例，其中，所述判断是否存在执行成本超过预定值的子任务，包括：基于试运行结果统计各个所述子任务的总耗时或总资源需求中的至少一个；判断得到的各个所述子任务总耗时或总资源需求中至少一个是否大于各自对应的预定值。

此外，根据本发明的一个实施例，所述方法还包括，当存在执行成本超过预定值的子任务时，生成并提供警告信息。

根据本发明的另一方面，还提供了一种执行任务的系统，所述系统应用于多处理器平台中，所述系统包括多处理器和存储器，其中，存储器，用于存储用户指令和系统数据；多处理器，用于基于所述用户指令来执行如下步骤：将任务划分为至少两个子任务；分别试运行划分得到的各个子任务；以及基于得到的试运行结果判断是否存在执行成本超过预定值的子任务，如果存在执行成本超过预定值的子任务则终止执行所述任务，否则继续执行所述任务。

此外，根据本发明的一个实施例，所述多处理器通过有向无环图模型将任务划分为多个子任务；其中，所述多个子任务对应于所述任务被执行的先后顺序。

此外，根据本发明的一个实施例，其中，所述多处理器从各个子任务中选择部分内容；运行所述部分内容得到对应的试运行结果，其中，所述试运行结果包括试运行所述部分内容所消耗的时间以及运行该所述部分内容所消耗的资源。

此外，根据本发明的一个实施例，其中，所述多处理器基于试运行结果统计各个所述子任务的总耗时或总资源需求中的至少一个；判断得到的各个所述子任务总耗时或总资源需求中至少一个是否大于各自对应的预定值。

此外，根据本发明的一个实施例，其特征在于，所述系统还包括：告警器，用于当存在执行成本超过预定值的子任务时，生成并提供警告信息。

通过本发明上述实施例，可以将任务划分为至少两个子任务，分别试运行划分得到的各个子任务，基于得到的试运行结果判断是否存在执行成本超过预定值的子任务，如果存在执行成本超过预定值的子任务则终止执行所述任务，否则继续执行所述任务。采用本发明，可以基于各个子任务试运行结果，给出各个子任务的执行成本，如果某个子任务执行成本代价过高，则在任务正式运行前警告用户，达到及时发现问题，节省用户的等待时间。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在附图中：

图1是根据本发明实施例的一种应用环境示意图；

图2是根据本发明实施例的一种执行任务的方法的流程图；

图3是根据本发明实施例的一种计算机终端的结构框图；