[发明专利]分布式计算任务处理系统和任务处理方法

说明书

技术领域

本发明实施例涉及网络通信领域，并且更具体地，涉及分布式计算任务处理系统和任务处理方法。

背景技术

目前，随着互联网的发展，对大量信息的快速处理的需求变得很迫切。因此数据的并行处理就变得很重要。分布式计算环境提供了网络环境下不同软、硬件平台资源共享和互操作的有效手段，成为并行处理的常用架构。目前业界熟知的并行处理系统采用MapReduce架构。MapReduce是分布式计算软件构架，它可以支持大数据量的分布式处理。这个架构最初起源于函数式程式的map(映射)和reduce(缩减)两个函数。map指的是对原始的文档按照自定义的映射规则进行处理，输出中间结果。reduce按照自定义的缩减规则对中间结果进行合并。

在分布式计算环境中，MapReduce的通用架构包括调度节点和多个工作节点。调度节点负责任务调度和资源管理；负责根据用户配置，将用户提交的任务分解为map、reduce两种子任务，并分配map、reduce子任务到工作节点。工作节点负责运行map、reduce子任务，与调度节点保持通讯。

在这种并行处理架构中，由于一个调度节点负责任务以及资源管理，并且需要严格地先后按照map、reduce两步的顺序进行任务处理。如果存在很多步骤的处理，则需要通过提交很多次任务请求来完成，处理效率较低，调度不够灵活。

发明内容

本发明实施例提供一种任务处理系统和任务处理方法，能够解决现有并行处理架构中处理效率的问题。

一方面，提供了一种分布式计算任务处理系统，包括：第一层调度器，用于接收执行任务的请求，启动或选择任务对应的第二层调度器并向第二层调度器转发所述请求；第二层调度器，用于在接收到第一层调度器转发的请求时，按照任务的逻辑关系将任务分解为多个子任务。

另一方面，提供了一种分布式计算任务处理方法，该方法包括：第一层调度器在接收到执行任务的请求时，启动或选择任务对应的第二层调度器；第一层调度器向第二层调度器转发该请求；第二层调度器在接收到第一层调度器转发的请求时，按照任务的逻辑关系将任务分解为多个子任务。

本发明实施例采用两层调度架构，第二层调度器对应于任务，第一层调度器启动或选择任务对应的第二层调度器，从而可以适用于不同的任务，提高了处理效率和调度灵活性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的任务处理系统的框图。

图2是本发明一个实施例的处理架构的示意图。

图3是本发明一个实施例的任务处理方法的流程图。

图4是本发明一个实施例的任务处理过程的示意流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的分布式计算任务处理系统的框图。图1的任务处理系统10包括两层调度器，即第一层调度器11和第二层调度器12。

第一层调度器11接收执行任务的请求，启动或选择该任务对应的第二层调度器12并向第二层调度器12转发该请求。

例如，在系统中没有合适的第二层调度器时，第一层调度器11可启动该任务对应的第二层调度器12。在系统中已经存在合适的第二层调度器时，第一层调度器11可从这些合适的第二层调度器中选择该任务对应的第二层调度器12。

可选地，所述第一层调度器还用于对所述任务进行优先级管理，并按照所述优先级启动或选择所述第二层调度器对所述任务进行处理。

第二层调度器12在接收到第一层调度器11转发的请求时，按照任务的逻辑关系将该任务分解为多个子任务。

本发明实施例采用两层调度架构，第二层调度器对应于任务，第一层调度器启动或选择任务对应的第二层调度器，从而可以适用于不同的任务，提高了处理效率和调度灵活性。