[发明专利]一种分布式作业分发处理方法及系统

说明书

技术领域

本发明实施例涉及分布式作业技术领域，具体涉及一种分布式作业分发处理方法及系统。

背景技术

随着信息技术的发展，各种设备在使用过程中产生了大量的交互作业，作业需要在众多的不同网络设备之间进行传送，因此，对于作业的分发处理显得尤为重要。

现有的作业分发处理方法，需要在作业分发以前，都要通过复杂的算法，实现对作业如何分发、以及分发到哪里、进行逻辑计算，且计算过程繁琐，应用开发者需要关注底层分布式处理，例如：在不同数据源之间进行作业的分布式导入导出、大量邮件的群发等简单任务的分布式分发处理，无需对分片后的任务处理的结果进行二次或多次计算，也不需要进行归类操作。

因此，如何简化此类作业的分布式开发工作，使应用开发者无需关注底层分布式处理、并提高工作效率成为亟须解决的问题。

发明内容

针对现有技术存在的问题，本发明实施例提供一种分布式作业分发处理方法及系统。

一方面，本发明实施例提供一种分布式作业分发处理方法，包括：

生成针对特定类型作业的多个任务，其中，所述特定类型作业是已确定无需进行归类操作的作业；

将所述任务分发至多个任务节点；

若判断获知反馈回的所有任务处理的结果状态为成功，则完成对所述特定类型作业的分发。

另一方面，本发明实施例提供一种执行上述方法的系统，所述系统包括客户端、控制节点、任务节点和集群状态管理器，其中：

所述客户端，连接所述控制节点，用于向所述控制节点发送作业分发请求；

所述控制节点，连接所述任务节点和所述集群状态管理器，用于接收所述客户端发送的作业分发请求；

用于生成针对特定类型作业的多个任务、向所述任务节点发送所述任务，监控所述任务处理的结果状态、接收所述集群状态管理器发送的所述任务处理的结果状态、判定所述任务处理是否执行完成；

所述任务节点，连接所述集群状态管理器，用于执行任务的任务，并向所述集群状态管理器发送所述任务的执行状态通知；

所述集群状态管理器，用于集群资源的协调、交互和共享，向所述控制节点发送所述任务处理的结果状态。

本发明实施例提供的分布式作业分发处理方法及系统，无需对分片后的任务处理的结果进行二次或多次计算，因此，简化了此类作业的分布式开发工作，使应用开发者无需关注底层分布式处理、提高了工作效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例分布式作业分发处理方法的流程示意图；

图2为本发明另一实施例分布式作业分发处理方法的流程示意图；

图3为本发明实施例分布式作业分发处理系统的结构示意图；

图4为本发明实施例分布式作业分发处理系统的功能示意图；

图5为本发明实施例提供的系统实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例分布式作业分发处理方法的流程示意图，如图1所示，本实施例提供的一种分布式作业分发处理方法，包括以下步骤：

S1：生成针对特定类型作业的多个任务，其中，所述特定类型作业是已确定无需进行归类操作的作业。