[发明专利]一种分布式广告数据计算任务管理系统及方法

说明书

本发明公开了一种分布式广告数据计算任务管理系统及方法。该系统包括：任务创建服务器、任务库、分布式服务器集群和多个客户端；任务创建服务器，适于将广告数据计算任务保存到任务库中；任务库，适于存储所述任务创建服务器所创建的广告数据计算任务；客户端，适于从任务库提取广告数据计算任务，并将所提取的广告数据计算任务发送给分布式服务器集群；分布式服务器集群，适于运行客户端发送的广告数据计算任务。可见，本发明避免了单个客户端出现故障时导致系统瘫痪的弊端；同时保证多个任务同时执行，提高系统运行速度；并使系统资源得到了有效分配和充分利用，进而实现系统负载均衡。

技术领域

本发明涉及分布式处理技术领域，具体涉及一种分布式广告数据计算任务管理系统及方法。

背景技术

随着WEB应用越来越普及与业务的多元化，分布式任务管理系统得到了广大用户的青睐。但是现有的分布式管理系统存在以下问题，导致系统的资源没有得到有效分配和充分利用，进而使系统负载失去均衡。

现有的分布式管理系统存在的问题如下：(一)只设置一个中心管理父节点对系统内的子节点发布控制指令，导致同一时刻只能执行一条指令，从而系统的资源没有得到有效的利用，而且一旦该中心管理父节点发生故障，整个系统将停止运行。(二)分布式管理系统中部分节点执行的任务多，部分节点执行的任务少，导致系统中的部分节点在运行时，其他节点处于休眠状态，导致系统资源浪费，负载失衡等问题长期存在。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式任务管理系统和方法。

依据本发明的一个方面，提供了一种分布式广告数据计算任务管理系统，其中，该广告数据计算任务管理系统包括：任务创建服务器、任务库、分布式服务器集群和多个客户端；

任务创建服务器，适于将广告数据计算任务保存到任务库中；

任务库，适于存储所述任务创建服务器所创建的广告数据计算任务；

客户端，适于从任务库提取广告数据计算任务，并将所提取的广告数据计算任务发送给分布式服务器集群；

分布式服务器集群，适于运行客户端发送的广告数据计算任务。

可选地，所述分布式服务器集群包括：分布式资源管理器YARN，适于对客户端发送的广告数据计算任务进行调度，以分配到集群中的相应服务器上运行。

可选地，所述分布式服务器集群中，YARN利用容器DOCKER在集群中服务器上为不同的广告数据计算任务构建运行所需的不同的运行环境。

可选地，所述分布式资源管理器YARN，适于将集群中的广告数据计算任务运行资源分为多组，其中一组为优先组，对应标记了指定优先级信息的广告数据计算任务；当接收到标记了指定优先级信息的广告数据计算任务时，分配到优先组进行运行；如果优先组中暂时无广告数据计算任务运行，则将优先组中的部分广告数据计算任务运行资源分配到其他组帮助其他组运行广告数据计算任务，一旦优先组中有广告数据计算任务运行，回收分配到其他组的运行资源到优先组。

可选地，所述任务创建服务器，适于通过前端页面接收新建的广告数据计算任务，将接收到广告数据计算任务保存到任务库中；以及还适于通过前端页面接收修改广告数据计算任务的指令，根据该指令对任务库中的相应广告数据计算任务进行修改操作。

可选地，客户端，适于从任务库提取广告数据计算任务时，先查看任务库中任务表，根据任务表优先提取优先级高的广告数据计算任务，并将所提取的广告数据计算任务发送给分布式服务器集群；

其中，任务表中保存了任务库中当前所存储的广告数据计算任务，以及对应保存了各广告数据计算任务的优先级信息。

可选地，所述多个客户端中包括一个或多个优先级任务处理客户端；