[发明专利]在集群中调度运行分布式计算框架的方法和系统

说明书

【技术领域】

本发明涉及数据处理技术领域，特别涉及一种在集群中调度运行分布式计算框架的方法和系统。

【背景技术】

集群是由两台或多台服务器构成的计算节点集合。集群中的服务器（也称为节点或节点服务器）相互连接，彼此之间可相互通信。集群中的服务器协同工作，向用户提供网络应用服务，对于用户来说集群就像是一个单一系统。集群中的服务器资源类似于应用程序中的资源池中的资源，用户无需关心资源的分配情况，最大化了硬件资源的使用价值。集群的优点在于可以利用各档次的服务器作为节点，实现很高的运算速度，完成大运算量的计算，不但能满足当今日益增长的信息服务的需求，而且系统造价低。

分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。分布式计算框架即调度集群服务器协同工作以实现分布式计算的系统。在分布式计算框架中，用户无需关心如何将工作拆分成多个任务，并将具体的任务将由哪一台机器执行，执行后由谁来汇总，这些都由分布式框架自行抉择，而用户只需将待处理数据的相关信息以及数据的逻辑处理流程提供给分布式计算框架作为输入，就可以得到分布式计算后的结果。

分布式计算框架一般可以分为三个部分：客户端，控制器（Master）和工作器（Worker）。客户端用于向分布式计算框架提交作业（Job），查询作业执行情况。Master为分布式计算框架的控制中心，其接收客户端提交的作业，将作业拆分成多个任务（Task），并将任务分配给Worker。Worker为分布式计算框架的任务执行者，启动由Master下发的Task，并进行Task运行控制。

部署于集群中的分布式计算框架可调度集群中的服务器协同工作，并行处理大运算量的计算，提高了集群的资源利用率，并大大提高了大运算量计算的处理速度。

然而，如果采用静态资源分配，也就是每个分布式计算框架分配一个集群，往往由于作业自身的特点或者作业提交频率等原因，集群资源利用率很低。因此，需要提供一种将多种分布式计算框架部署到同一集群中的方法，以提高集群资源利用率。

【发明内容】

基于此，有必要提供一种可在集群中调度运行多个分布式计算框架，从而提高集群资源利用率的在集群中调度运行分布式计算框架的方法。

一种在集群中调度运行分布式计算框架的方法，包括以下步骤：

集群调度器获取提交的封装了框架控制器的第一作业；

所述集群调度器根据所述第一作业生成包含所述框架控制器的第一任务，将所述第一任务下发到集群执行器；

接收到所述第一任务的集群执行器启动所述框架控制器运行；

所述集群调度器获取提交的封装了与所述框架控制器对应的框架工作器的第二作业；

所述集群调度器根据所述第二作业生成包含所述框架控制器标识以及所述框架工作器的第二任务，并将所述第二任务下发到集群执行器；

接收到所述第二任务的集群执行器根据所述框架控制器标识启动所述框架工作器运行。

基于此，有必要提供一种可在集群中调度运行多个分布式计算框架，从而提高集群资源利用率的在集群中调度运行分布式计算框架的系统。

一种在集群中调度运行分布式计算框架的系统，包括集群调度器和多个集群执行器，其中：

所述集群调度器用于获取提交的封装了框架控制器的第一作业；

所述集群调度器还用于根据所述第一作业生成包含所述框架控制器的第一任务，将所述第一任务下发到某一所述集群执行器；

所述集群执行器用于接收到所述第一任务后，启动所述框架控制器运行；

所述集群调度器还用于获取提交的封装了与所述框架控制器对应的框架工作器的第二作业；

所述集群调度器还用于根据所述第二作业生成包含所述框架控制器标识以及所述框架工作器的第二任务，并将所述第二任务下发到某一所述集群执行器；

所述集群执行器还用于接收到所述第二任务后，根据所述框架控制器标识启动所述框架工作器运行。

上述在集群中调度运行分布式计算框架的方法和系统中，集群调度器可将多个分布式计算框架的框架控制器和框架工作器调度到集群执行器上运行，从而可将多个分布式计算框架可部署到同一集群中。在同一集群中部署多个分布式计算框架，可使得集群中作业的提交频率大幅度升高，各种分布式计算框架共享集群资源，从而可提高集群的资源利用率。

【附图说明】