[发明专利]一种容器云的任务调度方法和装置

说明书

技术领域

本发明涉及业务支撑技术领域，尤其涉及一种容器云的任务调度方法和装置。

背景技术

随着容器化技术的发展，容器化技术正在成为应用交付的新标准，基于容器化技术的云平台将成为下一代云计算的核心。在部署容器云的平台中，容器的调度使用对于业务系统的正常运行和系统的稳健性起着非常关键的作用。各大互联网公司正逐渐的使用容器化技术代替传统的虚拟机技术。由于业务的扩展需要，对资源的需求分配也越来越高，在应用需求资源时，传统的资源调度分配方法不能均衡的分配资源，造成个别节点上的容器数过多而致使部署在节点上的业务应用过载。常用的方法是采用开源分布式资源管理框架(Mesos)对容器资源进行调度，Mesos的主(Master)节点作为资源整合的分配节点，Mesos的从(Slave)节点作为容器的宿主机。

Mesos采用双层调度架构，第一层Mesos将资源分配给框架，主节点根据框架(Framework)响应的资源需求信息，对资源列表进行过滤，再进行二级调度，任务调度系统的结构如图1所示。图1中，Mesos的调度工作流程采用双层调度架构进行调度，从节点主动的向主节点上报资源空闲情况，主节点根据获取的从节点的空闲资源情况向Framework发出资源邀约，资源邀约中的资源若满足Framework上的作业需求时，则Framework中的调度器(Scheduler)单元向主节点响应资源需求，主节点根据中央处理器(CPU)和内存资源对从节点进行过滤，在满足资源需求的剩余从节点中，再根据轮询调度算法进行节点的选取，并向Framework的线程池(Executor)分配资源并启动容器执行任务，保证作业的顺利执行。

虽然通过Mesos的两层调度框架可以完成作业的需求，且不会在资源不够的节点上运行任务。但在多数情况下，这种调度策略无法均衡的使用容器集群，合理的利用资源；导致节点的维护性变差，容器集群出现故障。在以下情况时会导致Mesos集群中的任务运行出现故障。例如：当有多个框架时，会给Mesos调度架构带来压力，会使相同框架下的任务较为集中，容错性无法保证；以及，在主节点得到资源需求响应后，采用轮询的调度算法，可能会使某些从节点的任务过多而导致系统崩溃、宕机等状况。在发生以上故障时，会导致某些节点出现运行过载、内存资源和中央处理器(CPU)资源耗尽等状况，严重时，导致业务系统故障，需要重新启动。

具体来说，现有技术的调度方法存在如下缺点：

1、现有的Mesos调度机制采用双层调度架构，第二层调度策略通常采用轮询的方式进行调度，导致某些从节点运行的容器过多，压力过大，任务分配不均衡；

2、在正常调度过程中，不同任务的资源需求差异较大，现有的Mesos调度方法没有考虑从节点的运行情况，只能硬性的分配任务，无法协调任务和节点之间的细粒度调度。

Mesos的资源调度异常会影响整个系统或业务的运行状况，对于核心系统或业务来说是不可接受的。

发明内容

有鉴于此，本发明实施例期望提供一种容器云的任务调度方法和装置，能够结合从节点的运行情况，将请求资源的任务均衡分配到各个从节点上执行，提高从节点的工作效率和系统的稳定性。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供了一种容器云的任务调度方法，所述方法包括：

获取各个从节点的空闲资源和运行信息；

向框架发送资源邀请，接收所述框架根据所述资源邀请反馈的资源需求，根据所述资源需求和所述从节点的空闲资源筛选从节点；

根据所述从节点的运行信息，从筛选后的各个从节点中确定任务从节点，在所述任务从节点上创建任务。

上述方案中，所述资源邀请包括：各个从节点的空闲资源；

所述资源需求包括：执行任务所需的中央处理器CPU的个数、执行任务所需的内存资源；

所述空闲资源包括：空闲的中央处理器CPU的个数、空闲的内存资源；

所述运行信息包括：中央处理器CPU的占用率、内存资源的使用率和当前运行的进程个数。

上述方案中，所述根据资源需求和从节点的空闲资源筛选从节点；包括：

保留所述空闲的中央处理器CPU的个数大于或等于所述执行任务所需的中央处理器CPU的个数且所述空闲的内存资源大于或等于所述执行任务所需的内存资源的从节点；

删除所述空闲的中央处理器CPU的个数小于所述执行任务所需的中央处理器CPU的个数和/或所述空闲的内存资源小于所述执行任务所需的内存资源的从节点。