[发明专利]一种基于Docker集群的弹性任务调度系统及方法

说明书

本发明涉及一种基于Docker集群的弹性任务调度系统及方法，属于计算机技术领域。包括构建Rancher集群，创建负载均衡器，创建任务调度器，创建资源监控器，创建弹性控制器，创建Docker私有镜像仓库。本发明通过Docker集群构建分布式的任务调度系统，能够有效避免单点故障的同时提升了物理资源利用率；能够根据系统负载动态地增加或减少业务服务器，具有很好的弹性，能够适应请求量突增等情况；可直接使用Docker镜像实现快速部署，当出现服务器宕机时，可快速恢复系统运行状态，具有极强的稳定性及可扩展性。

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于Docker集群的弹性任务调度系统。

背景技术

经过多年的发展，云计算已经从研究阶段真正的步入大范围的使用阶段。包括搜索、电商、游戏等各种业务都已部署在数据中心，通过云计算的服务模式获得更高的资源利用率，更快的响应时间并且能够承担更大的并发访问量。因此，各大企业也争相整合现有硬件设备以搭建私有云，并将企业的业务迁入云端。在这种多业务的数据中心中，往往为每个业务提供多台运行相同业务的服务器，从而加大并行处理能力，加快请求响应速度。在这种前提下，任务调度成为数据中心需要解决的关键问题之一，它按照特定目标为用户请求选择合适的响应服务器。

一般来说，任务调度可以通过硬件和软件两种方式来实现，硬件任务调度系统固化了调度算法，具有速度快的优点，但不够灵活且成本较高。而软件任务调度系统，虽然能够灵活的选择算法但是速度相对较慢且自身占用较多的服务器资源。此外，面对当前业务种类不断增加，突发访问量巨大等现实条件，这两种任务调度方法都存在着弹性较差的缺点，不能够根据业务请求量动态调整。在硬件实现方式中，当访问量突增时可能出现单点故障造成整个系统的瘫痪，为此只能通过增加硬件调度器的方式来实现横向扩展，这无疑将带来很高的成本，而当业务量下降时过多的硬件调度器将造成资源的浪费。相比之下，基于软件实现的任务调度可以通过简单的增加通用服务器来实现系统的扩展，甚至可以使用虚拟化技术来提升系统的资源利用率，但是传统的虚拟化技术自身将带来较大的额外开销，并且软件部署过程复杂，启动速度慢，不能够及时应对业务量的变化。

Docker作为目前最流行的容器级虚拟化技术，其具有轻量、灵活、启动速度快等优点，天然的适合实现系统弹性，目前很多数据中心已经通过将业务部署在Docker上来实现自动化的伸缩，实现弹性集群，但在任务调度系统中尚未出现。另一方面，Docker集群技术发展迅速，以Kubernetes、Mesos、Swarm以及Rancher为代表的容器编排引擎不断完善，使Docker集群易于部署、维护和扩展。为此，基于Docker集群的应用将不断增加。

发明内容

本发明提供一种基于Docker集群的弹性任务调度系统及方法，是一种可自动伸缩的分布式任务调度系统，该系统不仅需要快速完成任务调度，还必须能够避免传统调度方式中存在单点故障的问题，更重要的是能够根据请求量大小完成调度系统的自动伸缩，并且方便在数据中心中快速完成部署及算法更新。

本发明采取的技术方案是：

一种基于Docker集群的弹性任务调度系统：包括：

(1)构建Rancher集群：选择其中一台服务器作为RancherServer节点，而包括RancherServer自身在内的全部N台服务器都作为RancherAgent节点，系统中的所有功能容器都分布在RancherAgent节点上；

(2)创建负载均衡器：负载均衡器利用Nginx实现，拉取Nginx的Docker镜像后，需要配置高可用(HA)特性，通过结合Keepalived服务，当MASTER节点宕机时，能够快速启动BACKUP节点，使业务中断对用户来说是透明的；

(3)创建任务调度器：任务调度器基于开源的Haproxy实现；具体一种基于一致性哈希算法改进的新任务调度算法，在Haproxy源码中增加算法后通过源码编译安装。