[发明专利]一种基于Kubernetes的并行计算任务调度方法与系统

说明书

本发明公开了一种基于Kubernetes的并行计算任务调度方法：将运行计算任务的应用部署在Kubernetes Service的多个Pod复制集中，通过Service访问计算应用时，利用基于七层负载均衡的策略以及Pod分配调度策略，将请求的计算任务分发到这些运行相同程序的某个Pod中，从而实现并行计算。本发明还提供了一种基于Kubernetes的并行计算任务调度系统：任务调度队列，用于提供根据计算任务创建任务调度队列、添加计算任务、调整计算任务优先级、记录已执行任务及其执行结果并根据结果决策后续处理、设定调度策略和定制调度策略；计算资源池，用于提供对Kubernetes的计算资源的管理；外部调度器，用于实现计算任务的调度分发和计算资源的调度。本发明能有效的解决网络规划场景下串行计算效率低下的问题。

技术领域

本发明属于并行计算技术领域，更具体地，涉及一种基于Kubernetes的并行计算任务调度方法与系统。

背景技术

随着并行计算、分布式存储、容器集群等技术的不断发展，容器部署的分布式计算集群系统成为了传统互联网通信的新方向。特别是在网络规划方面，多方案多策略同时提供成为了客户的新需求，这就引入了大量的计算任务，因此对并行计算提出来新的要求。

使用Kubernetes搭建的集群环境，采取多Pod并行计算能够一部分的满足并行计算的要求，但由于Kubernetes提供的负载均衡策略单一、对七层负载均衡支持不足等问题，也使得其不能满足网络规划计算中的一些特点业务需求。Kubernetes提供的负载均衡及Pod调度，以及现有的针对Kubernetes集群调度的方案，大多提供的都是对Pod资源的调度，在计算大量的小规模任务时，Pod的频繁迁移、重启加大了集群系统的负担。因此，提供一种更加灵活的、基于计算任务的调度方式与系统，是更好满足网络规划中并行计算特点的关键。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于Kubernetes的并行计算任务调度方案，解决网络规划场景下，网络规划任务并行计算中计算任务调度机制单一、无法灵活定制策略的问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于Kubernetes的并行计算任务调度方法，包括：

将运行计算任务的应用部署在Kubernetes Service的多个Pod复制集中，通过Service访问计算应用时，利用基于七层负载均衡的策略以及Pod分配调度策略，将请求的计算任务分发到这些运行相同程序的某个Pod中，从而实现并行计算；其中，所述基于七层负载均衡的策略，具体为：

利用基于URL的七层负载均衡的外部调度器，根据多种指定策略和具体业务场景需求指定任务发往执行的Pod，在此外部调度器的支持下，计算任务分发时不会在最初完成所有任务的分发，而会在所有Pod均分入任务运行时暂停任务分发，等待某个Pod中的任务运行完成再进行分发，从而使得任务的运行时间整体更优。

本发明的一个实施例中，所述Pod分配调度策略，具体为：在外部调度器中实现任务分发时的检测机制，实时监控Pod所在节点资源的使用情况并预估待分发任务所需的资源，当资源不足时，暂缓任务分发，等待资源充足时再行分发或动态扩充资源。

本发明的一个实施例中，所述Pod分配调度策略，具体为：当待分发的任务较多，负载较重时，为这些任务动态地分配更多Pod供其选择，从而保证任务的稳定运行。

本发明的一个实施例中，所述Pod分配调度策略的实现方式为：

实现多个个并行计算任务的调度队列，每个任务调度队列中收集一类有共同目标服务的任务，并为任务调度队列分配可使用的Pod资源，同时外部调度器实现任务调度队列与Pod绑定关系的功能，该功能的调度方式为将Pod分配给不同的任务调度队列，而非迁移Pod所在的物理机，当任务调度队列的任务负载过大时，该外部调度器可以动态地将分配给较空闲的队列的Pod调度至该负载较大的任务调度队列使用。