[发明专利]基于声明式API的数据传输系统资源调度的方法及存储介质

说明书

本发明公开了基于声明式API的数据传输系统资源调度的方法及存储介质，属于Kubernetes环境下资源调度技术领域，本发明要解决的技术问题为如何利用Kubernetes资源编排能力实现对数据传输系统资源的方便快捷调度，采用的技术方案为：该方法具体如下：自定义API资源类型CRD：分别定义数据传输系统的采集端资源、入库端资源和消息中间件资源的资源类型CRD；其中，资源类型CRD的组为dts；应用对应资源类型CRD的资源描述文件对采集端资源、入库端资源和消息中间件资源进行调度，并通过自定义控制器捕获应用的资源文件实现对应的资源调度工作；通过对资源文件的定义完成底层物理资源与业务逻辑资源的抽象，并通过自定义控制器实现对业务资源的调度。

技术领域

本发明涉及Kubernetes环境下资源调度技术领域，具体地说是一种基于声明式API的数据传输系统资源调度的方法及存储介质。

背景技术

kubernetes，简称K8s，是用8代替8个字符ubernete而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署，规划，更新，维护的一种机制。传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统绑定，这样做并不利于应用的升级更新/回滚等操作，当然也可以通过创建虚拟机的方式来实现某些功能，但是虚拟机非常重，并不利于可移植性。新的方式是通过部署容器方式实现，每个容器之间互相隔离，每个容器有自己的文件系统，容器之间进程不会相互影响，能区分计算资源。相对于虚拟机，容器能快速部署，由于容器与底层设施、机器文件系统解耦的，所以它能在不同云、不同版本操作系统间进行迁移。容器占用资源少、部署快，每个应用可以被打包成一个容器镜像，每个应用与容器间成一对一关系也使容器有更大优势，使用容器可以在build或release的阶段，为应用创建容器镜像，因为每个应用不需要与其余的应用堆栈组合，也不依赖于生产环境基础结构，这使得从研发到测试、生产能提供一致环境。类似地，容器比虚拟机轻量、更透明，这更便于监控和管理。

Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。在Kubernetes中，可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。

平时在部署一个简单的Webserver到Kubernetes集群中的时候，都需要先编写一个Deployment的控制器，然后创建一个Service对象，通过Pod的label标签进行关联，最后通过Ingress或者type＝NodePort类型的Service来暴露服务，每次都需要这样操作略显麻烦。

故如何利用Kubernetes资源编排能力实现对数据传输系统资源的方便快捷调度是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种基于声明式API的数据传输系统资源调度的方法及存储介质，来解决如何利用Kubernetes资源编排能力实现对数据传输系统资源的方便快捷调度的问题。

本发明的技术任务是按以下方式实现的，一种基于声明式API的数据传输系统资源调度的方法，该方法具体如下：

自定义API资源类型CRD：分别定义数据传输系统的采集端资源、入库端资源和消息中间件资源的资源类型CRD；其中，资源类型CRD的组为dts；

应用对应资源类型CRD的资源描述文件对采集端资源、入库端资源和消息中间件资源进行调度，并通过自定义控制器捕获应用的资源文件实现对应的资源调度工作；

通过对资源文件的定义完成底层物理资源与业务逻辑资源的抽象，并通过自定义控制器实现对业务资源的调度。