[发明专利]实现离在线业务混合部署的方法、装置、设备及介质

说明书

本发明公开了一种实现离在线业务混合部署的方法，包括步骤：获取集群管理平台的相关资源定义参数；依据集群管理平台的资源定义参数和信息发布请求，获取统一发布服务平台各业务资源相适应的配置信息；依据所述集群管理平台的资源定义参数，及统一发布服务平台的配置信息，获取主机的相关资源配置参数；依据所述集群管理平台的资源定义参数，及主机的资源配置参数，获取多个集群资源的部署信息；依据所述多个集群资源的部署信息，获取监控指标数据，并调整统一发布服务平台的相关资源定义参数，和主机的相关资源配置参数。本申请能够根据应用属性动态建模，保障高优先级应用，实现离在线混合部署，利用离在线应用潮汐特性，提升资源利用率。

技术领域

本发明涉及数据处理技术领域，尤其是一种实现离在线业务混合部署的方法、装置、电子设备及存储介质。

背景技术

网络发布平台发布数据包括在线数据发布业务和离线数据发布业务，在现有技术中，离线数据发布业务和在线数据发布业务的集群均为专用集群，两者相互隔离，资源不共线，两种业务具有潮汐特性，离线任务多为晚间运行，在线业务多为白天运行，为保证在线业务的稳定性，一般会预留较多空闲扩展资源池用于临时扩容，同时，为了提高在线数据发布业务的效率，一般对在线应用设置等级定义，但在集群中无优先级差别，这些问题导致离在线集群资源无法共享，资源利用率较低，应用无优先级定义，在集群资源过载时无法优先保证高优先级应用的可用性。

因此，需要一种能够实现离在线业务混合部署的方法，提升集群资源整体利用效率，并能够保证在线业务的稳定性。

发明内容

为此，本发明提供了一种实现离在线业务混合部署的方法、装置、电子设备及存储介质，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种实现离在线业务混合部署的方法，该方法通过集群管理平台实现对集群资源定义、应用模板定义和资源协调器定义，通过统一发布服务平台实现应用属性建模、调度、编排和发布工作，所述方法包括步骤：

获取集群管理平台的相关资源定义参数，所述集群管理平台的相关资源包括：集群资源、应用模板、资源协调器；

依据所述集群管理平台的相关资源定义参数和信息发布请求的类型及数据，获取统一发布服务平台各业务资源相适应的配置信息，所述信息发布请求的类型包括在线发布请求、离线发布请求，所述统一发布服务平台各业务资源包括：应用识别、应用建模、应用编排、应用发布；

依据所述集群管理平台的相关资源定义参数，及所述统一发布服务平台各业务资源相适应的配置信息，获取主机的相关资源配置参数，所述主机的相关资源包括：API接口服务、列表服务、控制服务；

依据所述集群管理平台的相关资源定义参数，及主机的相关资源配置参数，获取多个集群资源的部署信息，所述多个集群资源包括Kubernetes在线集群资源、Hadoop离线集群资源、混合集群资源；

依据所述多个集群资源的部署信息，获取多个集群资源的监控指标数据，并调整所述统一发布服务平台的相关资源定义参数，和主机的相关资源配置参数。

可选的，所述获取集群管理平台的相关资源定义参数的步骤包括：

依据集群资源的标签、污点信息，获取集群资源的标识节点资源特性信息；

依据信息发布请求的类型，按照应用特性匹配参数，获取应用模板定义信息；

依据所述发布请求的数据信息，获取在所述发布请求数据资源过载时，驱离或调整资源配置策略的资源协调器定义信息。

可选的，所述依据信息发布请求的类型，按照应用特性匹配参数，获取应用模板定义信息包括：

使用的资源类型信息，所述使用的资源类型包括中央处理器CPU、存储器memory、图形处理器GPU；

节点选择器信息；