[发明专利]一种资源分配的方法及装置

说明书

本公开涉及计算机网络技术领域，尤其涉及一种资源分配的方法及装置，该方法包括：接收针对目标作业的资源分配请求；根据所述资源分配请求，确定用于运行所述目标作业的容器大小；在根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求时，获取当前已预留资源的节点信息；所述节点信息用于指示为容器预留了资源的节点；根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果。本公开实施例通过对预留资源的节点进行相关限制，可以提升集群资源的利用率，避免节点资源的浪费。

技术领域

本公开涉及计算机网络技术领域，具体而言，涉及一种资源分配的方法及装置。

背景技术

Hadoop YARN是一种集群资源管理和调度平台，其中Hadoop是分布式系统基础架构，YARN(Yet Another Resource Negotiator)是资源调度器，当用户提交作业时，YARN根据策略按序将资源以资源容器(container)的形式分配给用户作业，但当用户作业所需的单个容器的大小较大、而当前节点上的空闲资源都不足以分配时，会导致为用户作业分配资源失败，从而导致该类作业极难拿到资源。因此YARN使用预留策略，当较大的container在节点上尝试分配失败后，会在该节点上为该容器预留所需的资源。

但是，采用上述预留机制可能会造成节点上大部分资源因预留而浪费，造成集群资源利用率过低。

发明内容

有鉴于此，本公开实施例至少提供一种资源分配的方法及装置。

本公开主要包括以下几个方面：

第一方面，本公开实施例提供一种资源分配的方法，所述资源分配的方法包括：

接收针对目标作业的资源分配请求；

根据所述资源分配请求，确定用于运行所述目标作业的至少一个容器大小；

在根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求时，获取当前已预留资源的节点信息；所述节点信息用于指示为容器预留了资源的节点；

根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果。

在一种可能的实施方式中，根据所述资源分配请求，确定用于运行所述目标作业的至少一个容器大小，包括：

获取所述资源分配请求中携带的容器信息，所述容器信息中包含所述目标作业所需的容器大小；或者，

根据所述目标作业所需的总资源信息，确定所述目标作业所需的容器大小。

在一种可能的实施方式中，根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求，包括：

获取所述目标作业所属业务类型对应的各节点的剩余资源信息；

针对所述目标作业，根据各节点的剩余资源信息，以及该目标作业所需的所述容器大小，判断当前是否存在任一节点的剩余资源满足该目标作业的需求，若不存在，则确定该目标作业对应的容器存在资源预留需求。

在一种可能的实施方式中，根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果，包括：

将所述至少一个容器中的每个容器作为当前容器，执行：

根据所述当前已预留资源的节点信息，确定所述目标作业所属业务类型对应的节点集合中已预留资源的第一节点数量；根据所述第一节点数量与所述节点集合对应的节点总数量，确定是否为当前容器预留资源；响应于为当前容器预留资源后，更新所述第一节点数量，并存储与当前容器对应的预留资源信息。

在一种可能的实施方式中，根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果，包括：