[发明专利]资源分配方法、装置、计算机设备以及存储介质

说明书

本申请提供一种资源分配方法、装置、计算机设备以及存储介质，所述方法包括：获取待执行的目标任务；确定所述目标任务对应的总需求资源；当所述目标任务对应所属的第一资源池中的剩余资源小于所述总需求资源时，确定所述目标任务对应的需求缺口资源；基于所述需求缺口资源，对第二资源池中的可用资源进行分配，得到外区拆借资源，所述外区拆借资源和所述剩余资源用于执行所述目标任务，所述第二资源池与所述第一资源池具有相同的角色属性和不同的区域属性。采用本方法，不仅可提高资源利用率，还可提升任务执行效率。

技术领域

本申请涉及资源调度技术领域，具体涉及一种资源分配方法、装置、计算机设备以及存储介质。

背景技术

资源调度是一种大数据计算领域中的资源平衡策略，其主要目的是对不同计算任务进行资源的统一控制与调配，使不同任务的资源能得以隔离、互不干扰，进而促使资源的利用得到最大化、任务执行效率更高。

然而，现有的资源调度方法普遍采用先进先出的策略，极易出现某人在短时间内提交多个SQL(Structured Query Language)，而导致整个集群资源被一个人独占的情况。同时，由于无法判断两个SQL，即A、B资源需求中的哪个与目前的集群资源更匹配，只能以SQL提交的时间先后进行资源分配后的任务执行，从而也极易出现如下情况：早期提交的任务因资源需求和当前集群不匹配，导致其任务不能执行而阻塞其余靠后提交且资源需求和当前集群相匹配的任务，使得任务处理效率降低。

因此，现有的资源调度方法存在因资源调度不合理，而导致资源利用率不高的技术问题。

发明内容

基于此，有必要针对上述技术问题，提供一种资源分配方法、装置、计算机设备以及存储介质，用以合理分配各项资源、提高资源利用率，提升任务处理效率。

第一方面，本申请提供一种资源分配方法，所述方法包括：

获取待执行的目标任务；

确定所述目标任务对应的总需求资源；

当所述目标任务对应所属的第一资源池中的剩余资源小于所述总需求资源时，确定所述目标任务对应的需求缺口资源；

基于所述需求缺口资源，对第二资源池中的可用资源进行分配，得到外区拆借资源，所述外区拆借资源和所述剩余资源用于执行所述目标任务，所述第二资源池与所述第一资源池具有相同的角色属性和不同的区域属性。

在本申请一些实施例中，所述获取待执行的目标任务的步骤，包括：

获取预设时段内待执行任务的任务处理信息，所述任务处理信息包括读入数据信息、内存耗费信息、核心数占用信息、混洗数据信息以及聚合次数信息；

根据预设的时长计算权值，对所述任务处理信息进行加权求和处理，得到所述待执行任务的资源占用时长，所述时长计算权值是根据历史任务的任务处理信息确定的；

根据所述待执行任务的资源占用时长，获取待执行的目标任务。

在本申请一些实施例中，所述待执行任务包括至少两个的待执行任务，所述根据所述待执行任务的资源占用时长，获取待执行的目标任务的步骤，包括：

确定各所述待执行任务对应的资源占用时长；

基于所述资源占用时长，对各所述待执行任务进行升序排列，得到待执行任务序列；

基于所述待执行任务序列，确定各所述待执行任务的任务优先级，所述任务优先级在所述待执行任务序列中按序降低；

基于所述任务优先级，确定各所述待执行任务的任务状态，所述任务状态包括待执行状态和等待状态；

根据各所述待执行任务的任务状态，获取待执行的目标任务，所述目标任务的任务状态为所述待执行状态。