[发明专利]集群任务的资源分配方法及装置、计算机装置及存储介质

说明书

本发明涉及一种集群任务的资源分配方法及装置、计算机装置及存储介质，其中方法包括获取待处理集群任务的任务特征信息；基于任务特征信息确定上述待处理集群任务的任务类别，以及确定与上述待处理集群任务的任务类别对应的资源预测模型；基于上述任务特征信息，以及上述对应的资源预测模型，获取上述待处理集群任务的资源需求信息；根据上述资源需求信息为上述待处理集群任务进行资源分配。本发明实施例提供的技术方案能够为每个集群任务准确分配所需的资源。

技术领域

本发明涉及计算机技术领域，具体涉及一种集群任务的资源分配方法及装置、计算机装置及存储介质。

背景技术

随着计算需求的增大，越来越多计算中心提供了集群服务，开发者可以通过向提供集群服务的集群计算中心远程提交集群任务，以由集群计算中心进行计算，并获得最终的计算结果。

对于集群计算中心而言，其通常面向的开发者数量众多，接收到的集群任务的数量也很大，而不同类别的集群任务之间，其所需要的资源之间的差异较大，例如单机的计算密集型任务对网络资源基本不会有很大依赖，而多机分布式机器学习任务对网络资源的需求可能会非常大，不同任务类别之间对资源的使用会有很大差别。

现有技术中提供的一种处理方式，是由提交集群任务的开发者对所需要的资源进行设置，然而开发者通常对于具体的资源需求没有清晰的认知，其提供的资源设置信息往往与实际情况差异较大。

因此，现有技术中存在无法对开发者提交的集群任务的资源需求情况进行准确预测的问题，并容易导致集群计算中心的资源分配不均，以及集群任务由于资源不足无法实现执行的问题。

发明内容

本发明提供了一种集群任务的资源分配方法及装置、计算机装置及存储介质，以解决上述背景技术中存在的至少一个问题。

为了实现上述目的，第一方面，本发明实施例提供了一种集群任务的资源分配方法，包括：

获取待处理集群任务的任务特征信息；

基于所述待处理集群任务的任务特征信息确定上述待处理集群任务的任务类别，以及确定与上述待处理集群任务的任务类别对应的资源预测模型；

基于上述待处理集群任务的任务特征信息，以及上述对应的资源预测模型，获取上述待处理集群任务的资源需求信息；

根据上述待处理集群任务的资源需求信息为上述待处理集群任务进行资源分配。

在一些实施例中，上述方法还包括：

获取已完成集群任务的任务特征信息；

基于上述已完成集群任务的任务特征信息，通过预设的聚类算法进行聚类处理，以获取上述集群任务的任务类别，以及每个任务类别对应的聚类标准；

上述基于上述待处理集群任务的任务特征信息确定上述待处理集群任务的任务类别包括：

基于上述待处理集群任务的任务特征信息，以及每个任务类别对应的聚类标准，获取上述待处理集群任务的任务类别。

在一些实施例中，上述任务特征信息包括文件大小、文件数目、文件类型、镜像名称、镜像大小、镜像哈希码、程序文本长度、外部获取的数据集大小中的至少一项。

在一些实施例中，上述方法还包括：

获取每个任务类别的已完成集群任务的资源使用信息；

基于每个任务类别的已完成集群任务的任务特征信息，以及每个任务类别的已完成集群任务的资源使用信息进行模型训练，以获取与每个任务类别对应的资源预测模型。

在一些实施例中，上述资源使用信息包括资源消耗信息、资源使用周期信息、资源异常信息和资源使用峰值信息中的至少一项；