[发明专利]集群计算存储资源分配方法和装置

说明书

本申请涉及大数据技术领域，具体地公开了一种集群计算存储资源分配方法和装置，其中，该方法包括：获取集群的多个租户中各租户的历史资源运行信息；对历史资源运行信息进行划分，得到各租户在多个时间段中各时间段的资源运行信息；基于各租户在各时间段的资源运行信息进行特征选择，得到各租户在多个时间段中各时间段的资源运行特征；对各租户在各时间段的资源运行特征进行向量化处理，得到特征数据集和标签集；根据特征数据集和标签集，构建目标预测模型，以利用目标预测模型确定集群在目标时间段内的资源分配信息，并依据资源分配信息对集群的计算存储资源进行分配。上述方案可以实现集群资源最大化利用。

技术领域

本申请涉及大数据技术领域，特别涉及一种集群计算存储资源分配方法和装置。

背景技术

近些年大数据技术越来越流行，基于Hadoop集群等框架的各种大数据产品越来越受到用户的青睐。传统的大数据产品，几乎都是为多租户中的每个租户设置好固定CPU和内存，一旦设置好就会一直以这样的状态进行工作。这样设置虽然操作简便、维护方便，但也带来了不少弊端。例如，在高峰时刻一些高并发的场景的租户受到资源的限制出现等待情况，导致作业运行缓慢，甚至出现假死的状态；一些场景就只有少量时间运行大数据计算，大部分时间都处于空闲状态，造成资源浪费。虽然一些产品可以基于百分比配置，但最大资源百分比一旦确定，也还是限制了计算资源。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种集群计算存储资源分配方法和装置，以根据运行场景动态分配集群的计算存储资源。

本申请实施例提供了一种集群计算存储资源分配方法，包括：获取集群的多个租户中各租户的历史资源运行信息；对历史资源运行信息进行划分，得到各租户在多个时间段中各时间段的资源运行信息；基于各租户在各时间段的资源运行信息进行特征选择，得到各租户在多个时间段中各时间段的资源运行特征；对各租户在各时间段的资源运行特征进行向量化处理，得到特征数据集和标签集，其中，标签集中包括特征数据集中各特征数据对应的标签；根据特征数据集和标签集，构建目标预测模型，以利用目标预测模型确定集群在目标时间段内的资源分配信息，并依据资源分配信息对集群的计算存储资源进行分配。

在一个实施例中，根据特征数据集和标签集，构建目标预测模型，包括：将特征数据集划分为第一特征数据集和第二特征数据集；将标签集划分为第一标签集和第二标签集，其中，第一标签集中包括第一特征数据集中各特征数据对应的标签，第二标签集中包括第二特征数据集中各特征数据对应的标签；基于第一特征数据集和第一标签集对预设模型进行训练，得到预测模型；基于第二特征数据集和第二标签集对预测模型进行验证；在验证结果满足预设条件的情况下，将预测模型作为目标预测模型。

在一个实施例中，基于第一特征数据集和第一标签集对预设模型进行训练，得到预测模型，包括：基于第一特征数据集和第一标签集，利用预设的多种算法中的各算法，对预设模型进行训练，得到训练后的多个模型。

在一个实施例中，依据资源分配信息对集群的计算存储资源进行分配，包括：根据资源分配信息更新资源分配规则表；将资源分配规则表中的资源分配信息插入到资源调整等待队列中；从资源调整等待队列中读取资源分配信息，并通过调用集群接口自动调整多个租户中各租户的资源。

在一个实施例中，资源分配规则表中包括crontab表达式；相应的，将资源分配规则表中的资源分配信息插入到资源调整等待队列中，包括：通过crontab表达式定时将资源分配规则表中的资源分配信息插入到资源调整等待队列中。

在一个实施例中，资源运行特征包括以下至少之一：资源百分比、资源内存量、资源vcore数量。

在一个实施例中，在依据资源分配信息对集群的计算存储资源进行分配之后，还包括：将集群分配信息存储至预设数据库中。