[发明专利]基于Hadoop平台的资源分配参数设置方法、设备及存储介质

权利要求书

1.一种基于Hadoop平台的资源分配参数设置方法，其特征在于，所述基于Hadoop平台的资源分配参数设置方法包括以下步骤：

获取预设任务的任务信息；

获取所述任务信息对应的任务数据大小信息；

基于所述任务数据大小信息和预设参数计算模型设置目标资源分配参数；所述目标资源分配参数的设置还与预设客户端和/或资源空闲情况信息相关；

其中，所述目标资源分配参数是基于诉求资源分配参数设置规则调整初始资源分配参数得到的；所述诉求资源分配参数设置规则是基于所述预设参数计算模型匹配所述预设任务的任务执行诉求得到的；所述初始资源分配参数与所述预设参数计算模型和资源分配参数相关信息相关，且所述资源分配参数相关信息与所述任务数据大小信息相关；所述诉求资源分配参数设置规则包括稳定性资源分配参数设置规则、时效性资源分配参数设置规则或响应时间资源分配参数设置规则。

2.如权利要求1所述的基于Hadoop平台的资源分配参数设置方法，其特征在于，所述基于所述任务数据大小信息和预设参数计算模型设置目标资源分配参数，包括：

基于所述任务数据大小信息计算资源分配参数相关信息；

基于所述预设参数计算模型和所述资源分配参数相关信息设置所述目标资源分配参数。

3.如权利要求2所述的基于Hadoop平台的资源分配参数设置方法，其特征在于，所述基于所述任务数据大小信息计算资源分配参数相关信息之前，包括：

基于所述任务信息获取判断相关信息；

基于所述判断相关信息判断所述预设任务是否需要预设客户端协助处理；

若是，则获取所述协助处理对应的协助处理数据大小信息；

所述基于所述任务数据大小信息计算资源分配参数相关信息，包括：

基于所述任务数据大小信息和所述协助处理数据大小信息计算所述资源分配参数相关信息。

4.如权利要求3所述的基于Hadoop平台的资源分配参数设置方法，其特征在于，所述基于预设参数计算模型和所述资源分配参数相关信息设置所述目标资源分配参数之前，包括：

获取资源空闲情况信息；

所述基于预设参数计算模型和所述资源分配参数相关信息设置所述目标资源分配参数，包括：

基于所述资源空闲情况信息、所述预设参数计算模型和所述资源分配参数相关信息设置初始资源分配参数；

获取所述预设任务的任务执行诉求；

基于所述初始资源分配参数和所述任务执行诉求设置所述目标资源分配参数。

5.如权利要求1所述的基于Hadoop平台的资源分配参数设置方法，其特征在于，所述基于所述预设参数计算模型匹配所述任务执行诉求，得到诉求资源分配参数设置规则，包括：

基于预设历史资源分配效果调整所述预设参数计算模型，得到调整后参数计算模型；

基于所述调整后参数计算模型匹配所述任务执行诉求，得到诉求资源分配参数设置规则。

6.如权利要求1所述的基于Hadoop平台的资源分配参数设置方法，其特征在于，所述基于所述任务数据大小信息和预设参数计算模型设置目标资源分配参数之前，包括：训练所述预设参数计算模型，具体包括：

获取参数计算训练集和未训练参数计算模型；

基于所述参数计算训练集训练所述未训练参数计算模型，得到所述预设参数计算模型。

7.如权利要求1所述的基于Hadoop平台的资源分配参数设置方法，其特征在于，所述获取所述任务信息对应的任务数据大小信息，包括：

获取所述任务信息对应的数据库相关信息；

读取所述数据库相关信息对应的元数据信息，得到所述任务数据大小信息。