[发明专利]一种任务分配方法、装置、设备及计算机可读介质

权利要求书

1.一种任务分配方法，其特征在于，所述方法包括：

响应于待处理任务的任务处理请求，获取至少两个资源池的剩余资源和每个所述资源池所属服务器集群的集群性能参数；

获取待处理任务的任务数据；

根据所述任务数据以及各个资源池所属服务器集群的集群性能参数，确定不同资源池所属服务器集群处理所述待处理任务时的所需资源量；

将所述剩余资源大于或等于所述所需资源量的至少一个资源池作为待选资源池，计算每个待选资源池处理所述待处理任务的预估处理时间；

根据每个待选资源池所属服务器集群处理所述待处理任务的预估处理时间，确定所述待处理任务的目标资源池，包括：

判断所述预估处理时间最小的待选资源池对应的任务列表是否为空；

若预估处理时间最小的待选资源池对应的任务列表为空，将预估处理时间最小的待选资源池作为所述目标资源池；

若预估处理时间最小的待选资源池对应的任务列表不为空，获取每个待选资源池对应的任务列表中等待任务的预估处理时间；

根据每个待选资源池对应的任务列表中等待任务的预估处理时间，计算每个待选资源池在预设时间段内处理任务的数量；

选择预设时间段内处理任务的数量最多的待选资源池作为目标资源池；

将所述待处理任务分配至所述目标资源池。

2.根据权利要求1所述的方法，其特征在于，所述获取每个所述资源池所属服务器集群的集群性能参数，包括：

获取每个资源池所属服务器集群中的HIVE配置参数，以及获取每个资源池所属服务器集群的数据读速率DR和数据写速率DW；

根据所述HIVE配置参数确定每个资源池所属服务器集群中单个归约函数配置的参考数据处理量，每个任务最多配置的归约函数配置量，以及，单个归约函数配置最大数据处理量和最小数据处理量。

3.根据权利要求2所述的方法，其特征在于，获取待处理任务的任务数据，包括：

获取所述待处理任务中所包含数据表所对应的数据集的数据量值；以及，获取所述待处理任务的维度；

将所有表的数据集的数据量值相加得到待处理总数据量；

将所述待处理总数据量和维度，作为所述待处理任务的任务数据。

4.根据权利要求3所述的方法，其特征在于，确定不同资源池所属服务器集群处理所述待处理任务时的所需资源量，包括：

针对每个资源池所属服务器集群，利用参考数据处理量、最大数据处理量和最小数据处理量计算平均数据处理量；

利用总数据量除以平均数据处理量计算映射函数个数；

利用归约函数配置量、总数据量和参考数据处理量计算归约函数个数；

利用映射函数个数和归约函数个数，计算所述所需资源量。

5.根据权利要求4所述的方法，其特征在于，所述计算每个待选资源池处理所述待处理任务的预估处理时间，包括：

根据所述待处理任务的映射函数个数和归约函数个数，计算所述待处理任务的任务权重；

根据所述任务权重和所述维度，确定所述待处理任务的任务复杂度；

根据所述任务复杂度、每个待选资源池所属服务器集群的数据读速率DR和数据写速率DW，计算每个待选资源池处理所述待处理任务的预估处理时间。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

判断是否存在剩余资源大于或等于所述所需资源量的资源池；

若不存在所述剩余资源大于或等于所述所需资源量的资源池，将所述待处理任务加入至批量等待列表中，并检测任意一个或多个资源池是否有资源释放操作；若任意一个或多个资源池有资源释放操作，执行判断是否存在剩余资源大于或等于所述所需资源量的资源池的步骤，直至出现剩余资源大于或等于所述所需资源量的资源池。