[发明专利]大数据框架处理任务的资源管理方法

权利要求书

1.一种大数据框架处理任务的资源管理方法，其特征在于：所述方法包括如下步骤：

步骤S10、资源管理系统创建资源预估表、从各服务器采集服务器资源信息，并将资源预估表以及服务器资源信息存储至存储系统；所述资源预估表具体包括：历史任务的类型、执行历史任务所需的资源种类以及数量；

步骤S20、应用端向资源管理系统申请服务器资源，若指定申请数量，则进入步骤S30；若未指定申请数量，则进入步骤S60；

步骤S30、资源管理系统登记应用端资源申请的流水信息，并依据流水信息以及存储系统中的服务器资源信息判断所申请的服务器资源数量是否超过资源管理系统中服务器资源总数，若未超过，则进入步骤S40；若超过，则返回错误信息至应用端，更新流水信息，并结束流程；

所述流水信息具体包括所需服务器资源、资源状态以及任务信息；所述资源状态包括申请中、申请成功、已回收以及申请失败；所述任务信息包括任务类型、执行任务耗时以及执行是否成功；

步骤S40、判断所申请的资源是否被占用，若是，则进入定时任务；若否，则申请服务器资源，并更新流水信息中的资源状态为申请中，进入步骤S50；所述定时任务具体包括：对资源被占用等待队列进行定时扫描；对流水信息进行定时扫描；对资源预估表进行定时计算更新；

步骤S50、如果申请服务器资源成功，更新流水信息，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息以及资源预估表；如果申请服务器资源失败，则返回错误信息至应用端，更新流水信息，并结束流程；

步骤S60、资源管理系统判断该任务是否为新任务，若否，则根据存储系统中存储的资源预估表判断该任务需要的资源数量，并进入步骤S30；若是，则根据资源管理系统设定的参数计算所需资源，并进入步骤S40。

2.如权利要求1所述的大数据框架处理任务的资源管理方法，其特征在于：所述步骤S10中，所述服务器资源信息具体包括：大数据服务器数量、大数据服务器的CPU数量、大数据服务器的内存容量、应用服务器数量、应用服务器的CPU数量以及应用服务器的内存容量。

3.如权利要求1所述的大数据框架处理任务的资源管理方法，其特征在于：所述步骤S30中，所述更新流水信息具体为：更新流水信息中的资源状态为申请失败。

4.如权利要求1所述的大数据框架处理任务的资源管理方法，其特征在于：所述步骤S50中，所述如果申请服务器资源成功，更新流水信息，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息以及资源预估表具体为：

如果申请大数据服务器以及应用服务器均成功，更新流水信息中的资源状态为申请成功，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息的资源状态为已回收、更新资源预估表。

5.如权利要求1所述的大数据框架处理任务的资源管理方法，其特征在于：所述步骤S50中，所述如果申请服务器资源失败，则返回错误信息至应用端，更新流水信息具体为：如果申请大数据服务器或者应用服务器失败，则返回错误信息至应用端，更新流水信息中的资源状态为申请失败。