[发明专利]大数据框架处理任务的资源管理方法

说明书

本发明提供了一种大数据框架处理任务的资源管理方法，包括如下步骤：步骤S1、将服务器资源信息存储至存储系统；步骤S2、应用端向资源管理系统申请服务器资源；步骤S3、资源管理系统判断资源是否能满足申请所需，若满足，则分配资源；若不满足，则将任务加入等待队列，并按设定的规则进行资源分配。本发明的优点在于：对企业的服务器资源进行有效的管理以及调度，减少了资源的浪费；资源管理系统自动分配资源，降低了人工干预的工作量，提高了运行维护的效率。

技术领域

本发明涉及一种资源管理方法，特别指一种大数据框架处理任务的资源管理方法。

背景技术

随着科技的进步，业务的发展，很多企业需要成百上千台的服务器来满足业务的需要。但是，在这些服务器执行大数据任务时，如何对服务器的资源进行管理以及有效的利用成为一个亟待解决的问题。资源管理系统如果没有掌握服务器资源的利用情况，就无法得知系统资源的利用率，无法得知有哪些资源处于空闲状态，哪些资源已经脱离了系统的管理，成为僵尸资源，由此造成了大量的可用资源的闲置，且需要人工进行干预，大大提高了服务器的运行维护成本。因此，对企业的服务器资源进行有效的管理以及调度，显得非常的重要且急迫。

发明内容

本发明要解决的技术问题，在于提供一种大数据框架处理任务的资源管理方法，用来提高资源的利用率，提高资源运行维护的自动化程度。

本发明是这样实现的：一种大数据框架处理任务的资源管理方法，所述方法包括如下步骤：

步骤S10、资源管理系统创建资源预估表、从各服务器采集服务器资源信息，并将资源预估表以及服务器资源信息存储至存储系统；

步骤S20、应用端向资源管理系统申请服务器资源，若指定申请数量，则进入步骤S30；若未指定申请数量，则进入步骤S60；

步骤S30、资源管理系统登记应用端资源申请的流水信息，并依据流水信息以及存储系统中的服务器资源信息判断所申请的服务器资源数量是否超过资源管理系统中服务器资源总数，若未超过，则进入步骤S40；若超过，则返回错误信息至应用端，更新流水信息，并结束流程；

步骤S40、判断所申请的资源是否被占用，若是，则进入定时任务；若否，则申请服务器资源，并更新流水信息，进入步骤S50；

步骤S50、如果申请服务器资源成功，更新流水信息，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息以及资源预估表；如果申请服务器资源失败，则返回错误信息至应用端，更新流水信息，并结束流程；

步骤S60、资源管理系统判断该任务是否为新任务，若否，则根据存储系统中存储的资源预估表判断该任务需要的资源数量，并进入步骤S30；若是，则根据资源管理系统设定的参数计算所需资源，并进入步骤S40。

进一步地，所述步骤S10中，所述资源预估表具体包括：历史任务的类型、执行历史任务所需的资源种类以及数量；

进一步地，所述步骤S10中，所述服务器资源信息具体包括：大数据服务器数量、大数据服务器的CPU数量、大数据服务器的内存容量、应用服务器数量、应用服务器的CPU数量以及应用服务器的内存容量。

进一步地，所述步骤S30中，所述流水信息具体包括所需服务器资源、资源状态以及任务信息；所述资源状态包括申请中、申请成功、已回收以及申请失败；所述任务信息包括任务类型、执行任务耗时以及执行是否成功；

进一步地，所述步骤S30中，所述更新流水信息具体为：更新流水信息中的资源状态为申请失败。

进一步地，所述步骤S40中，所述定时任务具体包括：对资源被占用等待队列进行定时扫描；对流水信息进行定时扫描；对资源预估表进行定时计算更新；