[发明专利]一种资源的控制方法、装置及系统

说明书

本发明提供一种资源的控制方法、装置及系统，该方法包括：接收一用于将预设资源类型的资源量调整至目标资源量的资源调整指示信息；向资源管理器RM发送更新所述NM的资源量的资源更新通知信息，其中若当前所述预设资源类型占用的资源量大于所述目标资源量，则所述资源更新通知信息中携带有第一资源标识信息。本发明通过节点管理器接收资源调整指示信息，并向资源管理器发送资源更新通知消息，使得资源管理器控制节点管理器调整资源量，从而可动态控制NM所占用的数据处理资源，提高数据处理资源的使用效率。

技术领域

本发明涉及大数据领域，特别是涉及一种资源的控制方法、装置及系统。

背景技术

随着大数据处理技术的发展，对数据处理过程中所占用的处理资源越来越有必要进行控制。Yarn(Yet Another Resource Negotiator，另一种资源协调者)是大数据处理领域被广泛应用的一种数据处理资源管理组件。

Yarn分为RM(Resource Manager，资源管理器)和(Node Manager，节点管理器)。其中，NM向RM上报自己可用的资源，RM根据作业的请求进行分配。

但现有技术中，Yarn的NM在启动后，只能使用预先配置好的资源量，无法动态变更自己可用的资源量。如果NM所在节点上还存在其它系统也需要处理资源，则即便分配给NM的资源并未被完全使用，其它系统也不能便占用这些资源。如果要调整，需要操作者确认调整后的资源量和当前正在运行的作业的资源需求是否匹配，并且需要重启NM，处理步骤复杂且不够智能化。

发明内容

本发明的目的在于提供一种资源的控制方法、装置及系统，用以解决现有技术中NM所占用的数据处理资源调整困难的问题。

为了解决上述技术问题，本发明实施例提供一种资源的控制方法，包括：

接收一用于将预设资源类型的资源量调整至目标资源量的资源调整指示信息；

根据所述资源调整指示信息，向资源管理器RM发送更新所述NM的资源量的资源更新通知信息，其中若当前所述预设资源类型占用的资源量大于所述目标资源量，则所述资源更新通知信息中携带有第一资源标识信息。

其中，若当前所述预设资源类型占用的资源量小于或等于所述目标资源量，则所述资源更新通知信息中携带有第二资源标识信息。

其中，所述根据所述资源调整指示信息，向资源管理器RM发送更新所述NM的资源量的资源更新通知信息之后的步骤，包括：

接收所述RM根据所述第一资源标识信息发送的终止容器指示信息，所述终止容器指示信息携带有待终止的容器的信息；

根据所述终止容器指示信息，终止所述待终止的容器，并释放所述待终止的容器占用的资源量，使所述预设资源类型的资源量调整至目标资源量。

本发明实施例还提供一种资源的控制装置，包括：

第一接收模块，用于接收一用于将预设资源类型的资源量调整至目标资源量的资源调整指示信息；

发送模块，用于根据所述资源调整指示信息，向资源管理器RM发送更新所述NM的资源量的资源更新通知信息，其中若当前所述预设资源类型占用的资源量大于所述目标资源量，则所述资源更新通知信息中携带有第一资源标识信息。

其中，若当前所述预设资源类型占用的资源量小于或等于所述目标资源量，则所述资源更新通知信息中携带有第二资源标识信息。

其中，所述控制装置还包括：

第二接收模块，用于接收所述RM根据所述第一资源标识信息发送的终止容器指示信息，所述终止容器指示信息携带有待终止的容器的信息；