[发明专利]一种节点资源管理方法与装置

说明书

本申请实施例提供一种节点资源管理方法与装置。该方法包括：获取待处理业务的第一业务特征；根据N种业务特征和M种节点特征之间的第一映射关系，确定第一业务特征所映射的第一节点特征；N、M均为正整数；所述N种业务特征中每种业务特征对应M种节点特征中的至少一种节点特征，所述第一业务特征包括所述N种业务特征中至少一种业务特征，第一节点特征包括用于处理所述待处理业务的节点所需要具备的特征；在多个节点中选择具备第一节点特征的至少一个节点，并在至少一个节点中确定目标节点；将待处理业务下发给目标节点进行处理。通过这种方式，可以根据待处理业务的业务特征匹配合适的节点用来处理该待处理业务，实现节点的合理管理。

技术领域

本发明涉及分布式节点技术领域，具体涉及一种节点资源管理方法与装置。

背景技术

目前随着大数据技术的不断发展，需要投入的计算资源也越来越大。而且，在大数据技术领域中，接入数据量并非稳步增长，而是受多种因素影响出现峰谷(如早晚高峰期对车流量的影响，双11活动对销量影响等等)。分布式节点技术一定程度上能够应对庞大的数据接入量，使得数据处理压力分担在各个节点上。然而，分布式节点中众多节点难以实现均衡化管理，比如有的节点分担过大的数据处理压力，比如负载瞬时增加导致这些节点压力过大，再比如，有的节点负载较小，造成资源浪费。因此，分布式节点技术中节点管理至关重要。

发明内容

本申请提供一种节点资源管理方法与装置，用于合理的管理分布式节点中的节点。

第一方面，提供一种节点资源管理方法。该方法包括：获取待处理业务的第一业务特征；根据N种业务特征和M种节点特征之间的第一映射关系，确定所述第一业务特征所映射的第一节点特征；其中，N、M均为正整数；所述N种业务特征中每种业务特征对应所述M种节点特征中的至少一种节点特征，所述第一业务特征包括所述N种业务特征中至少一种业务特征，所述第一节点特征包括用于处理所述待处理业务的节点所需要具备的特征；在已创建的多个节点中选择具备所述第一节点特征的至少一个节点，并在所述至少一个节点中确定目标节点，所述目标节点是所述至少一个节点中当前处于运行状态和/或节点运行负载小于预设负载的节点；将所述待处理业务下发给所述目标节点进行处理。

在一种可能的设计中，所述方法还包括：在所述目标节点完成所述待处理业务之后，执行如下至少一项操作：

回收所述目标节点；和/或，

更新所述待处理业务的业务状态为完成状态；和/或，

更新所述目标节点的节点状态为空闲状态。

在一种可能的设计中，确定具备所述第一节点特征的目标节点，包括：

在满足如下条件中的至少一种时，新建具备所述第一节点特征的目标节点；其中，所述条件包括：

节点资源池中不存在具有所述第一节点特征的节点；

节点资源池中具有所述第一节点特征的节点的节点负载大于预设负载；

节点资源池中具有所述第一节点特征的节点的节点状态处于非运行状态；

其中，所述节点资源池用于存储已创建的节点。

在一种可能的设计中，所述第一业务特征包括计算型业务，所述第一业务特征所映射的第一节点特征包括：处理器运行速率大于预设速率；

和/或，

所述第一业务特征包括输入输出IO型业务，所述第一业务特征所映射的第一节点特征包括：IO速率大于第二预设速率和/或传输带宽大于预设带宽；

和/或，

所述第一业务特包括处理器与存储器业务配比，所述第一业务特征所映射的第一节点特征包括：存储器的存储空间大于预设空间；

和/或，