[发明专利]一种基于服务器集群的调度节点的选择抢占方法及系统

说明书

本发明涉及服务器资源分配技术领域，提供一种基于服务器集群的调度节点的选择抢占方法及系统，方法包括：对集群内的所有节点进行资源监控和分析，获取集群内所有的预选节点；计算每一个所述预选节点的所有可抢占组合优先级的算数平均值，并结合组合内任务数量确定节点内最适合抢占的任务组合；将选取到的每一个节点对应的最适合抢占的任务组合进行最优排序，获取最终最适合抢占的任务组合，并将获取到的最终最适合抢占的任务组合反馈给调度器，从而实现结合任务数量和优先级将集群内提交的紧急任务能够合理的抢占运行的任务资源，增强集群运行的稳定性。

技术领域

本发明属于服务器资源分配技术领域，尤其涉及一种基于服务器集群的调度节点的选择抢占方法及系统。

背景技术

另一种资源协调者(YetAnother Resource Negotiator，YARN)是Hadoop(hadoop是一个由Apache基金会所开发的分布式系统基础架构)中的资源管理系统，是一个通用的资源管理模块，可为各类应用程序进行资源管理和调度，其主要包括资源管理器ResourceManager、应用程序ApplicationMaster以及节点控制器NodeManager。YARN不仅限于MapReduce一种框架使用，也可以供其他框架使用，比如Spark等。资源管理器ResourceManager在YARN内负责集群中所有资源的统一管理和分配，它接受来自各个节点的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationMaster)。

在服务器正常正常运转过程中，当集群内接收到提交的紧急任务时，系统就默认抢占较小优先级任务的资源，但如果优先级较小的任务组合内任务数量远高于其他组合，则此时抢占该组合则容易造成集群整体任务运行不稳定。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于服务器集群的调度节点的选择抢占方法，旨在解决现有技术中当集群内接收到提交的紧急任务时，系统就默认抢占较小优先级任务的资源，容易造成集群整体任务运行不稳定的问题。

本发明所提供的技术方案是：一种基于服务器集群的调度节点的选择抢占方法，所述方法包括下述步骤：

对集群内的所有节点进行资源监控和分析，获取集群内所有的预选节点；

计算每一个所述预选节点的所有可抢占组合优先级的算数平均值，并结合组合内任务数量确定节点内最适合抢占的任务组合；

将选取到的每一个节点对应的最适合抢占的任务组合进行最优排序，获取最终最适合抢占的任务组合，并将获取到的所述最终最适合抢占的任务组合反馈给调度器。

作为一种改进的方案，所述对集群内的所有节点进行资源监控和分析，获取集群内所有的预选节点的步骤具体包括下述步骤：

对集群内的所有节点的属性指标进行采集，所述节点的属性指标包括节点所拥有的资源总量和节点上未被占用的资源总量；

将集群内所有节点的节点所拥有的资源总量与紧急任务申请的资源总量进行比较，判断所述节点是否为预选节点；

当节点所拥有的资源总量大于等于紧急任务申请的资源总量时，判定当前节点为预选节点，否则判定为非预选节点；

将获取到的预选节点导入资源管理器。

作为一种改进的方案，所述计算每一个所述预选节点的所有可抢占组合优先级的算数平均值，并结合组合内任务数量确定节点内最适合抢占的任务组合的步骤具体包括下述步骤：

从预选节点中获取所有任务的优先级数据，并计算所有可抢占组合优先级的算数平均值；

根据计算得到的所述算数平均值，确定第一判断阈值，所述第一判断阈值用于判断当前节点内最适合抢占的任务组合；