[发明专利]一种异常节点的检测方法及装置

说明书

本发明的实施例提供一种异常节点的检测方法及装置，涉及通信技术领域，能够检测出分布迭代式数据处理程序中出现异常的具体环节。该方法包括：获取目标特征向量，该目标特征向量包括目标节点实际执行目标应用程序的目标子程序时产生的性能参数，该性能参数用于指示在执行该目标子程序的运行阶段内该目标节点的资源消耗；获取与目标子程序和目标节点对应的目标性能模型，该目标性能模型用于指示正常执行该目标子程序时产生的性能参数区间；若该目标特征向量位于该性能参数区间之外，则确定该目标节点在执行该目标应用程序的目标子程序时出现异常。

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种异常节点的检测方法及装置。

背景技术

分布迭代式数据处理程序，例如，Spark应用、Dryad应用以及MapReduce应用等，能够较好地适用于数据挖掘与机器学习等需要迭代的算法，因此在云计算技术中得到了广泛应用。

以Spark应用为例，Spark分布式系统中包括M个节点组成的分布式集群，每一个Spark应用可以由这M个节点中的一个或多个节点来执行。通常，可通过检测节点在运行各个Spark应用是否出现异常，来判断各个Spark应用是否正常运行，具体的，可以预先为各节点定义相关的性能指标，例如，CPU占用率，内存读写带宽等，进而，在各节点执行相应的Spark应用时，获取各节点内上述性能指标的取值，最后通过分析每个节点的性能指标的取值确定各个节点在执行每个Spark应用时是否发生异常。

例如，开发人员可以预先设置执行不同Spark应用时各个性能指标的阈值范围，当节点1执行Spark应用A时性能指标的取值不在预先设置的阈值范围内时，则可以确定节点1在执行Spark应用A时发生异常。又或者，可以通过聚类算法将各个节点在执行Spark应用A时性能指标的取值进行聚类，若聚类后确定节点1在执行Spark应用A时性能指标的取值为离群值，则可以确定节点1在执行Spark应用A时发生异常。

但是，在上述Spark应用的异常检测过程中，只能检测出执行该Spark应用时发生异常的节点，后续开发人员仍然需要根据专业知识人工确定该节点执行该Spark应用发生异常的具体环节，不能快速的定位出引起Spark应用出现异常的具体原因。

发明内容

本发明的实施例提供一种异常节点的检测方法及装置，能够检测出分布迭代式数据处理程序中出现异常的具体环节，从而快速确定出分布迭代式数据处理程序发生异常的原因。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明的实施例提供一种异常节点的检测方法，包括：获取目标特征向量，该目标特征向量包括目标节点实际执行目标应用程序的目标子程序时产生的性能参数，该性能参数用于指示在执行该目标子程序的运行阶段内该目标节点的资源消耗；获取与目标子程序和目标节点对应的目标性能模型，该目标性能模型用于指示目标节点正常执行该目标子程序时产生的性能参数区间；若该目标特征向量位于该性能参数区间之外，则确定该目标节点在执行该目标应用程序的目标子程序时出现异常。也就是说，在本发明实施例提供的异常节点的检测方法中，可以直接检测出发生异常的节点和子程序，即确定出节点在执行某个应用程序时具体在哪个阶段发生了异常，从而能够帮助开发人员对出现异常的应用程序进行快速定位。

其中，上述应用程序可以为分布迭代式数据处理程序，即该应用程序的某个子程序会重复执行，那么，一旦在执行应用程序的前期定位出发生异常的子程序并及时解决，便可以防止后续其他依赖于该子程序的其他应用程序在执行过程中发生异常，从而提高整个分布式集群内应用程序的执行效率。