[发明专利]一种基于机器学习的根因定位方法和系统

说明书

本发明公开了一种基于机器学习的根因定位方法，包括：获取微服务应用系统中调用过程的数据所组成的调用链数据，获取微服务应用系统的业务指标数据、容器指标、中间件指标、主机指标、以及数据库指标数据；将获取的业务指标数据中的时间戳、平均调用时间、业务量、成功数量、成功率输入到训练好的支持向量机SVM网络中，以得到检测结果，并判断检测结果是否为异常，如果异常则对得到的检测结果进行根因检测，以得到故障发生的节点、以及导致故障发生的性能指标。本发明能够解决现有基于静态阈值设置的根因检测方法准确率低的技术问题，以及现有基于滑动窗口的根因检测方法难以识别实际数据指标的周期特性的技术问题。

技术领域

本发明属于智能运维技术领域，更具体地，涉及一种基于机器学习的根因定位方法和系统。

背景技术

大型互联网公司通过服务集群共同对外提供服务，而同时业务服务也会随着产品需求增多而臃肿，架构上进行拆分，大型服务会拆分成小型独立的服务，每个小服务会由独立进程去管理来对外提供服务，这就是“微服务”。

微服务应用系统使用微服务架构，将应用程序构建为独立的组件，并将每个应用程序进程作为一项服务运行。这些服务使用轻量级API通过明确定义的接口进行通信。这些服务是围绕业务功能构建的，每项服务独立的执行一项功能。

微服务架构兴起后，很多服务变成分布式的，对服务进行拆分后，用户的请求会通过不同的服务节点进行处理，在返回结果给用户。那么在整个调用链中，如果有任何一个节点出现了问题，都有可能导致最终的结果出现异常。在这种复杂的环境下，要准确、高效找出具体那个服务节点出现问题并不容易。因此在调用链背景下，将请求经过的每个节点都记录下来，形成一个完整的调用链监控系统，根据调用链日志排查出错环节。

现有的微服务应用系统的根因检测方法大多都采用阈值告警设置方法，其具体分为基于静态阈值设置的根因检测方法、以及基于滑动窗口的根因检测方法。

基于静态阈值设置的根因检测方法是指超过某一个固定的阈值则检测为异常。然而，这种方法的准确率偏低，这是由于随着时间的变化，异常阈值可能会发生变化，且固定阈值无法覆盖全部场景，这会导致某些特定场景无法被检测出来；基于滑动窗口的根因检测解决了固定阈值的问题，能够根据指定的单位长度来框住时间序列，从而计算框内的统计指标，但是其难以识别实际数据指标的周期特性；此外，这种无监督的阈值告警设置只能识别单指标异常，且没有很好的可解释性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于机器学习的根因定位方法和系统，其目的在于，解决现有基于静态阈值设置的根因检测方法准确率低的技术问题，以及现有基于滑动窗口的根因检测方法难以识别实际数据指标的周期特性的技术问题，以及只能识别单指标异常、且没有很好的可解释性的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于机器学习的根因定位方法，包括以下步骤：

(1)获取微服务应用系统中调用过程的数据所组成的调用链数据；

(2)获取微服务应用系统的业务指标数据、容器指标、中间件指标、主机指标、以及数据库指标数据；

(3)将步骤(2)所获取的业务指标数据中的时间戳、平均调用时间、业务量、成功数量、成功率输入到训练好的支持向量机SVM网络中，以得到检测结果，并判断检测结果是否为异常，如果异常则进入步骤(4)，否则过程结束；

(4)对步骤(3)得到的检测结果进行根因检测，以得到故障发生的节点、以及导致故障发生的性能指标。

优选地，调用过程的数据包括该数据的时间戳和调用链id、调用类型、服务执行时间、调用者id、数据id、以及微服务应用系统的名称。