[发明专利]业务协议指标数据收集方法及系统

说明书

本发明提供了一种业务协议指标数据收集方法及系统，本发明采用被动协议栈解析技术，用获取到的业务流量去驱动协议栈的状态转变；通过将流量数据正确地归属到源和目标进程，自动将该目标进程的服务纳入为监控对象，实现监控对象的自动发现；通过将流量数据正确地归属到源和目标进程，可以自动推演出服务之间的业务关联信息，在产生联动异常时，可以根据进程的服务之间的关联正确识别出异常的根源服务对象，从而帮助运维人员更加快速地定位异常；使用纯旁路的方式获取业务流量数据，该监控方式对业务方没有任何侵入性要求；通过在Linux内核模块中插入流量数据拷贝模块，能够获取到二层包级别的完整物理流量，获取到的数据更加完整。

技术领域

本发明涉及一种业务协议指标数据收集方法及系统。

背景技术

随着互联网行业技术与业务的高速发展，越来越多的人开始享受到互联网在线服务带来的便利，而在线服务提供商也面临着越来越大的业务请求压力。为了适应日益增长的业务压力，各家服务提供商都开始将服务端架构往微服务、分布式的方向迁徙和演化。

虽然服务端架构可以通过分布式、微服务的方法获取水平伸缩的能力，但通常分布式架构会给系统带来额外的运维复杂性，不同组件之间的交互会也会越来越错综复杂，而这些复杂性还会随着时间的积累日益增长，非常不利于系统本身的运维工作。

因此，为了及时地了解到线上服务的状况和任何异常，运维监控系统就显得更加重要。它通常能够实时地展现当前以及历史一段时间内线上服务的运行状况，并通过告警的方式让系统维护者能够及时地了解到线上的异常情况。

运维监控系统通常分为三个模块：

1.指标数据收集模块；

2.指标数据存储模块(包含对数据的压缩、滚动、持久化等)；

3.指标数据告警模块；

当前市面上已经涌现出许多开源和商业的监控系统方案，例如：Zabbix，Nagios等。但通常这些方案的指标数据收集模块都具有一些共同缺陷：

1.均无法默认获取到业务级别的数据，仅停留在机器资源层面；

2.如果需要获取到业务级指标数据，那么需要对业务服务做具有侵入性或定制性的修改，例如使用监控方提供的SDK，才能在监控系统中观察到业务指标(例如每秒请求次数、延迟之类)，或者监控系统主动适配业务服务产生的日志等信息；

3.即使业务方埋入了业务级指标代码，但自身也通常难以获得一些相对底层的指标数据(因为通常底层细节被操作系统内核封装)；

4.即使业务方埋入了业务级指标代码，监控系统也无法理解业务方自主提供的指标的具体含义；

5.若使用对业务日志(或业务服务产生的其他旁路数据)的解析进行指标收集，那么该收集模块则难以具备通用性(因为日志是非标准化的数据结构)；

6.在不侵入业务和架构的情况下，无法获取到业务之间的关联信息，例如拓扑；

7.无法自动发现需要被监控的服务，大多需要人为进行配置，在大规模的集群中通常非常耗时耗力。

上述难点造成的后果则是：

1.业务方需要花费额外的研发精力去适配监控系统；

2.对于一个运行已久的系统，侵入性的监控方案通常难以推进；

3.监控系统无法理解业务的运行模式和结构，无法做出相对智能的判断；

4.运维人员需要在监控系统上花费大量精力用于配置工作(配置监控对象等)。

发明内容