[发明专利]可观察性系统的数据融合实现方法和装置

说明书

本申请涉及一种可观察性系统的数据融合实现方法和装置，该方法包括：接收外部变量，所述外部变量包括网络流量拦截的采样方式、网络流量拦截的采样比例以及由用户设定的拦截点；在所述拦截器与所述预设拦截点或所述拦截点匹配成功时，采用eBPF拦截所述业务系统的内核空间的系统调用数据和用户空间的函数调用数据；将所述系统调用数据和所述函数调用数据以日志形式输出，或者采用eBPF将所述系统调用数据和所述函数调用数据转发至后续服务端。本申请能够提高数据采集的效率。

技术领域

本申请涉及计算机技术领域，尤其是涉及一种可观察性系统的数据融合实现方法和装置。

背景技术

可观察性方案的实现依赖于三方面的数据：trace/log(日志)/metrics(指标)，其使用场景主要是APM和可观察性领域。目前APM领域的主要实现方法是通过javaagent自动插码，或手动修改业务系统代码加入相关监控代码片段。而可观察性领域则需要通过APM、Log、Metric三类数据进行综合性的业务系统运行状态监控，通常数据来自各自独立的监控采集agent甚至各自独立的监控管理系统。

现有的数据采集方式需要做数据整合处理，从而对不同来源不同格式的trace/log/metrics数据进行统一的观察分析，提取关键信息，构建业务调用链数据的处理方式过于复杂，对实现实时监控有一定困难。

发明内容

为了提高数据采集的效率，本申请提供一种可观察性系统的数据融合实现方法和装置。

第一方面，本申请提供了一种可观察性系统的数据融合实现方法，应用于部署在业务系统的拦截器，所述拦截器内预先配置有预设拦截点，所述方法包括：

接收外部变量，所述外部变量包括网络流量拦截的采样方式、网络流量拦截的采样比例以及由用户设定的拦截点；

在所述拦截器与所述预设拦截点或所述拦截点匹配成功时，采用eBPF拦截所述业务系统的内核空间的系统调用数据和用户空间的函数调用数据；

将所述系统调用数据和所述函数调用数据以日志形式输出，或者采用eBPF将所述系统调用数据和所述函数调用数据转发至后续服务端。

优选的，所述采用eBPF拦截所述业务系统的内核空间的系统调用数据，包括：

拦截网络流量，根据所述网络流量的五元组信息，构建所述业务系统的流量拓扑关系；

统计与所述网络流量相关的进程的系统资源占用指标；

修改所述网络流量中的网络发送流量和网络接收流量；

将所述业务系统和操作系统层的进程进行对应的实体转换。

优选的，所述修改所述网络流量中的网络发送流量，包括：

判断所述网络发送流量中是否存在调用链信息，所述调用链信息包括业务请求的唯一标识符和当前单元的标识符；

若否，则在所述网络发送流量中补全所述调用链信息；

所述修改所述网络流量中网络接收流量，包括：

在网络接收流量中，将上一基本工作单元的标识符修改为当前基本工作单元的上游标识符。

优选的，所述采用eBPF拦截所述业务系统的用户空间的函数调用数据，包括：

搜集所述拦截点对应函数的调用路径、入参、出参和耗时，结合当前基本工作单元的网络接收流量中的标识符，生成业务调用链trace数据；

根据指定条件，修改拦截点的出参。

优选的，还包括：在所述拦截器与所述预设拦截点或所述拦截点匹配失败时，拦截与网络流量相关进程触发的内核系统调用序列。