[发明专利]调用链的并行构建方法、装置、设备及存储介质

说明书

本发明实施例公开了一种调用链的并行构建方法、装置、设备及存储介质。该方法包括：获取与至少一个请求对应的日志数据，并校准日志数据中的时间戳信息；根据时间戳信息，对日志数据进行滚动时间分桶，并对各时间桶中的日志数据进行业务聚类处理；根据各聚类中的日志数据，构建事件连通图并获取事件关键路径；按照预设的路径合并规则，对各时间桶中的事件关键路径进行合并，得到与各请求对应的调用链。本发明实施例的技术方案，实现了在海量日志数据中，通过数据分组同时为多个业务请求构建调用链。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种调用链的并行构建方法、装置、设备及存储介质。

背景技术

调用链跟踪系统通过对一次业务调用过程中产生的日志数据进行分析处理，可以将一个请求处理的完整调用链路进行端到端的展示。通过从不同维度对调用链路进行统计分析，可以定位有异常的服务，分析系统性能瓶颈等。

现有技术中，为了追求良好的系统性能，调用链跟踪系统通常只针对一个请求构建调用链，构建过程使用的日志数据较少，计算规模也较小。当面对海量规模的日志数据，每种业务接口的请求量的规模都较大的情况时，现有的调用链跟踪系统无法满足其需求，同时构建与各请求对应的调用链。

发明内容

本发明实施例提供一种调用链的并行构建方法、装置、设备及存储介质，以实现在海量日志数据中，通过数据分组同时为多个业务请求构建调用链。

第一方面，本发明实施例提供了一种调用链的并行构建方法，包括：

获取与至少一个请求对应的日志数据，并校准日志数据中的时间戳信息；

根据时间戳信息，对日志数据进行滚动时间分桶，并对各时间桶中的日志数据进行业务聚类处理；

根据各聚类中的日志数据，构建事件连通图并获取事件关键路径；

按照预设的路径合并规则，对各时间桶中的事件关键路径进行合并，得到与各请求对应的调用链。

可选的，获取与至少一个请求对应的日志数据，并校准日志数据中的时间戳信息，包括：

接收至少一个请求，并获取与至少一个请求对应的日志数据；

根据系统内置解析规则，从日志数据中抽取时间信息，并将时间信息转换成预设的时间戳格式；

基于全局公共的NTP服务器，对不同主机来源的日志数据中的时间戳信息进行校准。

可选的，根据时间戳信息，对日志数据进行滚动时间分桶，并对各时间桶中的日志数据进行业务聚类处理，包括：

获取预先配置的分桶时长，并根据时间戳信息，按照分桶时长对日志数据进行滚动时间分桶；

在各时间桶中，对日志数据中的端口值/业务操作类型值进行one-hot编码，并根据编码值对日志数据进行Kmeans聚类处理。

可选的，根据各聚类中的日志数据，构建事件连通图并获取事件关键路径，包括：

从聚类中的日志数据中提取请求唯一标识符以及接口的事件类型，并根据请求唯一标识符以及事件类型，构建事件的全连通图；

根据事件类型的时移情况，删除全连通图中有重叠时段的部分、中间隔有其他事件的部分以及与调用链语料库不一致的部分，得到事件连通图；

将事件连通图中的事件持续时间之和最大的路径，作为事件关键路径。

可选的，按照预设的路径合并规则，对各时间桶中的事件关键路径进行合并，得到与各请求对应的调用链，包括：

依次将各请求作为目标请求，对所有时间桶中与目标请求相关联的事件关键路径进行相关性计算；