[发明专利]一种基于内存缓存的业务调用日志关系分析方法及系统

说明书

本发明提供一种基于内存缓存的业务调用日志关系分析方法及系统，涉及分布式数据关系处理技术领域，包括：将业务服务调用过程的日志流数据接入流处理平台；保存在内存缓存中，将统一流水号作为流数据继续流转，为流数据分配时间窗口分组标志；根据时间窗口分组标志判断流数据对应时间窗口是否已开启，若已开启，则流数据追加进对应的时间窗口，否则新建时间窗口；时间窗到达开启时长后关闭，触发对时间窗内所有流数据的分析；保存分析结果。该发明的有益效果是：将云化、容器化后的业务服务调用过程日志通过利用内存缓存技术，利用极小的时间窗口进行在线数据流分析，准实时的获取并存储业务调用关系结果，快速发现业务系统故障提供高效手段。

技术领域

本发明涉及分布式数据关系处理技术领域，尤其是涉及一种基于内存缓存的业务调用日志关系分析方法及系统。

背景技术

在系统云化、容器化后，输出的系统服务调用关系日志数据量变得庞大且关系复杂，使得不便于及时定位业务服务调用过程产生的问题。

基于此，本发明设计了一种基于内存缓存实现业务调用日志关系的分析方法，在低延迟的情况下在线分析出日志数据的问题，实现业务服务过程产生问题的及时定位。

发明内容

针对上述问题，本发明提供了一种基于内存缓存的业务调用日志关系分析方法及系统，通过对数据库中业务类型进行参数匹配，实现多种业务场景均可精准快速展示业务信息。

为实现上述目的，本发明提供了一种基于内存缓存的业务调用日志关系分析方法，包括：

将业务服务调用过程的日志流数据接入流处理平台；

过滤掉所述日志流数据中不符合要求的数据；

将过滤后的所述日志流数据保存在内存缓存中，将统一流水号作为流数据继续流转，并根据统一流水号为所述流数据分配时间窗口分组标志；

所述流数据到达时间窗口，根据所述时间窗口分组标志判断所述流数据对应时间窗口是否已开启，若已开启，则所述流数据追加进对应的时间窗口，若未开启，则新建时间窗口；

时间窗到达开启时长后关闭，同时触发对时间窗内所有所述流数据的分析；

保存分析结果。

作为本发明的进一步改进，所述日志流中不符合要求的数据，包括：

统一流水号格式不正确；

统一流水号中的日期时间与日志输出时间戳之间前后差距超过8小时；

业务服务的操作码不在分析范围内；

重复的日志。

作为本发明的进一步改进，所述将过滤后的所述日志流数据保存在内存缓存中；包括：

在缓存信息中，主键为所述日志流数据的统一流水字段，值为集合类型的流数据日志结构。

作为本发明的进一步改进，根据统一流水号为所述流数据分配时间窗口分组标志；包括：

将所述统一流水号除以时间窗口的个数，余数作为时间窗口分组标志。

作为本发明的进一步改进，所述时间窗预设有开启时长，到达所述开启时长后自动关闭。

作为本发明的进一步改进，所述对时间窗内所有所述流数据的分析，包括：

通过所述统一流水号，在内存缓存中匹配并获取对应的完整日志流数据；

根据所述完整日志流数据中的调用关系字段、执行信息字段及结果状态字段，得到业务调用关系。

作为本发明的进一步改进，保存分析结果时，将统一流水号作为分析结果ID，并将所述分析结果保存在ElasticSearch集群上。