[发明专利]一种基于内存缓存的业务调用日志关系分析方法及系统在审
申请号: | 202110981743.1 | 申请日: | 2021-08-25 |
公开(公告)号: | CN113901093A | 公开(公告)日: | 2022-01-07 |
发明(设计)人: | 王金龙 | 申请(专利权)人: | 北京思特奇信息技术股份有限公司 |
主分类号: | G06F16/2457 | 分类号: | G06F16/2457;G06F16/2455;G06F16/27 |
代理公司: | 北京汇信合知识产权代理有限公司 11335 | 代理人: | 王维新 |
地址: | 100086 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 内存 缓存 业务 调用 日志 关系 分析 方法 系统 | ||
1.一种基于内存缓存的业务调用日志关系分析方法,其特征在于,包括:
将业务服务调用过程的日志流数据接入流处理平台;
过滤掉所述日志流数据中不符合要求的数据;
将过滤后的所述日志流数据保存在内存缓存中,将统一流水号作为流数据继续流转,并根据统一流水号为所述流数据分配时间窗口分组标志;
所述流数据到达时间窗口,根据所述时间窗口分组标志判断所述流数据对应时间窗口是否已开启,若已开启,则所述流数据追加进对应的时间窗口,若未开启,则新建时间窗口;
时间窗到达开启时长后关闭,同时触发对时间窗内所有所述流数据的分析;
保存分析结果。
2.根据权利要求1所述的业务调用日志关系分析方法,其特征在于:所述日志流中不符合要求的数据,包括:
统一流水号格式不正确;
统一流水号中的日期时间与日志输出时间戳之间前后差距超过8小时;
业务服务的操作码不在分析范围内;
重复的日志。
3.根据权利要求1所述的业务调用日志关系分析方法,其特征在于:所述将过滤后的所述日志流数据保存在内存缓存中;包括:
在缓存信息中,主键为所述日志流数据的统一流水字段,值为集合类型的流数据日志结构。
4.根据权利要求1所述的业务调用日志关系分析方法,其特征在于:根据统一流水号为所述流数据分配时间窗口分组标志;包括:
将所述统一流水号除以时间窗口的个数,余数作为时间窗口分组标志。
5.根据权利要求1所述的业务调用日志关系分析方法,其特征在于:所述时间窗预设有开启时长,到达所述开启时长后自动关闭。
6.根据权利要求1所述的业务调用日志关系分析方法,其特征在于:所述对时间窗内所有所述流数据的分析,包括:
通过所述统一流水号,在内存缓存中匹配并获取对应的完整日志流数据;
根据所述完整日志流数据中的调用关系字段、执行信息字段及结果状态字段,得到业务调用关系。
7.根据权利要求1所述的业务调用日志关系分析方法,其特征在于:保存分析结果时,将统一流水号作为分析结果ID,并将所述分析结果保存在ElasticSearch集群上。
8.根据权利要求7所述的业务调用日志关系分析方法,其特征在于:通过统一流水号,可在所述ElasticSearch集群查询分析结果。
9.根据权利要求7所述的业务调用日志关系分析方法,其特征在于:所述在所述ElasticSearch集群查询分析结果,过程包括:
通过统一流水号获取环节节点汇总信息和业务环节节点信息;
根据所述业务环节节点信息分析调用关系;
将所述汇总信息和所述调用关系呈现到页面。
10.一种用于实现如权利要求1~9任一项所述的基于内存缓存的业务调用日志关系分析方法的系统,其特征在于,包括:数据接入模块、数据过滤模块、数据缓存模块、数据筛分模块、数据分析模块和数据保存模块;
所述数据接入模块,用于:
将业务服务调用过程的日志流数据接入流处理平台;
所述数据过滤模块,用于:
过滤掉所述日志流数据中不符合要求的数据;
所述数据缓存模块,用于:
将过滤后的所述日志流数据保存在内存缓存中,将统一流水号作为流数据继续流转,并根据统一流水号为所述流数据分配时间窗口分组标志;
所述数据筛分模块,用于:
所述流数据到达时间窗口,根据所述时间窗口分组标志判断所述流数据对应时间窗口是否已开启,若已开启,则所述流数据追加进对应的时间窗口,若未开启,则新建时间窗口;
所述数据分析模块,用于:
时间窗到达开启时长后关闭,同时触发对时间窗内所有所述流数据的分析;
所述数据保存模块,用于:
保存分析结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京思特奇信息技术股份有限公司,未经北京思特奇信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110981743.1/1.html,转载请声明来源钻瓜专利网。