[发明专利]微服务架构下的分布式大数据日志链路跟踪方法及系统有效
| 申请号: | 202011566084.7 | 申请日: | 2020-12-25 |
| 公开(公告)号: | CN112612675B | 公开(公告)日: | 2023-02-28 |
| 发明(设计)人: | 刘宏亮;李铭;张丽丽;张辉;贾立平 | 申请(专利权)人: | 山东经伟晟睿数据技术有限公司 |
| 主分类号: | G06F11/30 | 分类号: | G06F11/30;G06F11/32;G06F11/34 |
| 代理公司: | 济南圣达知识产权代理有限公司 37221 | 代理人: | 张庆骞 |
| 地址: | 250101 山东省济南市高*** | 国省代码: | 山东;37 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 微服 架构 分布式 数据 日志 跟踪 方法 系统 | ||
本发明提供了微服务架构下的分布式大数据日志链路跟踪方法及系统。其中该方法包括微服务模块接收到调用请求后,判断当前微服务模块是否为第一次调用,得到traceID和spanID;判断当前业务方法是否为第一次调用的业务方法,更新调用链中的spanID关系;缓存微服务模块所在服务器IP地址、微服务模块名称、业务方法名称、traceID、spanID、parentSpanID及业务方法开始执行时间信息;根据链路日志跟踪标记来执行日志跟踪记录,将日志信息与调用链路信息和微服务模块运行性能信息分别进行绑定,对日志信息按照调用链路信息进行排序处理;绑定微服务模块运行的性能数据与调用链路信息,将排序后的日志记录压缩后发送到日志存储服务器,然后删除调用链路对应的缓存数据,释放内存空间。
技术领域
本发明属于计算机微服务分布式系统技术领域,尤其涉及一种微服务架构下的分布式大数据日志链路跟踪方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
随着系统业务需求越来越复杂,大型的业务系统不得不按照业务功能将系统进行各种模块拆分,然后通过模块的动态组合,最终提供丰富的业务功能,同时提高系统灵活性和扩展性,特别是随着计算机软件技术中微服务架构和容器技术的兴起,看似简单的一个应用,后台可能有几十个甚至几百个微服务在支撑,一个简单的前端调用请求可能需要透传多次的微服务调用最后才能完成,被调用的微服务可能还要继续调用其它微服务。当系统拆分的微服务越多时,这种分布式服务架构下服务之间的调用关系也就自然而然的更加复杂化,见附图1。
由于微服务模块数量众多,并且分布式部署,各个微服务的运行日志分散到不同的存储位置,因此发明人发现,在微服务架构下的计算机系统面临以下几个技术问题:1)无法实现微服务之间复杂调用关系的链路跟踪,使得开发人员无法对微服务模块的边界进行准确地规划。2)运维人员无法从数量众多的微服务中快速识别定位到系统性能瓶颈模块。3)现有技术可以对微服务模块的运行日志文件数据进行查询,但是存在运行日志的查询过程较为繁琐,日志的查询效率和准确率均不高的问题。
发明内容
为了解决上述背景技术中存在的至少一项技术问题,本发明提供一种微服务架构下的分布式大数据日志链路跟踪方法及系统,其能够实现对微服务架构系统的服务链路展示和跟踪、服务性能的自动检测、详细运行日志的跟踪排查等全系列操作,可显著提高系统的开发和运维效率,降低企业硬件成本,为微服务架构下分布式系统的稳定运行提供了技术保障。
为了实现上述目的,本发明采用如下技术方案:
本发明的第一个方面提供一种微服务架构下的分布式大数据日志链路跟踪方法。
一种微服务架构下的分布式大数据日志链路跟踪方法,包括:
当微服务模块接收到调用请求后,判断当前微服务模块是否为第一次调用,若是,则生成链路唯一标识traceID,再生成业务方法唯一标识spanID;否则,直接生成spanID,同时标记对应关联的traceID及起始时间戳信息;
根据请求中是否存在父业务方法唯一标识parentSpanID,来判断当前业务方法是否为第一次调用的业务方法,并更新调用链中的spanID关系;
执行当前业务方法时缓存微服务模块所在服务器IP地址、微服务模块名称、业务方法名称、traceID、spanID、parentSpanID及业务方法开始执行时间信息;
根据链路日志跟踪标记来执行日志跟踪记录,将日志信息与调用链路信息和微服务模块运行性能信息分别进行绑定,形成日志记录并将其按照调用链路信息进行排序处理;
业务方法执行完毕时,绑定微服务模块运行的性能数据与调用链路信息,将排序后的日志记录压缩后发送到日志存储服务器,然后删除调用链路对应的缓存数据,释放内存空间。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东经伟晟睿数据技术有限公司,未经山东经伟晟睿数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011566084.7/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





