[发明专利]日志采集方法及系统有效
申请号: | 201910255934.2 | 申请日: | 2019-03-29 |
公开(公告)号: | CN109995589B | 公开(公告)日: | 2022-09-09 |
发明(设计)人: | 雷克;朱磊 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | H04L41/069 | 分类号: | H04L41/069;H04L67/565 |
代理公司: | 北京超成律师事务所 11646 | 代理人: | 陈治位 |
地址: | 450000 河南省郑州市高新技*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志 采集 方法 系统 | ||
1.一种日志采集方法,其特征在于,所述方法应用于日志采集系统,所述日志采集系统包括至少一个日志发送节点、日志接收端和分发节点,所述方法包括:
所述日志接收端监听预先设置的端口,获取来自所述至少一个日志发送节点的日志;
对于获取的每个日志,所述日志接收端将所述日志转换为第一消息保存在第一消息队列;
所述分发节点对从所述第一消息队列中获取的任一第一消息,确定所述第一消息对应的日志发送节点的标识,并将所述第一消息转换为第二消息后保存到所述日志发送节点的标识对应的第二消息队列;
每个所述日志发送节点上配置有统一的日志接收端的信息,所述日志接收端的信息包括:所述日志接收端的地址和所述预先设置的端口的端口号;
所述分发节点对从所述第一消息队列中获取的任一第一消息,确定所述第一消息对应的日志发送节点的标识,包括:
所述分发节点采用预设的第一编码格式对从所述第一消息队列中获取的任一第一消息进行解码,获取所述第一消息中包含的所述日志发送节点的标识;
所述将所述第一消息转换为第二消息,包括:
所述分发节点在预先配置的日志发送节点的配置文件中查找与所述获取的日志发送节点的标识匹配的配置文件;
所述分发节点根据所述匹配的配置文件中记录的第二编码格式对采用第一编码格式解码后的第一消息的内容进行编码,得到所述第二消息。
2.根据权利要求1所述的日志采集方法,其特征在于,对于获取的每个日志,所述第一消息包括:所述日志和发送所述日志的日志发送节点的标识。
3.一种日志采集系统,其特征在于,所述日志采集系统包括:至少一个日志发送节点、日志接收端和分发节点;
所述日志接收端用于监听预先设置的端口,获取来自所述至少一个日志发送节点的日志;
对于获取的每个日志,所述日志接收端还用于将所述日志转换为第一消息保存在第一消息队列;
所述分发节点用于对从所述第一消息队列中获取的任一第一消息,确定所述第一消息对应的日志发送节点的标识,并将所述第一消息转换为第二消息后保存到所述日志发送节点的标识对应的第二消息队列;
每个所述日志发送节点上配置有统一的日志接收端的信息,所述日志接收端的信息包括:所述日志接收端的地址和所述预先设置的端口的端口号;
所述分发节点,具体用于采用预设的第一编码格式对从所述第一消息队列中获取的任一第一消息进行解码,获取所述第一消息中包含的所述日志发送节点的标识;
所述分发节点,具体用于在预先配置的日志发送节点的配置文件中查找与所述获取的日志发送节点的标识匹配的配置文件;
所述分发节点,还具体用于根据所述匹配的配置文件中记录的第二编码格式对采用第一编码格式解码后的第一消息的内容进行编码,得到所述第二消息。
4.根据权利要求3所述的日志采集系统,其特征在于,对于获取的每个日志,所述第一消息包括:所述日志和发送所述日志的日志发送节点的标识。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910255934.2/1.html,转载请声明来源钻瓜专利网。