[发明专利]日志数据处理、配置方法、装置及存储介质在审
| 申请号: | 202110587746.7 | 申请日: | 2021-05-27 |
| 公开(公告)号: | CN115408354A | 公开(公告)日: | 2022-11-29 |
| 发明(设计)人: | 武智晖;郭志伟;刘辉;徐海勇;陶涛;尚晶;江勇;陈卓 | 申请(专利权)人: | 中移信息技术有限公司;中国移动通信集团有限公司 |
| 主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/242;G06F16/2455;G06F16/2458;G06F16/25;G06F16/27 |
| 代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 杨明月 |
| 地址: | 518000 广东省深圳市福*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 日志 数据处理 配置 方法 装置 存储 介质 | ||
1.一种日志数据处理方法,其特征在于,应用于分布式数据库节点,包括:
接收日志数据处理请求;
根据所述日志数据处理请求,从日志文件中读取依据预设日志数据格式配置的指定日志数据,所述日志文件中的日志数据是按照所述预设日志数据格式配置的;
使用读取的所述指定日志数据配置包含预设日志字段的数据结构,得到结构化的日志数据,所述预设日志字段和预设日志数据格式均是基于指定配置信息配置得到的。
2.根据权利要求1所述的日志数据处理方法,其特征在于,所述日志数据处理请求中包含指定时间段,所述指定时间段不超过预设时间范围,则从日志文件中读取依据预设日志数据格式配置的指定日志数据,包括:
从所述日志文件中读取依据预设日志数据格式配置的位于所述指定时间段内的指定日志数据。
3.根据权利要求1所述的日志数据处理方法,其特征在于,如果所述日志数据处理请求中未包含指定时间段,则从日志文件中读取依据预设日志数据格式配置的指定日志数据,包括:
从所述日志文件中读取依据预设日志数据格式配置的位于预设时间范围内的指定日志数据。
4.根据权利要求1所述的日志数据处理方法,其特征在于,从日志文件中读取依据预设日志数据格式配置的指定日志数据,包括:
从所述分布式数据库节点对应的缓存中提取所述日志文件;
从所提取的所述日志文件中读取依据预设日志数据格式配置的指定日志数据。
5.根据权利要求4所述的日志数据处理方法,其特征在于,还包括:
将所述结构化的日志数据存储到所述分布式数据库节点对应的缓存中。
6.根据权利要求5所述的日志数据处理方法,其特征值在于,还包括:
将所述缓存中早于所述结构化的日志数据的历史结构化的日志数据删除。
7.根据权利要求1所述的日志数据处理方法,其特征在于,使用读取的所述指定日志数据配置包含预设日志字段的数据结构,包括:
将读取的所述指定日志数据依次填充到所述数据结构中对应的所述预设日志字段。
8.根据权利要求1所述的日志数据处理方法,其特征在于,如果所述日志数据处理请求为日志数据查询请求,还包括:
根据所述日志数据查询请求查询所述结构化的日志数据;
将查询结果发送给所述日志数据查询请求的请求方。
9.根据权利要求8所述的日志数据处理方法,其特征在于,所述日志数据处理请求是基于SQL语句生成的。
10.一种日志配置方法,其特征在于,应用于分布式数据库节点,包括:
从任务节点接收指定配置信息;
根据所述指定配置信息配置预设日志数据格式,以使得日志数据按照所述预设日志数据格式配置到日志文件中;
根据所述指定配置信息配置包含预设日志字段的数据结构,以使得从所述日志文件读取到的日志数据能够配置到包含所述预设日志字段的数据结构,得到结构化的日志数据。
11.一种日志数据处理装置,其特征在于,应用于分布式数据库节点,包括:
接收模块,接收日志数据处理请求;
读取模块,根据所述日志数据处理请求,从日志文件中读取依据预设日志数据格式配置的指定日志数据,所述日志文件中的日志数据是按照所述预设日志数据格式配置的;
配置模块,使用读取的所述指定日志数据配置包含预设日志字段的数据结构,得到结构化的日志数据,所述预设日志字段和预设日志数据格式均是基于指定配置信息配置得到的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中移信息技术有限公司;中国移动通信集团有限公司,未经中移信息技术有限公司;中国移动通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110587746.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种流计算的在线伸缩方法及装置
- 下一篇:格式化文件处理方法、装置及存储介质





