[发明专利]一种日志索引构建方法及装置有效
申请号: | 201710711234.0 | 申请日: | 2017-08-18 |
公开(公告)号: | CN107688624B | 公开(公告)日: | 2020-12-29 |
发明(设计)人: | 谭天 | 申请(专利权)人: | 杭州迪普科技股份有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/13 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 陈蕾 |
地址: | 310051 浙江省杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 日志 索引 构建 方法 装置 | ||
1.一种日志索引构建方法,其特征在于,所述方法包括:
根据预设的字段组合规则,确定日志文件中需要创建索引文件的至少一个必需字段组合,所述必需字段组合为能够覆盖到所有查找情况的字段组合;
针对所述日志文件中每条日志记录,执行以下操作:获取所述日志记录中多个单字段的值;将多个单字段的值拼接为所述必需字段组合的值;获取所述日志记录在所述日志文件中的偏移位置;
根据获得的必需字段组合的值创建索引记录,其中,将必需字段组合的值相同的日志记录归为一条索引记录,每条索引记录中包括所述必需字段组合的值相同的所有日志记录的偏移位置;
将同一必需字段组合所有不同值的索引记录,写入所述日志文件的一个索引文件中。
2.根据权利要求1所述的方法,其特征在于,所述根据预设的字段组合规则,确定日志文件中需要创建索引文件的至少一个必需字段组合,包括:
提取所述日志文件中的n个字段;
针对n个字段对应的2n-1个字段组合,确定个需要创建索引文件的必需字段组合,其中为对的结果向上取整:
其中,由m个字段所构成的字段组合,用于响应针对该字段组合中前x个字段所构成组合的查询请求,其中x=1,2,…,m。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述日志文件中第一条日志记录的产生时间,设定为起始时间点,所述起始时间点用于表明该日志文件中全部日志记录产生的最早时刻;
或
将所述日志文件中最后一条日志记录的产生时间,设定为终止时间点,所述终止时间点用于表明该日志文件中全部日志记录产生的最晚时刻。
4.一种基于权利要求1至3任一项所述日志索引构建方法的日志查找方法,其特征在于,所述方法包括:
根据查询请求指定的目标字段组合,查找与目标字段组合对应的目标索引文件;
在所述目标索引文件中,查找包括目标值的索引记录;
根据所述包括目标值的索引记录中的偏移位置,获取日志记录;
利用所获取的日志记录响应所述查询请求。
5.根据权利要求4所述的方法,其特征在于,
将所述日志文件中第一条或最后一条日志记录的产生时间,设定为日志文件时间点;
所述根据查询请求指定的目标字段组合,查找与目标字段组合对应的目标索引文件包括:
根据所述时间点,确定查询请求指定的时间区间对应的日志文件;
在所述对应的日志文件中,所述根据查询请求指定的目标字段组合,查找与目标字段组合对应的目标索引文件。
6.根据权利要求4所述的方法,其特征在于,当所述目标字段组合不为必需字段组合时,所述目标值包括:
查询请求指定的目标值的一个特定排列与多个缺省值拼接成的多个值,所述多个缺省值为所述目标字段组合缺省部分的所有取值。
7.一种日志索引构建装置,其特征在于,所述装置包括:
字段组合确定模块,用于根据预设的字段组合规则,确定日志文件中需要创建索引文件的至少一个必需字段组合,所述必需字段组合为能够覆盖到所有查找情况的字段组合;
字段值获取模块,用于针对所述日志文件中每条日志记录,获取所述日志记录中多个单字段的值;
字段值拼接模块,用于将多个单字段值获取模块获取的值,拼接为所述必需字段组合的值;
偏移位置获取模块,用于获取所述每条日志记录在所述日志文件中的偏移位置;
索引记录创建模块,用于根据获得的必需字段组合的值创建索引记录,其中,将必需字段组合的值相同的日志记录归为一条索引记录,每条索引记录中包括所述必需字段组合的值对应的日志记录的偏移位置;
索引记录写入模块,用于将同一必需字段组合所有不同值的索引记录,写入所述日志文件的一个索引文件中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州迪普科技股份有限公司,未经杭州迪普科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710711234.0/1.html,转载请声明来源钻瓜专利网。