[发明专利]一种日志过滤处理的方法、装置、设备及介质有效
申请号: | 202011118124.1 | 申请日: | 2020-10-19 |
公开(公告)号: | CN112199596B | 公开(公告)日: | 2023-08-25 |
发明(设计)人: | 方诚杰 | 申请(专利权)人: | 杭州迪普科技股份有限公司 |
主分类号: | G06F16/9535 | 分类号: | G06F16/9535;G06F9/50 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 林祥 |
地址: | 310051 浙江省杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 日志 过滤 处理 方法 装置 设备 介质 | ||
1.一种日志过滤处理的方法,其特征在于,所述方法包括:
将日志文件分成日志数据段;
依次加载所述日志数据段到内存,包括:在一次加载日志数据段到内存后,开始过滤处理所述已加载的日志数据段的同时加载下次要过滤处理的日志数据段到内存;
对所述内存中已加载的所述日志数据段的各条日志数据进行过滤处理,得到目标日志,所述目标日志为满足日志过滤条件的日志数据;
所述对所述内存中已加载的所述日志数据段的各条日志数据进行过滤处理之前,还包括:
当要过滤处理目的时间点的日志数据时,每加载一段日志数据段后,比较所述已加载的日志数据段的最后一条日志数据的时间属性和目的时间点的大小,若所述日志数据段的最后一条日志数据的时间属性小于目的时间点,则不再过滤处理所述已加载的日志数据段;和/或,
当要过滤处理目的时间段的日志数据时,每加载一段日志数据段后,比较所述已加载的日志数据段的最后一条日志数据的时间属性和目的时间段开头的时间的大小,若所述日志时间段的最后一条日志数据的时间属性小于目的时间段开头的时间,则不再过滤处理所述已加载的日志数据段。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
每过滤处理完至少一段日志数据段得到目标日志后,发送所述目标日志到网络节点。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取用户自定义的语义规则;
获取用户输入的根据所述语义规则确定的过滤表达式;
所述对所述内存中已加载的所述日志数据段的各条日志数据进行过滤处理,得到目标日志,包括:
通过所述过滤表达式对所述内存中已加载的所述日志数据段的各条日志数据进行过滤处理,得到满足过滤表达式的条件的日志数据作为目标日志。
4.一种日志过滤处理的装置,其特征在于,所述装置包括:
分段模块,用于将日志文件分成日志数据段;
加载模块,用于依次加载所述日志数据段到内存,具体用于:在一次加载日志数据段到内存后,开始过滤处理所述已加载的日志数据段的同时加载下次要过滤处理的日志数据段到内存;
处理模块,用于对所述内存中已加载的所述日志数据段的各条日志数据进行过滤处理,得到目标日志,所述目标日志为满足日志过滤条件的日志数据;
所述处理模块还包括如下至少一个子模块:
时间点处理子模块,用于当要过滤处理目的时间点的日志数据时,每加载一段日志数据段后,比较所述已加载的日志数据段的最后一条日志数据的时间属性和目的时间点的大小,若所述日志数据段的最后一条日志数据的时间属性小于目的时间点,则不再过滤处理所述已加载的日志数据段;
时间段处理子模块,用于当要过滤处理目的时间段的日志数据时,每加载一段日志数据段后,比较所述已加载的日志数据段的最后一条日志数据的时间属性和目的时间段开头的时间的大小,若所述日志时间段的最后一条日志数据的时间属性小于目的时间段开头的时间,则不再过滤处理所述已加载的日志数据段。
5.根据权利要求4所述的装置,其特征在于,所述装置还包括:
定义模块,用于获取用户自定义的语义规则和获取用户输入的根据所述语义规则确定的过滤表达式;
所述处理模块包括:
过滤子模块,用于通过所述过滤表达式对所述内存中已加载的所述日志数据段的各条日志数据进行过滤处理,得到满足过滤表达式的条件的日志数据作为目标日志。
6.一种电子设备,其特征在于,所述设备包括存储器、处理器,所述存储器用于存储可在处理器上运行的计算机指令,所述处理器用于在执行所述计算机指令时实现权利要求1至3任一所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至3任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州迪普科技股份有限公司,未经杭州迪普科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011118124.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种转动式一体化农业秸秆粉碎装置
- 下一篇:一种店铺全景人群热力分析的系统