[发明专利]一种日志查询方法和系统

说明书

本发明公开了一种日志查询方法，该方法包括：接收采集的至少一条日志，该日志包括日志来源、日志生成日期和日志生成时间；将每一条日志存储为一个第一文件，该第一文件以该条日志的日志来源、日志生成日期和日志生成时间为存储路径；读取日志来源相同、日志生成日期相同和日志生成时间所属的时间段相同的存储路径下的至少一个第一文件；将至少一个第一文件有序排列后合并为一个第二文件，第二文件以日志生成时间为索引，并以日志来源、日志生成日期和日志生成时间所属的时间段为存储路径；接收用户的日志分页查询请求，获取相应存储路径下的第二文件，对该第二文件进行分页查询后将查询结果返回至用户。本发明还公开了一种日志查询系统。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种日志查询方法和系统。

背景技术

随着移动通信网、互联网、物联网等信息技术的飞速发展，信息技术已经融入到人们的生活，遍布世界各地的各种通信终端、传感设备等产生了超过以往任何时代的巨量数据。与此同时，电子商务、社交网络的兴起每时每刻都在生成各种各样的数据。

海量的数据中蕴含着大量信息，从信息中可以提取大量有用价值。其中，网站采集的日志一般包含了大量人们—特别是产品分析人员感兴趣的信息，其记录了服务器接收处理请求以及运行时错误等各种原始信息，通过对这些日志进行分析和统计，能够有效掌握系统运行情况以及网站内容的受访问情况、加强对整个网站及其内容的维护与管理。而这些海量的日志数据通常为小文件，面对海量零散小文件的日志数据，如何高效的进行存储以及查询十分关键。

由于目前普遍使用的基于关系型数据库的存储查询方案在海量小文件数据存储和查询的条件下加载效率低、检索速度慢，因此需要一种能够适应海量小文件数据存储、查询等应用需求、提高数据查询效率的日志查询方案。

发明内容

鉴于此，本发明提供了一种新的日志查询方案，以力图解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供了一种日志查询方法，该方法包括：接收采集的至少一条日志，日志包括日志来源、日志生成日期和日志生成时间；将接收的每一条日志存储为一个第一文件，该第一文件以该条日志的日志来源、日志生成日期和日志生成时间为存储路径；读取日志来源相同、日志生成日期相同和日志生成时间所属的时间段相同的存储路径下的至少一个第一文件；将该至少一个第一文件按照其中日志生成时间有序排列后合并为一个第二文件，该第二文件以第一文件中日志生成时间为索引，并以日志来源、日志生成日期和日志生成时间所属的时间段为存储路径；接收用户的日志分页查询请求，获取相应存储路径下的第二文件，对获取的第二文件进行分页查询后将查询结果返回至用户。

可选地，在根据本发明的方法中，在将接收的每一条日志存储为一个第一文件的步骤之前，还包括：解析日志内容，判断日志是否为无效日志，若是则将该条日志删除。

可选地，在根据本发明的方法中，该日志分页查询请求包括日志来源、日志生成日期、日志生成时间、页起始行和每页日志条数，获取相应存储路径下的第二文件，对获取的第二文件进行分页查询后将查询结果返回至用户的步骤包括：根据日志分页查询请求中的日志来源、日志生成日期和日志生成时间确定第二文件的存储路径，读取该存储路径下的第二文件；读取第二文件中该日志生成时间对应的一条日志，并以该条日志作为行号为第1行的日志；根据该页起始行和每页日志条数确定该页的页结束行；读取并存储第二文件中行号为该页起始行至页结束行的所有日志为查询结果。

可选地，在根据本发明的方法中，读取第二文件中日志生成时间对应的一条日志的步骤包括：查询第二文件的索引，若索引中存在该日志生成时间，则读取第二文件中该日志生成时间对应的一条日志；以及若索引中不存在该日志生成时间，则查询索引中与该日志生成时间最接近的日志生成时间，读取第二文件中最接近的日志生成时间对应的一条日志。