[发明专利]数据查询方法、装置及设备

说明书

本申请提供一种数据查询方法、装置及设备，该方法包括：在接收到查询请求后，从所述查询请求中解析出关键字；基于所述查询请求确定与所述关键字匹配的查询条件类型；其中，所述查询条件类型为倒排查询类型或者正排查询类型；若所述查询条件类型为倒排查询类型，则通过所述关键字查询融合索引表中的倒排索引表，得到与所述关键字匹配的第一数据结构；若所述查询条件类型为正排查询类型，则通过所述关键字查询所述融合索引表中的正排索引表，得到与所述关键字匹配的第二数据结构。通过本申请的技术方案，实现海量日志数据的查询，并快速返回查询响应，通过将倒排索引表和正排索引表进行融合，实现不同查询条件类型的数据查询，提高查询速度。

技术领域

本申请涉及通信技术领域，尤其是涉及一种数据查询方法、装置及设备。

背景技术

日志数据是记录IT系统产生的过程性事件的记录数据，IT系统在保障业务运行的过程中，会持续产生大量的日志数据，通过查看日志数据，可以获知哪个用户、在什么时间、在哪台设备或什么应用系统、做了什么具体操作。

日志数据的来源有服务器、存储设备、网络设备、操作系统、中间件、数据库、业务系统等。日志数据可以分为状态日志和应用系统日志两大类，状态日志包括CPU(CentralProcessing Unit，中央处理器)使用状态、内存使用状态、温度信息、磁盘容量、流量信息、行为分析信息等。应用系统日志包括操作系统的日志数据，数据库的日志数据，中间件的日志数据等。若按照日志格式分类，日志数据可以分为文本类日志数据，系统类日志数据，SNMP(Simple Network Management Protocol，简单网络管理协议)类日志数据，数据库类日志数据。

越来越多的安全分析场景中，需要对日志数据进行查询和数据分析，但是，日志数据的数据量呈现几何级数的增长，每天都可能产生TB甚至PB级别的日志数据，如何对海量日志数据进行查询，目前并没有有效的实现方案。

发明内容

本申请提供一种数据查询方法，所述方法包括：

在接收到查询请求后，从所述查询请求中解析出关键字；

基于所述查询请求确定与所述关键字匹配的查询条件类型；其中，所述查询条件类型为倒排查询类型或者正排查询类型；

若所述查询条件类型为倒排查询类型，则通过所述关键字查询融合索引表中的倒排索引表，得到与所述关键字匹配的第一数据结构；

若所述查询条件类型为正排查询类型，则通过所述关键字查询所述融合索引表中的正排索引表，得到与所述关键字匹配的第二数据结构。

在一种可能的实施方式中，若所述关键字包括第一关键字和第二关键字，与所述第一关键字匹配的查询条件类型为倒排查询类型，与所述第二关键字匹配的查询条件类型为正排查询类型，所述方法还包括：

通过所述第一关键字查询所述融合索引表中的倒排索引表，得到与所述第一关键字匹配的第一数据结构，并通过所述第二关键字查询所述融合索引表中的正排索引表，得到与所述第二关键字匹配的第二数据结构。

示例性的，所述基于所述查询请求确定与所述关键字匹配的查询条件类型，包括：若所述查询请求用于实现全文查询，或实时数据查询，或分组聚合查询，或分词汇总查询，则确定所述查询条件类型为倒排查询类型；或，

若所述查询请求用于实现多字段查询，或长时间查询，或大流量查询，或复杂表连接查询，或分页查询，则确定所述查询条件类型为正排查询类型。

示例性的，所述融合索引表还包括全局标识，所述通过所述关键字查询融合索引表中的倒排索引表，得到与所述关键字匹配的第一数据结构之后，还包括：通过所述全局标识查询全量索引表，得到与所述关键字匹配的全量索引；