[发明专利]Elasticsearch分页查询数据的方法及装置

说明书

本发明公开了一种Elasticsearch分页查询数据的方法及装置，该方法包括：获取预设的数据查询条件，其中，数据查询条件包括：查询字段和查询周期；根据数据查询条件，启动一个定时任务，其中，定时任务用于定时从Elasticsearch中，批量查询每个查询周期内满足查询字段的数据，存入预设数据库中，得到多个数据块，每个数据块包含的数据量不超过预设阈值；接收对指定分页的数据查询请求，并根据对指定分页的数据查询请求，从预设数据库的多个数据块中，查找存储指定分页的数据的目标数据块；从目标数据块上，查询指定分页的数据。本发明使得Elasticsearch数据在深度分页的情况下实现跳页访问的技术效果。

技术领域

本发明涉及大数据领域，尤其涉及一种Elasticsearch分页查询数据的方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着信息技术的快速发展，出现了越来越多的软件应用，这些软件应用在使用过程中会产生大量的日志信息，通过对这些日志信息的分析，能够挖掘出很多有价值的信息。尤其是一些涉及到用户操作行为的日志信息，通过分析用户操作行为日志，能够挖掘出很多有商业价值的信息。

ElasticSearch是一个分布式、高扩展、高实时的搜索与数据分析引擎，实现对海量日志数据的分析。ElasticSearch通常与Logstash结合一起使用，Logstash是一个日志收集与解析引擎，能够采集日志数据，对日志数据进行清洗、转换等处理后，输出到ElasticSearch中。

目前，现有技术主要采用Elasticsearch提供的分页查询机制来实现数据查询，主要包括如下两种：

第一种，采用from+size方式的分页查询，给定分页的起始位置和分页大小，返回数据查询结果；这种分页查询方式，仅适合浅分页，from+size查询在0-10000条数据的时候，具有很不错的性能；查询数据量在10000-50000条以内的时候，性能也不错，但是当数据量超过50000条的情况下，便会出现性能严重下降的问题，甚至可能拖垮Elasticsearch集群，影响其他查询和写入功能。

第二种，采用scroll游标滚动方式的分页查询，通过不断的滚动，获取目标分页的数据。这种分页查询方式，虽然可实现深分页的数据查询，但是由于scroll类似于SQL中的cursor，使用scroll，每次只能获取一页的内容，然后会返回一个scroll_id。根据返回的这个scroll_id不断地获取下一页的内容，因而，采用scroll游标滚动的数据查询方式，不适用于有跳页的情景。

因而，急需一种能够在深度分页下实现跳页访问数据的分页查询方式，以加快对Elasticsearch中数据的查询速度。

发明内容

本发明实施例提供一种Elasticsearch分页查询数据的方法，用以解决现有Elasticsearch分页查询数据的方式，无法实现在深度分页下跳页访问数据的技术问题，该方法包括：获取预设的数据查询条件，其中，数据查询条件包括：查询字段和查询周期；根据数据查询条件，启动一个定时任务，其中，定时任务用于定时从Elasticsearch中，批量查询每个查询周期内满足查询字段的数据，存入预设数据库中，得到多个数据块，每个数据块包含的数据量不超过预设阈值；接收对指定分页的数据查询请求，并根据对指定分页的数据查询请求，从预设数据库的多个数据块中，查找存储指定分页的数据的目标数据块；从目标数据块上，查询指定分页的数据。