[发明专利]一种海量ES搜索数据的预统计方法及系统

说明书

本发明涉及计算机数据处理技术领域，公开了一种海量ES搜索数据的预统计方法，包括将统计开始时程序上下文的状态变量和环境变量保存至当前线程中；获取下一统计任务，将统计任务按照统计维度划分为若干组，分组进行查询，获得树形结构的ES聚合结果；遍历树形结构的ES聚合结果，根据树形结构中每个节点的Node对象中的描述，获取该节点的父节点信息，并将ES聚合结果的全部信息进行保存；通过一张模版表动态的创建天表、周表和月表，将ES聚合结果的全部信息按照时间划分到天表、周表和月表中；更新上下文的状态变量和环境变量并持久化。本发明提高了海量数据统计分析效能，降低对系统资源的使用，保证数据准确可靠，提供良好扩展性。

技术领域

本发明涉及计算机数据处理技术领域，特别涉及一种海量ES搜索数据的预统计方法及系统。

背景技术

许多企业都会对自身数据进行统计分析，例如统计客户的年龄分布，统计各类商品的订单数量等。通常对小批量数据进行统计分析的方法是直接聚合查询，对中等规模数据量进行统计分析的方法是事先根据业务需求将聚合结果存储到一张统计表中，查询时直接查询这张统计表。

随着业务的发展数据量越来越多，直接聚合查询很快就无法满足快速响应的需求。即使采用事先统计聚合结果的方案，当数据量膨胀到一定程度，例如一天超过数亿甚至数十亿规模时，在复杂的业务场景下每天聚合后的数据仍可能有超过百万的数据量，随着时间推移，统计表的数量也会不断增加。例如公开号为CN111460333A的中国专利申请，公开了一种实时搜索数据分析系统，利用流式计算大数据技术分析统计垂直搜索引擎产生的搜索行为数据，并提供可视化展示。但当单表数据达到千万级别后，通常会由于查询的结果集分布在大量数据页上导致内存占用增加，而在不同用户的并发请求下造成数据页缓存频繁淘汰从而加大磁盘的输入输出，使得数据处理能力急剧下降，系统响应时间大幅增长，对用户带来不好的体验，所以海量数据查询处理的问题函待解决。

发明内容

鉴于现有技术中的上述缺陷或不足，本发明提供了一种海量ES搜索数据的预统计方法及系统，在提高海量数据下统计分析效能的同时，降低了对系统资源的使用，保证了数据的准确可靠，同时提供了良好的扩展性。

本发明的一个方面提供了一种海量ES搜索数据的预统计方法，包括：

将每次统计开始时程序上下文的状态变量和环境变量保存至当前线程中；

获取下一统计任务，将统计任务按照统计维度划分为若干组，分组进行查询，获得树形结构的ES聚合结果；

遍历上述树形结构的ES聚合结果，根据树形结构中的每个节点的Node对象中的描述，获取该节点的父节点的信息，并将ES聚合结果的全部信息进行保存；

通过一张模版表动态的创建天表、周表和月表，将ES聚合结果的全部信息按照时间划分到该天表、周表和月表中；

更新上下文的状态变量和环境变量并持久化。

进一步的，若统计任务为统计实时数据，则每次统计的时间间隔为一个小时，并将本次统计的数据标记为临时数据，在下次统计前，将该临时数据删除，并重新统计一小时内的数据；

若统计任务为统计历史数据，则每次统计的时间间隔为一个小时，下次统计时直接跳转至下一小时。

进一步的，还包括：若历史数据距离当前时间小于ES搜索数据写入磁盘存储文件的时间，则将预统计线程挂起等待。

进一步的，上述将ES聚合结果的全部信息按照时间划分到天表、周表和月表中的步骤具体包括：

将ES聚合结果的全部信息保存为天表，该天表包括以小时为单位聚合的数据；将该天表中的数据同步至周表和月表中，周表和月表包括以天为单位聚合的数据。