[发明专利]一种海量ES搜索数据的预统计方法及系统

权利要求书

1.一种海量ES搜索数据的预统计方法，其特征在于，包括：

将每次统计开始时程序上下文的状态变量和环境变量保存至当前线程中；

获取下一统计任务，将统计任务按照统计维度划分为若干组，分组进行查询，获得树形结构的ES聚合结果；

遍历所述树形结构的ES聚合结果，根据树形结构中的每个节点的Node对象中的描述，获取该节点的父节点的信息，并将ES聚合结果的全部信息进行保存；

通过一张模版表动态的创建天表、周表和月表，将ES聚合结果的全部信息保存为天表，所述天表包括以小时为单位聚合的数据，将所述天表中的数据同步至周表和月表中，所述周表和月表包括以天为单位聚合的数据；将时间和各统计维度计算出的MD5值组合成索引，在将所述天表中的数据同步至周表和月表的过程中，利用所述索引做批量的更新插入操作；

更新上下文的状态变量和环境变量并持久化。

2.根据权利要求1所述的一种海量ES搜索数据的预统计方法，其特征在于：

若统计任务为统计实时数据，则每次统计的时间间隔为一个小时，并将本次统计的数据标记为临时数据，在下次统计前，将所述临时数据删除，并重新统计一小时内的数据；

若统计任务为统计历史数据，则每次统计的时间间隔为一个小时，下次统计时直接跳转至下一小时。

3.根据权利要求1所述的一种海量ES搜索数据的预统计方法，其特征在于，还包括：

若历史数据距离当前时间小于ES搜索数据写入磁盘存储文件的时间，则将预统计线程挂起等待。

4.一种海量ES搜索数据的预统计系统，其特征在于，包括：

第一模块，被配置为将每次统计开始时程序上下文的状态变量和环境变量保存至当前线程中；

第二模块，被配置为获取下一统计任务，将统计任务按照统计维度划分为若干组，分组进行查询，获得树形结构的ES聚合结果；

第三模块，被配置为遍历所述树形结构的ES聚合结果，根据树形结构中的每个节点的Node对象中的描述，获取该节点的父节点的信息，并将ES聚合结果的全部信息进行保存；

第四模块，被配置为通过一张模版表动态的创建天表、周表和月表，将ES聚合结果的全部信息保存为天表，所述天表包括以小时为单位聚合的数据，将所述天表中的数据同步至周表和月表中，所述周表和月表包括以天为单位聚合的数据；将时间和各统计维度计算出的MD5值组合成索引，在将所述天表中的数据同步至周表和月表的过程中，利用所述索引做批量的更新插入操作；

第五模块，被配置为更新上下文的状态变量和环境变量并持久化。

5.根据权利要求4所述的一种海量ES搜索数据的预统计系统，其特征在于：

若统计任务为统计实时数据，则每次统计的时间间隔为一个小时，并将本次统计的数据标记为临时数据，在下次统计前，将所述临时数据删除，并重新统计一小时内的数据；

若统计任务为统计历史数据，则每次统计的时间间隔为一个小时，下次统计时直接跳转至下一小时。

6.根据权利要求4所述的一种海量ES搜索数据的预统计系统，其特征在于，还包括：

第六模块，被配置为若历史数据距离当前时间小于ES搜索数据写入磁盘存储文件的时间，则将预统计线程挂起等待。