[发明专利]时序数据预统计方法、装置及存储介质

说明书

本申请公开了一种时序数据预统计方法、装置及存储介质，属于大数据处理领域。在本申请中，时序数据表包括的时序数据按照元数据和数据点的格式存储，元数据用于描述相应的数据点以及相应的数据采集端，数据点包括多个采集时间以及在每个采集时间采集的一个或多个监测数据，且用时序数据描述表来存储时序数据表中的时序数据的描述信息。也即是，本申请方案中对时序数据的存储类型进行了结构优化，每条监测记录可以包括一个数据采集端在多个采集时间采集的各个监测数据，这样，遍历一个表项可以获取更多的数据，提高预统计中的检索效率，且预统计时无需进行表关联，大大提高预统计效率。

技术领域

本申请涉及大数据处理领域，特别涉及一种时序数据预统计方法、装置及存储介质。

背景技术

随着云计算和物联网的发展，时序数据的数据量急剧膨胀，高效的分析时序数据，使时序数据产生业务价值成为一个热门话题。时序数据是指在时间上持续产生的一系列监测指标的数据，例如，股票价格、气温变化、网站的浏览访问数据、个人健康数据、工业传感器数据、业务服务器的系统监控数据(如内存占用率)等。数据采集端实时采集时序数据，将时序数据实时上传到数据服务器，由数据服务器按照一定的存储模型将时序数据存储在时序数据库包括的时序数据表中，之后，数据服务器可以对时序数据表中的时序数据进行预统计，以从海量的时序数据中统计得到有价值的信息。

在相关技术中，时序数据库按照单值模型对时序数据进行存储，即一条监测记录只对应一个数据采集端的一个监测指标的数据，所有的时序数据都存储在一张时序数据表中，预统计的过程中需要遍历海量的无用数据，耗时很长。另外，如果时序数据分多张表存储，如果需要对各个数据采集端的多个监测指标进行预统计，则需要关联多张表，而表关联也是非常耗时的。

发明内容

本申请提供了一种时序数据预统计方法、装置及存储介质，可以提高时序数据预统计的效率。所述技术方案如下：

一方面，提供了一种时序数据预统计方法，所述方法包括：

获取预统计任务对应的预统计条件；

根据所述预统计条件和时序数据描述表，对存储的时序数据表进行预统计，得到预统计结果；

其中，所述时序数据表用于按照元数据和数据点的格式存储时序数据，所述元数据用于描述相应的数据点以及相应的数据采集端，所述数据点包括多个采集时间以及在每个采集时间采集的一个或多个监测数据，所述时序数据描述表用于存储所述时序数据表中的时序数据的描述信息。

可选地，所述预统计条件包括过滤条件、预统计函数和分组指示信息，所述分组指示信息用于指示是否需要分组；

所述根据所述预统计条件和时序数据描述表，对存储的时序数据表进行预统计，得到预统计结果，包括：

根据所述时序数据描述表，从所述时序数据表中提取满足所述过滤条件的数据，得到预统计候选数据表；

根据所述预统计函数和所述分组指示信息，对所述预统计候选数据表进行处理，得到所述预统计结果。

可选地，所述过滤条件包括数据过滤类别、时间过滤范围、标签过滤数据和监测指标过滤数据；

所述根据所述时序数据描述表，从所述时序数据表中提取满足所述过滤条件的数据，得到预统计候选数据表，包括：

根据所述数据过滤类别和所述时序数据描述表，从所述时序数据表中提取数据类别为所述数据过滤类别的表项，得到第一候选表；

根据所述标签过滤数据和所述时序数据描述表，从所述第一候选表中提取满足条件的表项，得到第二候选表，所述满足条件的表项包括的标签中含有所述标签过滤数据所指示的标签；

根据所述时间过滤范围、所述监测指标过滤数据和所述时序数据描述表，对所述第二候选表中的数据进行过滤，得到所述预统计候选数据表。