[发明专利]流式统计方法、装置和电子设备

权利要求书

1.一种流式统计方法，所述流式统计方法应用于对流数据的统计中，所述流数据经过数据处理阶段的处理以完成数据处理过程，所述方法包括：

设置变量标尺；

确定所述变量标尺上针对指定变量的统计起始点和统计终止点，其中，所述指定变量是时间变量；

确定统计点，所述统计点至少包括所述统计起始点和所述统计终止点；以及

基于所述统计点的统计结果确定所述流数据针对所述指定变量的统计结果；

其中，所述统计起始点和所述统计终止点是基于所述流数据的数据处理阶段的处理速度确定的；

其中，所述确定所述变量标尺上针对指定变量的统计起始点和统计终止点包括：

基于加工时效和/或加工单元的时长信息确定针对当前时间点的统计起始点和统计终止点，每个加工单元包括至少一个数据处理阶段；

其中，所述加工单元的时长信息通过以下方式确定：

确定所述流数据需要经过的指定个数数据处理阶段，

确定各数据处理阶段的处理时长，

基于预设规则和各数据处理阶段的处理时长对所述指定个数数据处理阶段中至少部分数据处理阶段进行合并，得到至少一个加工单元以及各自的时长信息；

所述加工时效通过以下方式确定：

基于所述至少一个加工单元确定时间切片的时长信息，

基于所述时间切片的时长信息和所述至少一个加工单元的个数确定加工时效；

其中，所述预设规则包括以下至少一种：对于每个数据处理阶段，

如果数据处理阶段合并到相邻的数据处理阶段后总处理时长小于设定时长阈值，则合并到相邻的数据处理阶段，重复以上操作直至合并后的数据处理阶段总处理时长大于或等于设定时长阈值；

其中，在确定加工时效之后，

确定加工时效的波动范围；

基于所述加工时效和所述波动范围确定承诺时效；

所述基于加工时效和/或加工单元的时长信息确定针对当前时间点的统计起始点和统计终止点包括：基于承诺时效和/或加工单元的时长信息确定针对当前时间点的统计起始点和统计终止点；

其中，所述承诺时效的获取方式包括：基于所述加工时效和波动范围确定承诺时效。

2.根据权利要求1所述的方法，其中，所述基于承诺时效和/或加工单元的时长信息确定针对当前时间点的统计起始点和统计终止点包括：对于第j轮流数据和第j-1轮流数据，其中，j是大于或等于1的正整数，

当针对第j轮流数据的系统时间与针对第j-1轮流数据的统计终止点之间的差值大于或等于承诺时效时，基于所述针对第j轮流数据的系统时间和所述承诺时效确定针对第j轮流数据的统计起始点；

当针对第j轮流数据的系统时间与针对第j-1轮流数据的统计终止点之间的差值小于承诺时效时，基于所述针对第j轮流数据的系统时间、时间切片的时长信息和所述承诺时效确定针对第j轮流数据的统计终止点；

当针对第j轮流数据的系统时间与针对第j-1轮流数据的统计终止点之间的差值大于或等于零，且小于承诺时效时，基于所述针对第j-1轮流数据的统计终止点确定针对第j轮流数据的统计起始点；以及

当针对第j轮流数据的系统时间与针对第j-1轮流数据的统计终止点之间的差值大于或等于零，且小于承诺时效时，基于所述针对第j轮流数据的最晚输入时间确定针对第j轮流数据的统计终止点。

3.根据权利要求1所述的方法，还包括：在所述基于所述加工时效和所述波动范围确定承诺时效之后，

如果所述承诺时效与实际时效之间的偏差超过设定偏差阈值，则更新所述承诺时效。

4.根据权利要求1所述的方法，其中，所述流数据包括至少一轮数据，每轮数据包括的数据量是一个处理时长最长的数据处理阶段处理的数据量。

5.根据权利要求1所述的方法，还包括：在所述设置变量标尺之前，

基于变量标尺的总长度、预设精度初始化变量标尺。

6.根据权利要求1所述的方法，其中，所述确定统计点包括：

基于预设精度对所述变量标尺进行划分，得到至少一个统计分片；

从所述至少一个统计分片中确定位于所述统计起始点和所述统计终止点之间的统计分片。