[发明专利]一种实时数据流聚合查询的实现方法

权利要求书

1.一种实时数据流聚合查询的实现方法，其特征在于：包括以下步骤：

步骤S1，分析聚合查询语句，提取查询语句中的关键字段信息，并确定聚合算法；

步骤S2，根据计算需求定义实时数据流的window宽度，从实时数据流中不断读取数据，按window宽度筛选出数据；

步骤S3，对筛选出的数据，根据关键字段信息，利用md5算法和sadd算法得到第一数据集合，同时利用md5算法、val函数、sadd算法得到第二数据集合，利用md5算法和sadd算法得到第一数据集合的步骤为：首先读取关键字段信息的值，将一部分关键字段信息的值运用到md5算法中，并通过md5算法对筛选出数据进行运算，然后在利用sadd算法将md5算法计算后的值和另一部分关键字段信息的值进行拼合，并添加到第一数据集合中，计算完成以后，最终得到第一数据集合；

步骤S4，通过scard算法将第一数据集合和第二数据集合进行聚合计算，并拼合成聚合结果集合；

步骤S5，将聚合计算后的聚合结果集合存入关系型数据库或者分布式文档存储数据库中供应用系统调用。

2.如权利要求1所述的实时数据流聚合查询的实现方法，其特征在于：在步骤S1中，获取查询的关键字段信息至少包括：时间、类型、地址、名称。

3.如权利要求1所述的实时数据流聚合查询的实现方法，其特征在于：在步骤S2中，window宽度根据关键字段信息中的数据计算得到或系统自定义。

4.如权利要求1所述的实时数据流聚合查询的实现方法，其特征在于：在步骤S3中，利用md5算法和val函数得到第二数据集合的步骤为：首先读取关键字段信息的值，将全部关键字段信息的值运用到md5算法中，并通过md5算法对筛选出数据进行运算，然后利用val函数对关键字段信息的值进行运算，在由sadd算法将md5算法计算后的值和val函数计算后的值进行拼合，并添加到第二数据集合中，计算完成以后，最终得到第二数据集合。

5.如权利要求4所述的实时数据流聚合查询的实现方法，其特征在于：在步骤S4中，在步骤S4中，使用scard算法计算以前，需启动一个新的分析线程定期读取将全部关键字段信息的值运用到md5算法中计算后的值，再逐个遍历取出val函数计算后的值，再通过md5算法进行计算，计算后的值由scard算法进行拼合。

6.如权利要求1或5所述的实时数据流聚合查询的实现方法，其特征在于：在步骤S4中，scard算法的操作时间复杂度为O(1)。

7.如权利要求1所述的实时数据流聚合查询的实现方法，其特征在于：在步骤S5中，聚合计算后的聚合结果集合中的数据由下一分析线程发送至关系型数据库或者分布式文档存储数据库。

8.如权利要求1所述的实时数据流聚合查询的实现方法，其特征在于：第一数据集合、第二数据集合均存入redis。

9.如权利要求1所述的实时数据流聚合查询的实现方法，其特征在于：在步骤S1中，聚合算法至少包括md5算法、sadd算法、scard算法、val函数。