[发明专利]一种多流流式数据的处理方法和系统

权利要求书

1.一种多流流式数据的处理方法，其特征在于，包括：

对所获取的多流流式数据进行窗口化处理并基于窗口计算公式进行窗口计算；

基于设定的数据处理目的，对所得到的窗口计算结果进行语义结构重组，以得到语义结构重组数据流；

基于重组流计算公式，对所述语义结构重组数据流进行重组流计算，得到数据处理结果；

其中，对所获取的多流流式数据进行窗口化处理包括：

基于所获取的多流流式数据的数据属性，将所获取的多流流式数据划分到各个数据计算窗口中；

为所述各个数据计算窗口赋予窗口标记，其中被赋予窗口标记的数据计算窗口被设定为拒绝所述数据流中属于所述数据计算窗口的后续数据流入。

2.根据权利要求1所述的方法，其特征在于，对所获取的多流流式数据进行窗口化处理并基于窗口计算公式进行窗口计算之前，所述方法还包括：

基于用户输入的指令，确定所述窗口计算公式、所述重组流计算公式和语义结构。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述语义结构、所述窗口计算公式和所述重组流计算公式存放至任务配置文件中。

4.根据权利要求1-3任一项所述的方法，其特征在于，基于窗口计算公式进行窗口计算之后，所述方法还包括：

修改第一语义协作元数据的取值，所述第一语义协作元数据的取值用于标识是否触发语义结构重组操作。

5.根据权利要求4所述的方法，其特征在于，基于设定的数据处理目的对所得到的窗口计算结果进行语义结构重组，以得到语义结构重组数据流，包括：

在所述第一语义协作元数据的取值符合语义结构重组操作的触发条件时，以流形式获取所述窗口计算结果；

基于设定的数据处理目的，对所获取的窗口计算结果流进行语义结构重组，以得到重组数据流。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

修改第二语义协作元数据的取值，所述第二语义协作元数据的取值用于标识是否触发重组流计算操作，以及

其中，在所述第二语义协作元数据的取值符合重组流计算操作的触发条件时，基于重组流计算公式，对所述语义结构重组数据流进行重组流计算，得到数据处理结果。

7.根据权利要求1所述的方法，其特征在于，在为所述各个数据计算窗口赋予窗口标记之后，所述方法还包括：

收集后续请求流入所述各个数据计算窗口的数据，作为所述各个数据计算窗口的过期数据；

对所述过期数据进行窗口计算，并对窗口计算结果进行语义结构重组得到语义结构重组数据补偿流；

对所述语义结构重组数据补偿流进行重组流计算，得到补偿计算结果；

根据所述补偿计算结果对所述数据处理结果进行修正。

8.一种多流流式数据的处理系统，其特征在于，包括：

窗口化处理模块，用于对所获取的多流流式数据进行窗口化处理；

窗口计算模块，用于基于窗口计算公式对窗口化处理后的多流流式数据进行窗口计算；

数据流重组模块，用于基于设定的数据处理目的，对所得到的窗口计算结果进行语义结构重组，以得到语义结构重组数据流；

重组流计算模块，用于基于重组流计算公式，对所述语义结构重组数据流进行重组流计算，得到数据处理结果；

其中，所述窗口化处理模块，具体用于：

基于所获取的多流流式数据的数据属性，将所获取的多流流式数据划分到各个数据计算窗口中；

为所述各个数据计算窗口赋予窗口标记，其中被赋予窗口标记的数据计算窗口被设定为拒绝所述数据流中属于所述数据计算窗口的后续数据流入。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括：

第一预处理模块，用于在对所获取的多流流式数据进行窗口化处理并基于窗口计算公式进行窗口计算之前，基于用户输入的指令，确定所述窗口计算公式、所述重组流计算公式和语义结构。