[发明专利]多数据流处理方法、装置、终端及存储介质

权利要求书

1.一种多数据流处理方法，其特征在于，包括：

接收消息中间件发送的多条数据流，并获取每条所述数据流的类型；

提取所述多条数据流中类型为插入的第一数据流，利用Flink窗口功能将所述第一数据流插入到预先构建的最终结果表中；

提取所述多条数据流中类型为非插入的第二数据流，构建同步表，并利用Flink窗口功能将所述第二数据流插入到所述同步表中；

合并所述同步表和预先构建的最终结果表，以对所述最终结果表中相应的字段进行更新，得到新的最终结果表。

2.根据权利要求1所述的多数据流处理方法，其特征在于，所述提取所述多条数据流中类型为非插入的第二数据流，构建同步表，并利用Flink窗口功能将所述第二数据流插入到所述同步表中，包括：

提取所述多条数据流中类型为非插入的第二数据流；

从所述第二数据流中提取出第二字段信息，并与所述最终结果表中的字段信息进行比对，以确认所述最终结果表中的待更新的第一字段信息；

构建所述同步表；

利用Flink窗口功能将所述第二字段信息和所述第二字段信息对应的数据存储至所述同步表中。

3.根据权利要求2所述的多数据流处理方法，其特征在于，所述合并所述同步表和预先构建的最终结果表，以对所述最终结果表中相应的字段进行更新，得到新的最终结果表，包括：

利用所述第二字段信息对应的数据更新掉所述最终结果表中所述待更新的第一字段信息的数据，且所述最终结果表中其余字段的数据不变，得到新的最终结果表。

4.根据权利要求2所述的多数据流处理方法，其特征在于，所述提取所述多条数据流中类型为非插入的第二数据流之后，还包括：

判断针对于同一字段信息的所述第二数据流的数量是否超过一条；

若是，则获取针对于所述同一字段信息的所有第二数据流的事件时间；

选取所述事件时间最新的第二数据流作为用于更新所述同一字段信息的最终的第二数据流，并删除其余所述第二数据流。

5.根据权利要求2所述的多数据流处理方法，其特征在于，所述利用Flink窗口功能将所述第二字段信息和所述第二字段信息对应的数据存储至所述同步表中之后，还包括：

当所述数据流的类型为删除时，在所述同步表中为所述第二字段信息和所述第二字段信息对应的数据打上删除标签。

6.根据权利要求1所述的多数据流处理方法，其特征在于，所述得到新的最终结果表之后，还包括：

将所述新的最终结果表存储至存储器中，并删除所述同步表。

7.根据权利要求1所述的多数据流处理方法，其特征在于，所述得到新的最终结果表之后，还包括：

将所述新的最终结果表上传至区块链。

8.一种多数据流处理装置，其特征在于，包括：

获取模块，用于接收消息中间件发送的多条数据流，并获取每条所述数据流的类型；

第一处理模块，用于提取所述多条数据流中类型为插入的第一数据流，利用Flink窗口功能将所述第一数据流插入到预先构建的最终结果表中；

第二处理模块，用于提取所述多条数据流中类型为非插入的第二数据流，构建同步表，并利用Flink窗口功能将所述第二数据流插入到所述同步表中；

合并模块，用于合并所述同步表和预先构建的最终结果表，以对所述最终结果表中相应的字段进行更新，得到新的最终结果表。

9.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，

所述存储器存储有用于实现如权利要求1-7中任一项所述的多数据流处理方法的程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以利用Flink处理类型不同的多条数据量流。

10.一种存储介质，其特征在于，存储有能够实现如权利要求1-7中任一项所述的多数据流处理方法的程序文件。