[发明专利]一种流式数据的检测方法及装置

权利要求书

1.一种流式数据的检测方法，其特征在于，包括：

数据源节点为目标数据流中每组数据配置基于时间的时隙标记，所述每组数据经所述数据源节点依次发送至多个数据处理节点；

所述数据处理节点根据所述时隙标记生成时隙记录，所述时隙记录包括具有相同时隙标记的多组数据对应的初始接收时间、更新时间以及所述多组数据对应的数据量；

所述数据处理节点根据所述时隙记录生成第一时隙清单，所述第一时隙清单包括至少一条所述时隙记录；

数据中心根据预设时间间隔分别获取每个数据处理节点生成的所述第一时隙清单，并将每个数据处理节点对应的多个所述第一时隙清单进行合并，得到第二时隙清单，所述第二时隙清单与所述数据处理节点一一对应；

根据所述多个数据处理节点对应的多个第二时隙清单中记录的数据量，确定所述多个数据处理节点中的故障节点。

2.根据权利要求1所述的流式数据的检测方法，其特征在于，所述数据源节点为目标数据流中每组数据配置基于时间的时隙标记，包括：

若所述目标数据流中断，则生成测试空数据包；

为所述测试空数据包配置基于时间的时隙标记。

3.根据权利要求1所述的流式数据的检测方法，其特征在于，所述数据处理节点根据所述时隙记录生成第一时隙清单，包括：

当所述数据处理节点将待添加时隙记录添加到时隙清单时，判断所述第一时隙清单中的时隙记录数量是否到达记录数量阈值；

如果所述第一时隙清单中的时隙记录数量到达所述记录数量阈值，则采用回滚的方式将所述待添加时隙记录更新至所述第一时隙清单。

4.根据权利要求1所述的流式数据的检测方法，其特征在于，所述将每个数据处理节点对应的多个所述第一时隙清单进行合并，包括：

获取待合并的第一时隙清单中的第一时隙记录；

从已存储的第一时隙清单中，查找具有相同时隙标记的第二时隙记录；

根据所述第一时隙记录和所述第二时隙记录分别对应的初始接收时间和更新时间确定合并操作类型，所述合并操作类型包括：累加操作、忽略操作和覆盖操作；

根据确定的合并操作类型将所述第一时隙记录与所述第二时隙记录进行合并。

5.根据权利要求1所述的流式数据的检测方法，其特征在于，所述根据所述多个数据处理节点对应的多个第二时隙清单中记录的数据量，确定所述多个处理节点中的故障节点，包括：

获取预设参考时间段内，时隙单位对应的平均数据处理量，所述时隙单位为所述时隙标记对应的时长；

根据所述平均数据处理量和预设波动比例，确定波动区间，所述预设波动比例大于1；

如果目标第二时隙清单中目标时隙记录中的数据量超出所述波动区间，则确定所述目标第二时隙清单对应的数据处理节点为故障节点。

6.一种流式数据的检测装置，其特征在于，包括：

时隙标记配置模块，用于数据源节点为目标数据流中每组数据配置基于时间的时隙标记，所述每组数据经所述数据源节点依次发送至多个数据处理节点；

时隙记录生成模块，用于所述数据处理节点根据所述时隙标记生成时隙记录，所述时隙记录包括具有相同时隙标记的多组数据对应的初始接收时间、更新时间以及所述多组数据对应的数据量；

第一时隙清单生成模块，用于所述数据处理节点根据所述时隙记录生成第一时隙清单，所述第一时隙清单包括至少一条所述时隙记录；

第二时隙清单生成模块，用于数据中心根据预设时间间隔分别获取每个数据处理节点生成的所述第一时隙清单，并将每个数据处理节点对应的多个所述第一时隙清单进行合并，得到第二时隙清单，所述第二时隙清单与所述数据处理节点一一对应；

故障节点确定模块，用于根据所述多个数据处理节点对应的多个第二时隙清单中记录的数据量，确定所述多个数据处理节点中的故障节点。

7.根据权利要求6所述的流式数据的检测装置，其特征在于，所述时隙标记配置模块，用于：

若所述目标数据流中断，则生成测试空数据包；

为所述测试空数据包配置基于时间的时隙标记。