[发明专利]流式数据的分布式处理方法和装置

权利要求书

1.一种流式数据的分布式处理方法，其特征在于，所述方法包括：

将接收到的流式数据封装为第一弹性分布式数据集；

按照时间窗口对所述第一弹性分布式数据集执行分组操作，所述分组操作包括：将所述第一弹性分布式数据集中的各个数据分别分入该数据所记载的时间戳所属时间窗口所对应的分组中，形成与各个时间窗口分别对应的、包含有穷个数据的第二弹性分布式数据集；

将各个第二弹性分布式数据集封装成包含多个第二弹性分布式数据集的嵌套式数据集；

使用预先定义的遍历算子，依次将所述嵌套式数据集中的各个第二弹性分布式数据集传递给定义在有穷数据集上的批处理算子以执行分布式数据处理。

2.根据权利要求1所述的方法，其特征在于，所述将各个第二弹性分布式数据集进行封装成包含多个第二弹性分布式数据集的嵌套式数据集，包括：

将从各个时间窗口中选择的时间点作为键以及将各个第二弹性分布式数据集作为值，封装成以键值对形式存储各个第二弹性分布式数据集的嵌套式数据集；以及

所述依次将所述嵌套式数据集中的各个第二弹性分布式数据集传递给定义在有穷数据集上的批处理算子以执行分布式数据处理，包括：

依次将嵌套式数据集中作为值的各个第二弹性分布式数据集，依次传递给定义在有穷数据集上的批处理算子以执行分布式数据处理。

3.根据权利要求2所述的方法，其特征在于，所述将从各个时间窗口中选择的时间点作为键以及将各个第二弹性分布式数据集作为值，封装成以键值对存储各个第二弹性分布式数据集的嵌套式数据集，包括：

将键值对的键设置分别为各个时间窗口的起始时间点。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取用户设置的步长时间，并将相邻时间窗口的时间间隔的值设置为所述步长时间。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将各个时间窗口的时间长度的值设置为所述步长时间。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取用户设置的步长数，并将各个时间窗口的时间长度的值设置为所述步长数与所述步长时间的乘积。

7.一种流式数据的分布式处理装置，其特征在于，所述装置包括：

第一封装单元，用于将接收到的流式数据封装为第一弹性分布式数据集；

分组单元，用于按照时间窗口对所述第一弹性分布式数据集执行分组操作，所述分组操作包括：将所述第一弹性分布式数据集中的各个数据分别分入该数据所记载的时间戳所属时间窗口所对应的分组中，形成与各个时间窗口分别对应的、包含有穷个数据的第二弹性分布式数据集；

第二封装单元，用于将各个第二弹性分布式数据集封装成包含多个第二弹性分布式数据集的嵌套式数据集；

执行单元，用于使用预先定义的遍历算子，依次将所述嵌套式数据集中的各个第二弹性分布式数据集传递给定义在有穷数据集上的批处理算子以执行分布式数据处理。

8.根据权利要求7所述的装置，其特征在于，所述第二封装单元进一步用于：将从各个时间窗口中选择的时间点作为键以及将各个第二弹性分布式数据集作为值，封装成以键值对形式存储各个第二弹性分布式数据集的嵌套式数据集；以及

所述执行单元进一步用于：依次将嵌套式数据集中作为值的各个第二弹性分布式数据集，依次传递给定义在有穷数据集上的批处理算子以执行分布式数据处理。

9.根据权利要求8所述的装置，其特征在于，所述执行单元进一步用于：将键值对的键设置分别为各个时间窗口的起始时间点。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

窗口间隔设置单元，用于获取用户设置的步长时间，并将相邻时间窗口的时间间隔的值设置为所述步长时间。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

窗口时长设置单元，用于将各个时间窗口的时间长度的值设置为所述步长时间。

12.根据权利要求10所述的装置，其特征在于，所述装置还包括：

窗口时长设置单元，用于获取用户设置的步长数，并将各个时间窗口的时间长度的值设置为所述步长数与所述步长时间的乘积。