[发明专利]流式数据分发方法与系统

权利要求书

1.一种流式数据分发方法，其特征在于，所述方法包括：

获取上游节点提供的数据流；

通过多个并发任务对所述数据流进行处理，以通过所述多个并发任务得到多个文件；

对所述多个文件中的至少部分文件进行合并操作，得到一个或多个文件；

将所述一个或多个文件下发到下游节点中，以将所述一个或多个文件存储到所述下游节点。

2.根据权利要求1所述的流式数据分发方法，其特征在于，所述数据流包括Protobuf数据；所述方法还包括：

监测所述数据流的Schema是否发生变化；及

若所述数据流的Schema发生变化，则动态变更用于生成所述Protobuf数据的类。

3.根据权利要求1所述的流式数据分发方法，其特征在于，

对所述多个文件中的至少部分文件进行合并操作，得到一个或多个文件，包括：

根据时间策略和/或文件合并大小策略，对所述多个文件中的至少部分文件进行合并操作。

4.根据权利要求3所述的流式数据分发方法，其特征在于，还包括：

根据所述下游节点的数据读取时效需求和/或所述下游节点的IO负载，确定所述时间策略；其中，所述时间策略用于指示以预定时间隔间执行一次合并操作。

5.根据权利要求1至4任意一项所述的流式数据分发方法，其特征在于，还包括：

以预设时间间隔生成对应于一个目标时间分区的分区增量索引，所述分区增量索引包括在所述目标时间分区写入到所述下游节点的一个或多个文件的索引信息。

6.根据权利要求1至4任意一项所述的流式数据分发方法，其特征在于，

所述将所述一个或多个文件下发到下游节点中，以将所述一个或多个文件存储到所述下游节点，包括：

以Append模式将所述一个或多个文件写入到所述下游节点中，并为每个文件设置一个检查点。

7.一种流式数据分发装置，其特征在于，所述装置包括：

获取模块，用于获取上游节点提供的数据流；

处理模块，用于通过多个并发任务对所述数据流进行处理，以通过所述多个并发任务得到多个文件；

合并模块，用于对所述多个文件中的至少部分文件进行合并操作，得到一个或多个文件；

下发模块，用于将所述一个或多个文件下发到下游节点中，以将所述一个或多个文件存储到所述下游节点。

8.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1至6任一项所述流式数据分发方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现权利要求1至6任一项所述流式数据分发方法的步骤。

10.一种流式数据分发系统，其特征在于，用于Flink集群中，所述系统包括：

数据输入模块，用于从上游节点消费数据流，所述数据流包括Protobuf数据；

数据处理模块，用于通过多个任务并行处理所述数据流中的Protobuf数据，生成多个Parquet文件；

数据输出模块，用于输出所述多个Parquet文件；

数据合并模块，用于接收所述数据输出模块提供的多个Parquet文件，并对所述多个Parquet文件中的至少部分Parquet文件进行合并操作，得到一个或多个Parquet文件；其中，所述一个或多个Parquet文件用于写入到所述Flink集群下游的ODS层。

11.根据权利要求10所述的流式数据分发系统，其特征在于，还包括：

分区索引模块，用于以预设时间间隔生成对应于一个目标时间分区的分区增量索引；

其中，所述分区增量索引包括在所述目标时间分区写入到所述ODS层的一个或多个文件的索引信息。