[发明专利]一种流式数据批处理方法及装置

权利要求书

1.一种流式数据批处理方法，其特征在于，包括：

从目标存储空间中，确定待消费消息分区中当前未消费消息的起始消息位置，所述待消费消息分区中保存的消息为流式数据；

将所述起始消息位置确定为本次批处理作业对所述待消费消息分区中当前未消费消息的起始消费位置；

基于预设的流式数据处理时延预估下次批处理作业的启动执行时刻；

确定在所述启动执行时刻写入所述待消费消息分区的目标消息的消息位置；

将所述目标消息的消息位置确定为所述本次批处理作业在执行结束时，对所述待消费消息分区中消息的指定最终消费位置；

启动执行所述本次批处理作业，以对所述待消费消息分区中当前未消费消息进行消费；

在所述本次批处理作业执行过程中，当所述本次批处理作业的执行时长到达预设的最大消费时长时，确定所述本次批处理作业对所述待消费消息分区中消息的实际最终消费位置；

确定所述实际最终消费位置是否与所述指定最终消费位置一致，如果是，则确定所述本次批处理作业执行成功，将所述本次批处理作业在执行过程中的已消费消息存储至目标数据仓库。

2.根据权利要求1所述的方法，其特征在于，在所述确定所述本次批处理作业执行成功之后，所述方法还包括：

将所述待消费消息分区中所述实际最终消费位置的下一位置，确定为所述待消费消息分区中当前未消费消息的起始消息位置，存储至所述目标存储空间中；

返回执行所述从目标存储空间中，确定待消费消息分区中当前未消费消息的起始消息位置的步骤，在所述启动执行时刻执行下一次批处理作业，继续消费所述待消费消息分区中的未消费消息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述本次批处理作业执行过程中，当所述本次批处理作业对所述待消费消息分区中消息的消费位置达到所述指定最终消费位置时，指令所述本次批处理作业停止执行。

4.根据权利要求1所述的方法，其特征在于，所述启动执行所述本次批处理作业，以对所述待消费消息分区中当前未消费消息进行消费，包括：

当所述待消费消息分区中由所述起始消费位置至所述指定最终消费位置的消息数量不超过预设阈值时，在所述本次批处理作业执行过程中，通过一个rdd分区构造一个消费者；

将所述消费者在所述待消费消息分区中消费的消息，保存至所述rdd分区中。

5.根据权利要求1所述的方法，其特征在于，所述启动执行所述本次批处理作业，以对所述待消费消息分区中当前未消费消息进行消费，包括：

当所述待消费消息分区中由所述起始消费位置至所述指定最终消费位置的消息数量超过预设阈值时，对所述待消费消息分区中由所述起始消费位置至所述指定最终消费位置中的所有消息进行拆分，获得多个消息块；

在所述本次批处理作业执行过程中，通过多个rdd分区构造多个消费者，其中，所述rdd分区与所述消费者一一对应；

分别将各所述消费者在所述待消费消息分区中消费的消息，保存至相应的所述rdd分区中。

6.根据权利要求1所述的方法，其特征在于，所述将所述本次批处理作业在执行过程中的已消费消息存储至目标数据仓库，包括：

将所述本次批处理作业在所述待消费消息分区中的已消费消息写入cos缓存中；

将所述cos缓存中保存的所述已消费消息写入预先配置好的外部表，所述外部表的表结构与所述目标数据仓库的表结构一致；

将所述外部表中保存的已消费消息全量插入至所述目标数据仓库中。