[发明专利]一种流式数据批处理方法及装置

说明书

本发明公开了一种流式数据批处理方法及装置，可以在最大消费时长之内，对待消费消息分区中的至少部分消息进行消费，将最大消费时长内消费的消息统一进行入仓，即可以实现对待消费消息分区中至少部分流式数据的实时或准实时处理，也可以无需在入仓操作过程中对目标数据仓库执行多次插入操作，有效降低目标数据仓库的异常几率。

技术领域

本发明涉及流式数据处理技术领域，尤其涉及一种流式数据批处理方法及装置。

背景技术

随着数据处理技术的发展，流式数据处理技术不断提高。

其中，流式数据是在时间分布和数量上无限的一系列动态数据集合。常见的流式数据处理场景有实时推荐、业务监控等。在此类场景中，流式数据的价值会随着时间的流逝而降低，需要对流式数据进行实时或准实时的处理，将流式数据快速存储至指定的数据仓库，以便对可能的业务查询做出快速响应。

当前，现有技术可以在将流式数据存储至数据仓库的过程中，需进行频繁的写入操作，易导致数据仓库出现性能问题。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的流式数据批处理方法及装置，技术方案如下：

一种流式数据批处理方法，包括：

从目标存储空间中，确定待消费消息分区中当前未消费消息的起始消息位置，所述待消费消息分区中保存的消息为流式数据；

将所述起始消息位置确定为本次批处理作业对所述待消费消息分区中当前未消费消息的起始消费位置；

基于预设的流式数据处理时延预估下次批处理作业的启动执行时刻；

确定在所述启动执行时刻写入所述待消费消息分区的目标消息的消息位置；

将所述目标消息的消息位置确定为所述本次批处理作业在执行结束时，对所述待消费消息分区中消息的指定最终消费位置；

启动执行所述本次批处理作业，以对所述待消费消息分区中当前未消费消息进行消费；

在所述本次批处理作业执行过程中，当所述本次批处理作业的执行时长到达预设的最大消费时长时，确定所述本次批处理作业对所述待消费消息分区中消息的实际最终消费位置；

确定所述实际最终消费位置是否与所述指定最终消费位置一致，如果是，则确定所述本次批处理作业执行成功，将所述本次批处理作业在执行过程中的已消费消息存储至目标数据仓库。

可选的，在所述确定所述本次批处理作业执行成功之后，所述方法还包括：

将所述待消费消息分区中所述实际最终消费位置的下一位置，确定为所述待消费消息分区中当前未消费消息的起始消息位置，并存储至所述目标存储空间中；

返回执行所述从目标存储空间中，确定待消费消息分区中当前未消费消息的起始消息位置的步骤，在所述启动执行时刻执行下一次批处理作业，继续消费所述待消费消息分区中的未消费消息。

可选的，所述方法还包括：

在所述本次批处理作业执行过程中，当所述本次批处理作业对所述待消费消息分区中消息的消费位置达到所述指定最终消费位置时，指令所述本次批处理作业停止执行。

可选的，所述启动执行所述本次批处理作业，以对所述待消费消息分区中当前未消费消息进行消费，包括：

当所述待消费消息分区中由所述起始消费位置至所述指定最终消费位置的消息数量不超过预设阈值时，在所述本次批处理作业执行过程中，通过一个rdd分区构造一个消费者；

将所述消费者在所述待消费消息分区中消费的消息，保存至所述rdd分区中。