[发明专利]消息消费方法、装置、计算机设备和存储介质

说明书

本申请涉及一种消息消费方法、装置、计算机设备和存储介质。方法包括：在消息处理平台从异常状态恢复正常之后，获取分布式协调服务集群中当前保存的第一偏移量；获取分布式事务集群中目标消息队列对应的第二偏移量；获取并消费目标消息队列中，位于第一偏移量与第二偏移量之间各偏移量对应的待消费消息；发送第二偏移量至分布式协调服务集群，分布式协调服务集群将当前保存的偏移量更新为第二偏移量。在消息处理平台从异常状态恢复正常后，通过从分布式协调服务集群中获取消费进度，避免由于待消费消息定位不准，导致浪费资源对已消费的消息进行再次消费，或者遗漏需要消费的待消费消息导致数据丢失的情况。

技术领域

本申请涉及计算机技术领域，尤其涉及一种消息消费方法、装置、计算机设备和存储介质。

背景技术

随着各大公司对数据的实时要求越来越高，实时存储、消费、实时计算已经在各大公司非常普遍，因此kafka被非常广泛应用。Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

然而现有技术中当通过SparkSteaming应用程序消费kafka数据过程中出现消费异常时，无法准确获知消费任务的执行情况，无法在异常解除后准确定位待消费的数据，从而导致数据丢失的情况。

发明内容

为了解决上述技术问题，本申请提供了一种消息消费方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种消息消费方法，包括：

在消息处理平台从异常状态恢复正常之后，获取分布式协调服务集群中当前保存的第一偏移量，其中，所述第一偏移量用于表示所述消息处理平台在发生异常前，对目标消息队列中消息的消费进度；

获取分布式事务集群中所述目标消息队列对应的第二偏移量，其中，所述第二偏移量用于表示所述目标消息队列中最后一个待消费的消息；

获取并消费所述目标消息队列中，位于所述第一偏移量与所述第二偏移量之间各偏移量对应的待消费消息；

在所有位于所述第一偏移量与所述第二偏移量之间各偏移量对应的待消费消息消费结束后，发送所述第二偏移量至所述分布式协调服务集群，其中，所述分布式协调服务集群用于在接收到所述第二偏移量的情况下将当前保存的偏移量更新为所述第二偏移量。

可选地，在消息处理平台从异常状态恢复正常之后，所述方法还包括：

在从所述分布式协调服务集群中获取当前保存的第一偏移量时获取失败的情况下，发送预设偏移量至所述分布式协调服务集群，其中，所述分布式协调服务集群用于在接收到所述预设偏移量的情况下将当前保存的偏移量更新为所述预设偏移量。

可选地，在位于所述第一偏移量与所述第二偏移量之间任意偏移量对应的待消费消息消费异常的情况下，所述方法还包括：

检测所述消息处理平台的状态是否恢复正常，其中，待发送至所述分布式协调服务集群的所述第二偏移量会在所述消息处理平台处于异常的情况下被取消发送；

在所述消息处理平台从异常状态恢复正常之后，执行所述获取分布式协调服务集群中当前保存的第一偏移量的步骤。

可选地，所述位于所述第一偏移量与所述第二偏移量之间任意偏移量对应的待消费消息消费异常，包括：

在所述第一偏移量与所述第二偏移量之间任意偏移量对应的待消费消息被消费的过程中，在存在空指针异常、所述待消费消息解析异常、所述待消费消息读取异常、所述待消费消息对应的消费任务被强制结束中至少一种情况下，确定所述待消费消息消费异常。