[发明专利]异地多活的分布式消息发送、处理、消费方法及装置

说明书

本发明实施例提供了一种异地多活的分布式消息发送方法，处理方法、消费方法及装置，所述发送方法包括：生产端监测服务端的至少两个业务集群是否可用；如果所述生产端监测到所述至少两个业务集群均可用，则将生产端发布的消息分别发送给所述至少两个业务集群；所述生产端从所述至少两个业务集群中选择一个业务集群作为主业务集群；所述生产端将所述主业务集群的主业务集群信息更新到可用的其余业务集群、中心zookeeper以及健康检查中心HCC中。本发明实施例中，将发布消息发送给不同的可用业务集群，并为消费端预先选好主业务集群，即使某个业务集群出现了问题，也不会导致整个业务不可用，从而提高了业务集群的高可用性。

技术领域

本发明涉及计算机技术领域，特别是涉及一种异地多活的分布式消息发送方法、处理方法、消费方法及装置。

背景技术

Kafka是一个分布式的、可分区的、可复制的分布式消息系统，Kafka以集群的方式运行，可以由一个或多个服务组成。分布式消息系统作为分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。Kafka集群是其中的典型代表。现有Kafka集群都是分开部署运维的，由于Kafka集群数量众多，Kafka集群之间是通过数据中心(DC，datacenter)来为消费者提供服务的，一旦某个数据中心出现了问题，会造成与该数据中心连接所有Kafka集群不能为消费者提供服务，消费者需要进行Kafka集群切换，以及在消费者切换到新的Kafka集群后，需要重新消费，会产生大量的重复消息，从而降低了消费者的满意度。

因此，如何实现跨数据中心的服务高可用以及在消费者切换集群过程中减少生成的重复消息是目前有待解决的技术问题。

发明内容

本发明实施例所要解决的技术问题是提供一种异地多活的分布式消息发送方法、处理方法和消费方法，以解决现有技术中不能实现跨数据中心的服务的高可用，导致消费者在切换集群过程造成大量重复消息，降低满意度的问题。

相应的，本发明实施例还提供了一种异地多活的分布式消息发送装置、处理装置和消费装置，用以保证上述方法的实现及应用。

为了解决上述问题，本发明是通过如下技术方案实现的：

第一方面提供一种异地多活的分布式消息发送方法，所述方法包括：

生产端监测服务端的至少两个业务集群是否可用；

如果所述生产端监测到所述至少两个业务集群均可用，则将所述生产端发布的消息分别发送给所述至少两个业务集群；

所述生产端从所述至少两个业务集群中选择一个业务集群作为主业务集群；

所述生产端将所述主业务集群的主业务集群信息更新到可用的其余业务集群、中心zookeeper以及健康检查中心HCC中。

可选的，所述生产端从所述至少两个业务集群中选择一个业务集群作为主业务集群，包括：

所述生产端从服务端的中心zookeeper中获取分布式锁；

所述生产端通过所述分布式锁从所述至少两个业务集群中选择一个业务集群作为主业务集群。

第二方面提供一种异地多活的分布式消息处理方法，所述方法包括：

服务端接收生产端发送的主业务集群信息；

所述服务端存储所述主业务集群信息；

所述服务端接收消费端发送的连接请求；

所述服务端根据所述连接请求确定所述消费端的主业务集群信息；

所述服务端将所述主业务集群信息发送给所述消费端，以便于所述消费端连接到所述主业务集群信息对应的所述主业务集群进行消费。