[发明专利]分布式消息系统

说明书

本发明涉及消息处理领域，具体涉及一种分布式消息系统。包括用于产生主题消息数据的生产集群、存储主题消息数据的服务集群、消费主题消息数据的消费集群、以及用于管理消费集群和服务集群的管理集群。服务集群包括用于存储主题消息数据的主题分区，主题分区包括分布在服务集群的不同服务端中的主副本和从副本，从副本为主副本的冗余备份；生产集群中的生产端访问主题分区的主副本以存储其产生的主题消息数据，消费集群中的消费端访问主题分区的主副本以消费主题分区的消息数据。消费时，消费端只从主题分区的主副本中取数据进行消费，消息消费信息在正常情况下就不存在同步给从副本的需求，减轻了服务端的负担。

技术领域

本发明涉及消息处理领域，具体涉及一种分布式消息系统。

背景技术

目前用于消息（如日志）处理的消息系统很多，比较流行的是分布式消息系统。

分布式消息系统框架如图1所示。包括Producer（消息生产者，简称PD）、Agent（消息缓存者），Consumer（消息处理者，简称CS）以及第三方管理集群，每个角色都可以有多个。Producer发送消息到Agent，消息持久化存储在Agent上，Consumer再从Agent取得消息进行处理。第三方管理集群用来存储Producer，Consumer与Agent的一些状态信息。

分布式消息系统基于消息的主题（Topic）进行消息管理。在消息存储设备中也是基于主题来进行存储的。每个Topic的消息可以存储在Agent的一个或多个存储分区（Partition）中。所有的Consumer以及每个Agent中存储有哪些Topic，以及该Topic有多少个Partition都保存在第三方管理集群上。在进行消息处理时，一般由多个Consumer相互协作处理某个主题的消息，在第三方管理集群上还存储有涉及该主题的每个Consumer所分配的进行消息处理的存储分区信息。属于同一个存储分区中的各个Agent之中，有若干个消息服务队列（存储分区）。例如如图2所示的分布式消息系统中，为了保证数据的安全消息队列服务A与B得互为冗余。Consumer访问消息服务队列A或者B进行消息消费。消息队列A和B之间不仅需要严格同步消息本身，还需要严格同步消息消费信息，从而对服务端造成很大的性能瓶颈。

发明内容

本发明为了解决上述技术问题，提出了一种分布式消息系统，包括用于产生主题消息数据的生产集群、存储所述主题消息数据的服务集群、消费所述主题消息数据的消费集群、以及用于管理所述消费集群和所述服务集群的管理集群；其特征在于：所述服务集群包括用于存储所述主题消息数据的主题分区，所述主题分区包括分布在所述服务集群的不同服务端中的主副本和从副本，所述从副本为所述主副本的冗余备份；所述生产集群中的生产端访问所述主题分区的主副本以存储其产生的主题消息数据，所述消费集群中的消费端访问所述主题分区的主副本以消费所述主题分区的消息数据。消费时，某一消费集群中的消费端只从所述主题分区的主副本中取数据进行消费，消息消费信息在正常情况下就不存在同步给从副本的需求，减轻了服务端的负担。

作为优选，所述生产集群中的生产端，轮询各主题分区的主副本，以将其产生的主题消息数据分布式地存储在各主题分区中；所述主副本接收存储来自所述生产端的主题消息数据，并且更新其从副本使得所述从副本与所述主副本同步。

作为优选，所述主题分区包括由所述从副本组成的保持同步副本集；当所述保持同步副本集中的所述从副本数量小于预设的最小同步副本数量时，所述主题分区不接收来自所述生产集群的主题消息数据。

作为优选，所述主副本在接收到所述生产端发送的主题消息数据后，发送消息提交成功信息至所述生产端。

作为优选，所述主副本在接收到所述生产端发送的主题消息数据后同步给所述从副本，并且在收到第一个从副本的确定同步信息后，发送消息提交成功信息至所述生产端。