[发明专利]分布式高并发消息队列推送系统

摘要

本发明的实施例公开了一种分布式高并发消息队列推送系统，涉及消息队列技术领域，用于解决现有技术高吞吐与高并发之间的矛盾，现有高吞吐的消息系统调整消费并发的灵活性不够，且最大并发能力受限的问题。所述消息队列推送系统包括代理服务器、kafka消息存储系统和消息推送服务器集群，代理服务器用于接收业务方的消息，所述消息中包含有关联业务标识位，代理服务器收到消息后根据消息中的关联业务标识位将消息存储至kafka的对应分区；消息推送服务器集群中的每个推送服务器包括一个或多个推送进程，每个推送进程按kafka中消费者组名进行归组；每个推送进程包括一个分区消费者线程，每个分区消费者线程配置多个消息推送子线程和一个分区消费位置管理器。

主权项

1.一种分布式高并发消息队列推送系统，其特征在于，包括代理服务器、kafka消息存储系统和消息推送服务器集群，其中：所述代理服务器，用于接收业务方的消息，所述消息中包含有关联业务标识位，所述代理服务器收到消息后根据消息中的关联业务标识位将消息存储至所述kafka消息存储系统的对应分区；所述kafka消息存储系统，采用集群式布署来分布式存储分区；所述消息推送服务器集群中的每个推送服务器包括一个或多个推送进程，推送进程用于处理对应分区中的消息，每个推送进程按所述kafka消息存储系统中消费者组名进行归组；每个推送进程包括一个分区消费者线程，每个分区消费者线程配置多个消息推送子线程和一个分区消费位置管理器；所述分区消费者线程用于消费所述kafka消息存储系统的分区中的消息，当分区消费者线程从对应分区顺序拉到消息后，依次轮询消息推送子线程，当遇到空闲消息推送子线程时，则将消息分配给该消息推送子线程，并记录该消息推送子线程与该消息的关联业务标识位的对应关系，并将消息的序号添加到分区消费位置管理器；后续若拿到相同关联业务标识位的消息，则分配给对应的消息推送子线程；所述消息推送子线程用于在收到消息后将消息放入私有队列中，并顺序消费私有队列中的消息；所述分区消费位置管理器用于维护当前分区消费者线程处理的消息的消费位置状态。