[发明专利]一种消息队列的处理方法、介质、设备和系统

说明书

本发明提供一种消息队列的处理方法、介质、设备和系统，该方法包括：根据消息生产端发送的分区名，获取写分段索引的值；根据分区名从写分段索引的Hash中查询得到分段号，并且使用分区名和分段号拼接获得存储键名；据存储键名写入消息内容，并确定消息内容对应的消息时间序号entryId；向消息内容中写入标记，标记用于指示消息内容未在消息队列的主节点和从节点之间完成同步；消息队列包括主节点和从节点；判断已写入的消息内容个数是否达到分段的预设长度；当已写入的消息内容个数达到分段的预设长度时，将写分段索引的值加1；获取消息队列的主节点复制偏移量；向消息生产端返回entryId和消息队列的主节点复制偏移量。上述技术方案确保了消息处理的时序。

技术领域

本发明涉及对时序要求严格的应用间异步通讯领域，具体涉及一种消息队列的处理方法、介质、设备和系统。

背景技术

现有的开源分布式消息队列（Message Queue，简称MQ）主要有两类：第一类是基于内存的消息队列如ActiveMQ、RabbitMQ等，第二类是基于磁盘的消息中间件如Kafka、RocketMQ等。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

第一类消息队列一般对消息堆积能力在10万条左右，对消息进行顺序确认的前提下，吞吐能力不足。

第二类消息队列消息堆积能力可达上亿，但是RocketMQ并不严格保证消息的顺序。

发明内容

有鉴于此，本发明实施例的目的在于提供一种消息队列的处理方法、介质、设备和系统，以保证消息处理的顺序或时序。

第一方面，提供一种消息队列的处理方法，应用于消息队列设备，所述方法包括：

根据消息生产端发送的分区名，获取写分段索引的值；

根据所述分区名从写分段索引的Hash中查询得到分段号，并且使用所述分区名和所述分段号拼接获得存储键名；

根据所述存储键名写入消息内容，并确定所述消息内容对应的消息时间序号entryId；

向所述消息队列的预设数据结构中写入标记，所述标记用于指示所述消息内容未在所述消息队列的主节点和从节点之间完成同步；其中，所述消息队列包括主节点和从节点；

判断已写入的消息内容个数是否达到分段的预设长度；

当已写入的消息内容个数达到分段的预设长度时，将所述写分段索引的值加1；

获取消息队列的主节点复制偏移量；

向所述消息生产端返回所述entryId和所述消息队列的主节点复制偏移量。

在一些可能的实施方式中，在所述的向消息生产端返回写入的entryId和所述消息队列的主节点复制偏移量之后，还可以包括：

获取消息队列的运行信息；

根据所述消息队列的运行信息，判断是否发生了主节点故障切换；

如果发生了主节点故障切换，进一步根据从节点复制偏移量和主节点复制偏移量判断判断复制偏移量是否未同步；

如果复制偏移量未同步，则确定消息已丢失，返回写入失败信息；

如果未发生主节点故障切换，则确定主节点正常，依次获取每个待检查的从节点的复制偏移量，判断每个待检查的从节点的复制偏移量是否已经完成复制；

当任意待检查的从节点的复制偏移量已经完成复制时，返回成功信息。

在一些可能的实施方式中，在所述的当任意待检查的从节点的复制偏移量已经完成复制时，返回成功信息之后，还可以包括：