[发明专利]一种消息处理装置和方法

说明书

本发明公开了一种消息处理装置和方法，包括读取模块、备份模块、上报模块和处理模块；读取模块，用于读取消费者从服务器订阅的消息；复制读取的消息并存储至备份模块，并通知上报模块；上报模块，用于收到读取模块通知，上报偏移量信息，并通知处理模块；处理模块，用于收到上报模块的通知，读取备份模块中未处理的消息，创建多个子线程，将备份模块中未处理的消息分派到各个子线程中；通过各个子线程对分派的消息进行处理，并将处理结果存储至备份模块中。本发明还包括检测模块，用于每次消费者重启时，检测备份模块中的各条消息是否已经处理。本发明能够解决Kafka系统中消费者重复消费数据、重复提交或覆盖提交Offset的问题。

技术领域

本发明涉及计算机数据处理的技术领域，特别涉及一种消息处理装置和方法。

背景技术

Kafka是一种高吞吐量的分布式发布订阅消息系统。如图1所示，现有的基于Kafka的消息处理系统，包括由多个消息生产者(Producer)组成的消息生产者集群、由多个服务器(Broker)组成的Kafka集群、由多个消费者(Consumer)组成的消费者集群，每个消息生产者向一个或多个Broker服务器推送(push)消息，每个Broker服务器按照一定的主题(Topic)存储消息，每个消费者向一个或多个Broker服务器拉取(pull)订阅的消息，通过Zookeeper(管理员)节点管理Broker服务器与消费者的动态加入与离开。同一主题内部的消息按照一定的key和算法被分区(Partition)存储在不同的Broker服务器上，针对一个主题，Kafka消息日志中采用偏移量(Offset)信息来标注已读取的消息的位置，消费者通过Offset信息，来判断下次读取的消息在消息日志里的起始位置。

另外，在Kafka系统中，每个主题创建时，需要固定该主题的分区数。在某一时刻，一个分区只能被一个消费者线程来消费，这就会限制消费速率。为了提高吞吐量，消费者需要采用多线程处理。采用多线程处理时，每个消费者通常由一个主线程读取一批消息并执行分组操作，然后，由多个子线程处理相应的分组消息，各个子线程处理完相应的分组消息后，分别上报偏移量信息。但是，消费者可能存在宕机、断电、程序异常等等造成处理消息失败的情况，此时，需要重启消费者应用，重新从Broker服务器读取消息，这样，不仅会产生重复消费数据的问题，还会产生子线程重复提交或覆盖提交Offset信息的问题。

发明内容

为了解决上述技术问题，本发明提供了一种消息处理装置和方法，能够提高Kafka系统中，消费者消息处理的准确性，提高消费者客户端的吞吐量。

为了达到本发明目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种消息处理装置，包括读取模块、备份模块、上报模块和处理模块；其中，

读取模块，用于读取消费者从服务器订阅的消息；复制读取的消息并存储至备份模块，并通知上报模块；

备份模块，用于存储读取模块读取的消息；

上报模块，用于接收到来自读取模块的通知，上报偏移量信息并通知处理模块；

处理模块，其中设置有多个子线程；用于接收到来自上报模块的通知，读取备份模块中未处理的消息，将未处理的消息分派到各个子线程中；通过各个子线程处理完分派的消息，将已处理的消息从备份模块中删除或在备份模块中为已处理的消息设置已处理标识。

进一步地，还包括检测模块，用于检测到消费者重启时，检查所述备份模块中是否有未处理的消息；如果有未处理的消息，将未处理的消息提交给所述处理模块进行处理。

进一步地，所述备份模块通过日志文件或数据库存储读取模块读取的消息。

进一步地，所述备份模块预先设置其存储容量最大值。

进一步地，所述读取模块预先设置每次读取的消息数量和每条消息的最大字节数。