[发明专利]一种消息处理装置和方法有效
| 申请号： | 201611123185.0 | 申请日： | 2016-12-08 |
| 公开（公告）号： | CN106817295B | 公开（公告）日： | 2020-06-05 |
| 发明（设计）人： | 陈金添 | 申请（专利权）人： | 上海有孚网络股份有限公司 |
| 主分类号： | H04L12/58 | 分类号： | H04L12/58;H04L29/08;G06F9/54 |
| 代理公司： | 北京华识知识产权代理有限公司 11530 | 代理人： | 乔浩刚 |
| 地址： | 200082 上海市*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种消息处理装置和方法，包括读取模块、备份模块、上报模块和处理模块；读取模块，用于读取消费者从服务器订阅的消息；复制读取的消息并存储至备份模块，并通知上报模块；上报模块，用于收到读取模块通知，上报偏移量信息，并通知处理模块；处理模块，用于收到上报模块的通知，读取备份模块中未处理的消息，创建多个子线程，将备份模块中未处理的消息分派到各个子线程中；通过各个子线程对分派的消息进行处理，并将处理结果存储至备份模块中。本发明还包括检测模块，用于每次消费者重启时，检测备份模块中的各条消息是否已经处理。本发明能够解决Kafka系统中消费者重复消费数据、重复提交或覆盖提交Offset的问题。 | ||
| 搜索关键词： | 一种 消息 处理 装置 方法 | ||
【主权项】：
一种消息处理装置，其特征在于：包括读取模块、备份模块、上报模块和处理模块；其中，读取模块，用于读取消费者从服务器订阅的消息；复制读取的消息并存储至备份模块，并通知上报模块；备份模块，用于存储读取模块读取的消息；上报模块，用于接收到来自读取模块的通知，上报偏移量信息并通知处理模块；处理模块，其中设置有多个子线程；用于接收到来自上报模块的通知，读取备份模块中未处理的消息，将未处理的消息分派到各个子线程中；通过各个子线程处理完分派的消息，将已处理的消息从备份模块中删除或在备份模块中为已处理的消息设置已处理标识。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海有孚网络股份有限公司，未经上海有孚网络股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611123185.0/，转载请声明来源钻瓜专利网。
