[发明专利]一种基于Kafka大消息可靠传输方法

说明书

本发明属于分布式系统节点间通信技术领域，具体涉及一种基于Kafka大消息可靠传输方法及系统；其系统包括消息分片器、生产者、Kafka集群、消费者和消息组成器；其方法基于系统，包括消息分片器接收发送方的原始消息并处理为小消息，通过生产者发送给Kafka集群存储；消息组成器通过消费者订阅Kafka集群的小消息，拼接小消息为原始消息发送给接收方；本发明的系统及方法避免了Kafka传输大消息时出错而重传造成的网络资源浪费；原始消息被划分成小消息，当消息出现传输错误时，仅仅重传出错的小消息，避免了重复传输而节约了网络资源，提高Kafka消息的吞吐率；适用于需要分布式传输大消息的应用场景。

技术领域

本发明属于分布式系统节点间通信技术领域，具体涉及一种基于Kafka大消息可靠传输方法及系统。

背景技术

Kafka是一种分布式发布-订阅消息系统，最初由LinkedIn公司开发，使用Scala语言编写，之后成为Apache项目的一部分。Kafka消息系统主要由生产者、代理者和消费者组成。生产者负责产生消息发送给代理者，代理者对消息做暂时存储，之后转发给消费者，消费者接收并处理消息。为保证传输消息的可靠性，即消息传输过程中不会出现内容错误或者漏传，Kafka使用CRC循环校验检验消息是否有误。在不通过CRC循环校验时，消息会被重新传输，直至消息准确无误。

在这种消息传输模式下，Kafka传输较小消息时效率较高，官方文档显示10kb左右消息时，效率最高。但是在一些需要传输大消息的应用场景下，如传输视频、大型归档文件，很多网络资源浪费在重传上，导致消息传输效率低下，Kafka不能完全满足数据发布与订阅需求。

发明内容

针对上述存在的问题，本发明提出一种基于Kafka大消息可靠传输方法及系统，以解决现有Kafka传输大消息时效率低下的问题。

为实现上述目的，本发明具体技术方案如下：一种基于Kafka大消息可靠传输方法，包括以下步骤：

1)发送方创建消息分片器；

2)发送方发送原始消息到消息分片器；

3)消息分片器创建生产者；

4)消息分片器将原始消息分解为小消息；

5)消息分片器将小消息经生产者发送给Kafka集群；

6)Kafka集群对分片消息进行分布式存储；

7)接收方创建消息组成器；

8)消息组成器创建消费者；

9)消费者向Kafka集群订阅消息；

10)Kafka集群将小消息发送给消费者；

11)消息组成器从消费者接收小消息；

12)消息组成器将小消息拼接成原始消息；

13)消息组成器将原始消息发送给接收方。

进一步地，上述步骤4)中，将原始消息分解为小消息包括以下步骤：

4.1)消息分片器利用MD5消息摘要算法计算消息标识码；

4.2)消息分片器将原始消息分割为分片消息；如果原始消息大于分片阈值N将原始消息按照分片阈值N分成多个分片消息，如果原始消息小于或等于分片阈值N则原始消息直接作为分片消息；

4.3)消息分片器为每一个分片消息生成消息头；

4.4)消息分片器将消息头拼接到分片消息之前，得到小消息。

进一步地，上述步骤12)中，将小消息拼接成原始消息包括以下步骤：