[发明专利]一种增加kafka消费能力的方法

权利要求书

1.一种增加kafka消费能力的方法，应用于服务器系统，其特征在于，包括以下步骤：

A.建立与Kafka服务的连接；

B.为每一个分区划分数据段，得出各分区的分段数量；

C.为每个分区的每个分段设置开始偏移量和结束偏移量；

D.根据得到的各分区的分段数量及每个分段的开始偏移量和结束偏移量为每个消费者指定消费区间；

E.完成消费过程，得到消费数据。

2.根据权利要求1所述的一种增加kafka消费能力的方法，其特征在于，所述步骤A中具体是通过Kafka Client提供的KafkaConsumer建立和Kafka连接。

3.根据权利要求1所述的一种增加kafka消费能力的方法，其特征在于，所述步骤B中划分各分区的数据段得出其分段数量的具体方法为：

设定每个分段的步长为T，则分段数量N＝(endOffset-beginOffset)/T，其中，endOffset为该分区的结束偏移量，beginOffset为该分区的开始偏移量；且一个分区的一个分段的数据由一个独立的线程读取。

4.根据权利要求3所述的一种增加kafka消费能力的方法，其特征在于，当求出的N为非整数时，则N最终的取值为求出的N值加1后取整。

5.根据权利要求4所述的一种增加kafka消费能力的方法，其特征在于，所述步骤C中设置每个分段的开始偏移量和结束偏移量的具体计算方法为：各分区的第一个分段的开始偏移量S₁＝beginOffset；第N个分段的开始偏移量S_N＝beginOffset+(N–1)*T+1，其中，T为每个分段的步长，N为大于1的整数；

各分区的最后一个分段的结束偏移量E_N＝endOffset-1；各分区除最后一个分段外其余分段的结束偏移量Em＝beginOffset+m*T，T为每个分段的步长，m＝1,2，…，N-1。

6.根据权利要求5所述的一种增加kafka消费能力的方法，其特征在于，所述步骤D中具体是使用Kafka提供的API建立Kafka的消费端消费者，并使用assign方法指定消费的分区以及使用seek方法指定消费的开始偏移量。

7.根据权利要求6所述的一种增加kafka消费能力的方法，其特征在于，所述步骤D中一个消费端消费者对应一个分区的一个分段，且该消费者开始下一次消费时，其消费开始偏移量即该分区的最后消费的结束偏移量，且每个消费者的每次消费长度等于对应分段的步长T。

8.根据权利要求7所述的一种增加kafka消费能力的方法，其特征在于，所述步骤E中，当个线程都正确结束后，即判定完成消费过程，其中，N_i为第i个分区的分段数量，n为所有的分区总数量。