[发明专利]一种Kafka的分区方法、分区系统及相关装置

权利要求书

1.一种Kafka的分区方法，其特征在于，包括：

S1：当检测到分区变化时，获取分区队列中的实际总分区数、当前存活的消费者容器数以及每个存活的所述消费者容器对应的实际分区数；

S2：根据所述实际总分区数和存活的消费者容器数确定每个消费者容器对应的平均应得分区数；

S3：根据所述实际分区数和所述平均应得分区数确定每个所述消费者容器对应的分区差值；

S4：从所述分区差值最大的第一消费者容器剥离一个分区，分配至所述分区差值小于0的第二消费者容器，并更新所述第一消费者容器和所述第二消费者容器对应的分区差值；

S5：重复执行S4，直至任意两个消费者容器对应的实际分区数之差的绝对值小于等于1时，结束分区。

2.根据权利要求1所述的分区方法，其特征在于，当所述消费者容器死亡时，还包括：

回收死亡的消费者容器对应的无用分区，将所述无用分区放入分区待分配队列。

3.根据权利要求1所述的分区方法，其特征在于，当所述消费者容器处于下线状态时，还包括：

停止为处于下线状态的所述消费者容器分配分区或从处于下线状态的所述消费者容器剥离分区。

4.根据权利要求2或3所述的分区方法，其特征在于，S4包括：

S401：从所述分区差值最大的第一消费者容器剥离一个分区计数器，所述第一消费者容器对应的第一分区差值减一，将所述分区计数器分配至所述分区差值小于0的第二消费者容器，所述第二消费者容器对应的第二分区差值加一；

则相应的，S5包括：

S501：重复执行S401，直至任意两个消费者容器对应的实际分区数之差的绝对值小于等于1时，根据每个所述消费者容器对应的分区计数器个数进行分区。

5.根据权利要求4所述的分区方法，其特征在于，还包括：

将所述分区队列中的所有分区对应的镜像保存至复制分区队列，每当分区被分配时，在所述复制分区队列中将已被分配的分区加锁；其中，在所述复制分区队列中被加锁的分区禁止在所述分区队列中被重新分配。

6.一种Kafka的分区系统，其特征在于，包括：

获取模块，用于当检测到分区变化时，获取分区队列中的实际总分区数、当前存活的消费者容器数以及每个存活的所述消费者容器对应的实际分区数；

第一确定模块，用于根据所述实际总分区数和存活的消费者容器数确定每个消费者容器对应的平均应得分区数；

第二确定模块，用于根据所述实际分区数和所述平均应得分区数确定每个所述消费者容器对应的分区差值；

分区模块，用于从所述分区差值最大的第一消费者容器剥离一个分区，分配至所述分区差值小于0的第二消费者容器，并更新所述第一消费者容器和所述第二消费者容器对应的分区差值；

循环模块，用于判断是否任意两个消费者容器对应的实际分区数之差的绝对值小于等于1；若否，返回所述分区模块，若是，结束分区。

7.根据权利要求6所述的分区系统，其特征在于，所述分区模块包括：

分区计数单元，用于从所述分区差值最大的第一消费者容器剥离一个分区计数器，所述第一消费者容器对应的第一分区差值减一，将所述分区计数器分配至所述分区差值小于0的第二消费者容器，所述第二消费者容器对应的第二分区差值加一；

则相应的，所述循环模块包括：

循环单元，用于判断是否任意两个消费者容器对应的实际分区数之差的绝对值小于等于1；若否，返回所述分区计数单元；若是，按照所述分区计数器分区并结束。

8.根据权利要求7所述的分区系统，其特征在于，还包括：

加锁模块，用于将所述分区队列中的所有分区对应的镜像保存至复制分区队列，每当分区被分配时，在所述复制分区队列中将已被分配的分区加锁；其中，在所述复制分区队列中被加锁的分区禁止在所述分区队列中被重新分配。