[发明专利]一种Kafka的分区方法、分区系统及相关装置

说明书

本申请提供一种Kafka的分区方法，包括：S1：获取实际总分区数、当前存活的消费者容器数以及每个存活的消费者容器对应的实际分区数；S2：确定平均应得分区数；S3：根据实际分区数和平均应得分区数确定分区差值；S4：从分区差值最大的第一消费者容器剥离一个分区，分配至分区差值小于0的第二消费者容器，并更新消费者容器对应的分区差值；S5：重复执行S4，直至任意两个消费者容器对应的实际分区数之差的绝对值小于等于1。本申请大大降低了分区所耗费的时间，提高了分区的效率，实现了动态分区，可以满足高实时性要求。本申请还提供一种Kafka的分区系统、一种计算机可读存储介质和一种分区服务器，具有上述有益效果。

技术领域

本申请涉及云计算领域，特别涉及一种Kafka的分区方法、分区系统及相关装置。

背景技术

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。其目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。Kafka集群提供了类似于JMS的特性，对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer(生产者)和consumer(消费者)都依赖于zookeeper来保证系统可用性集群并保存一些meta信息。

现有技术中，Kafka集群在consumer和partition映射关系发生变化时(如消费应用上下线、分区数变化等情况)，会进行Rebalance操作，暂停对应consumer group的所有consumer拉取数据。当应用每台机器(实例)上下线时相应的就会需要为实例分配分区或者回收分区，就会使得该应用所有的consumer group执行一次Rebalance，当应用机器(实例)数越多时，Rebalance次数越多，总体窗口期越长，即分配分区的时间越长，越不能保证实时性要求。具体的，当实例发布、重启、新增、减少时均需要做Rebalance操作很容易造成消费停止，容易导致所有consumers停止消费，无法满足高实时性消费。

发明内容

本申请的目的是提供一种Kafka的分区方法、分区系统、一种计算机可读存储介质和一种分区服务器，解决现有技术中每次消费者和分区映射关系发生变化均需要进行全局Rebalance所带来的实时性差的问题。

为解决上述技术问题，本申请提供一种Kafka的分区方法，具体技术方案如下：

S1：当检测到分区变化时，获取分区队列中的实际总分区数、当前存活的消费者容器数以及每个存活的所述消费者容器对应的实际分区数；

S2：根据所述实际总分区数和存活的消费者容器数确定每个消费者容器对应的平均应得分区数；

S3：根据所述实际分区数和所述平均应得分区数确定每个所述消费者容器对应的分区差值；

S4：从所述分区差值最大的第一消费者容器剥离一个分区，分配至所述分区差值小于0的第二消费者容器，并更新所述第一消费者容器和所述第二消费者容器对应的分区差值；

S5：重复执行S4，直至任意两个消费者容器对应的实际分区数之差的绝对值小于等于1时，结束分区。

其中，当所述消费者容器死亡时，还包括：

回收死亡的消费者容器对应的无用分区，将所述无用分区放入分区待分配队列。

其中，当所述消费者容器处于下线状态时，还包括：

停止为处于下线状态的所述消费者容器分配分区或从处于下线状态的所述消费者容器剥离分区。

其中，S4包括：