[发明专利]一种kafka集群动态切换的方法和装置

说明书

本发明提供一种kafka集群动态切换的方法和装置，能够实时监控集群的运行状况，并动态修改集群的配置信息以实现集群的动态切换。本发明的kafka集群动态切换的方法包括：客户端将鉴权参数发送给配置服务中心以获取相应集群的集群配置信息；接收所述配置服务中心返回的集群配置信息并与所述客户端上保存的先前集群配置信息作对比；如果接收到的集群配置信息与所述先前集群配置信息不同，则用接收的集群配置信息更新所述先前集群配置信息并根据更新后的集群配置信息访问相应的集群。

技术领域

本发明涉及计算机和计算机软件技术领域，特别地涉及一种kafka集群动态切换的方法和装置。

背景技术

在分布式发布订阅消息系统kafka中，当kafka集群切换、调整不同数据分区读取时的资源占用，常常通过修改kafka(分布式发布订阅消息系统)客户端程序的配置参数来实现。

通常情况下，可通过修改客户端程序以设置集群中的kafka对象参数，如位点信息、分区信息的模块位置信息topic与密码token的关联关系、传输效率、集群配置、备份数量replications、片段segment大小等，并在参数修改完成后，将客户端程序编译打包并重启任务以实现kafka集群切换等功能。

根据kafka客户端功能实现的不同，可将kafka客户端分为生产客户端和消费客户端。

如果某kafka客户端为生产客户端，即producer，执行数据生成的任务，则在进行kafka集群切换时的运行步骤如下：

1、确定需要进行集群切换的producer的任务和切换后的集群配置信息(例如包括：分布式应用程序协调服务器zookeeper的根目录zkRoot、服务器上的分区信息brokers、分区信息的模块位置信息topic等)；

2、通过程序编译工具修改对应生产客户端的程序，找到对应的kafka(分布式发布订阅消息系统)集群配置参数，修改后重新编译打包；

3、将打包后的程序上传至服务器并更新原程序；

4、登陆服务器，停止并重新启动producer的任务；

5、测试集群切换任务是否成功，通过kafka(分布式发布订阅消息系统)管理界面监控流程量数据，如果生产任务对应的topic的组已经创建，并开始写入数据，说明集群切换成功。

如果某kafka客户端为消费客户端，即consumer，执行数据消费的任务，则在进行kafka集群切换时的运行步骤如下：

1、确定需要进行集群切换的consumer的任务和修改后的集群配置信息(主要包括：分布式应用程序协调服务器zookeeper的根目录zkRoot、服务器上的分区信息brokers、分区信息的模块位置信息topic等)；

2、通过程序编译工具打开kafka(分布式发布订阅消息系统)消费客户端的程序，找到对应的集群配置参数，并修改为更新后的集群配置参数，重新编译打包；

3、将编译后的程序上传至服务器，并更新原程序；

4、通过kafka(分布式发布订阅消息系统)集群监控界面，监控该消费任务对应的数据是否存在积压，当积压量为0时，说明原集群上的数据已经完全消费；

5、待原集群上的数据已经完全消费后，通过ssh(linux中服务器跳转的命令)工具登陆服务器，将原消费程序停掉，修改程序里消费任务相应的参数信息，然后再启动该consumer(消费)任务；

6、通过kafka(分布式发布订阅消息系统)集群监控界面，测试并确认任务是从新集群消费数据，如果消费任务对应的topic(协调服务器上的分区模块位置信息)的组已经创建，并开始消费数据，说明集群切换成功。