[发明专利]一种外网单域名连接内网kafka集群的实现方法及系统

说明书

本发明公开了一种外网单域名连接内网kafka集群的实现方法及系统，属于云计算领域，本发明要解决的技术问题为如何实现外网通过单域名访问内网kafka集群的需求，且能够用于公有云租户侧连接管理侧服务的场景，采用的技术方案为：该方法是使用每个haproxy代理kafka集群的每个broker，再通过keepalived暴露VIP代理kafka集群的所有broker，结合外网DNS服务器添加对每个haproxy和VIP与域名的映射，实现外网单域名连接内网kafka集群。该系统包括kafka集群搭建单元、haproxy安装单元、keepalived安装单元、VIP与单域名映射关系建立单元和Broker修改单元。

技术领域

本发明涉及云计算领域，具体地说是一种外网单域名连接内网kafka集群的实现方法及系统。

背景技术

Kafka是一个分布式、支持分区、多副本、多订阅者，基于zookeeper协调的分布式消息系统，最大特性是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎、web/nginx日志、消息服务等。客户端连接kafka集群生产或消费数据，建立初始连接时需要配置主机和端口列表。该列表不需要包括所有的brokers信息，因为客户端在建立连接后能够获取所有brokers的信息。但建议至少包括两个，防止一个broker宕机，客户端仍然能够通过另外一个broker连接到集群。这种默认的连接方式基于客户端与kafka集群brokers相互可以网络连通，但这并不适合公有云场景下租户侧的客户端连接管理侧的kafka集群的需求，因为租户侧和管理侧的网络是不连通的。

故如何实现外网通过单域名访问内网kafka集群的需求，且能够用于公有云租户侧连接管理侧服务的场景是目前现有技术中急需解决的问题。

专利号为CN107666516A的专利文献公开了一种基于消息热度保证kafka集群数据一致性的方法，属于数据存储与消息中间件领域。该方法包括以下步骤：S1：建立计算机编程函数partition热度模型；S2：建立热度预估模型；S3：计算副本partition的更新频率；S4：建立副本自适应一致性策略。该技术方案结合了kafka消息队列可靠性和云存储系统中的自适应同步策略的各自优点，提出基于集群消息访问热度的kafka集群副本数据同步的自适应算法，并且在预测文件热度时结合了LRU算法和LFU算法，兼顾了访问时间和访问频率，使得预测结果更加符合实际值；保证了数据的可靠性，同时降低了集群内网络开销与内存、CPU等额外源开销，有效地平衡了系统的可用性和性能，但是不能实现外网通过单域名访问内网kafka集群的需求，且能够用于公有云租户侧连接管理侧服务的场景。

发明内容

本发明的技术任务是提供一种外网单域名连接内网kafka集群的实现方法及系统，来解决如何实现外网通过单域名访问内网kafka集群的需求，且能够用于公有云租户侧连接管理侧服务的场景的问题。

本发明的技术任务是按以下方式实现的，一种外网单域名连接内网kafka集群的实现方法，该方法是使用每个haproxy代理kafka集群的每个broker，再通过keepalived暴露VIP代理kafka集群的所有broker，结合外网DNS服务器添加对每个haproxy和VIP与域名的映射，实现外网单域名连接内网kafka集群。

作为优选，该方法的具体步骤如下：

S1、内网机器搭建kafka集群；

S2、在具有外网和内网地址的代理机器安装haproxy，建立代理机器的外网地址与kafka集群broker的内网地址的一一映射关系；

S3、在代理机器安装keepalived，暴露外网VIP地址并建立VIP与所有kafka集群broker的一对多映射关系；