[发明专利]一种基于canal和kafka实现实时数仓的系统

说明书

一种基于canal和kafka实现实时数仓的系统，包括Canal‑Server、Canal‑Client、Consumer‑plugin‑man和admin‑ods，Canal‑Server和Canal‑Client相连接，Canal‑Client通过kafka与Consumer‑plugin‑man相连接，admin‑ods也与Consumer‑plugin‑man相连接，所述Consumer‑plugin‑man与Hbase相连接；所述Hbase连接有ElasticSearch，ElasticSearch连接有Databus‑query，Databus‑query连接有atabus‑api。本发明的有益效果是将数据源、数据处理、数据写入解耦并统一管理，灵活配置，大大简化研发成本，易维护，支持不同生产环境下部署同一或不同数据仓库中的数据接入，实现一次研发，多处并灵活使用。

技术领域

本发明涉及互联网技术领域，具体涉及一种基于canal和kafka实现实时数仓的系统。

背景技术

随着互联网技术的飞速发展，大数据时代已经到来，实时数据采集、同步、计算并及时响应和反馈结果成为根据业务的实时变化及时调整策略并快速响应执行解决方案中至关重要的环节。本发明主要解决其中的数据同步环节。其主要内容是：在不影响业务方正常业务的情况下从业务数据库同步实时数据和历史数据到大数据仓库以供后续的变量计算等操作提供有效实时的数据。

Canal，是阿里巴巴集团使用纯java开发的一套基于数据库增量日志解析、提供增量数据订阅&消费、目前主要支持了mysql数据库的同步系统。

Kafka，是最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、多副本的(replica)，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

目前宜信也有过类似系统，借鉴了Linkedin的思想通过Canal和Kafka来实现数据同步操作。

但是，其维度单一，添加、减少所对接的业务线不方便，无法根据对接业务线控制并发量，不同集群之间的kafka、hbase、elasticsearch无法写入。

发明内容

为实现上述目的，本发明提供如下技术方案：

一种基于canal和kafka实现实时数仓的系统，包括Canal-Server、Canal-Client、Consumer-plugin-man和admin-ods，Canal-Server和Canal-Client相连接，Canal-Client通过kafka与Consumer-plugin-man相连接，admin-ods也与Consumer-plugin-man相连接，所述Consumer-plugin-man与Hbase相连接；所述Hbase连接有ElasticSearch，ElasticSearch连接有Databus-query，Databus-query连接有atabus-api。

作为本发的再进一步技术方案是：所述admin-ods通过meta-data与Hbase相连接。

作为本发明的再进一步技术方案是：所述Consumer-plugin-man通过some rules与ElasticSearch。

作为本发明的再进一步技术方案是：所述Canal-Server通过binlog changes与Mysql相连接。