[发明专利]实时数据仓库平台

说明书

技术领域

本发明涉及网络技术领域，具体来说，涉及一种实时数据仓库平台。

背景技术

在现有的针对数据仓库的技术方案中，都是采用离线的、且不可更新的分布式hive数据仓库，很难做到实时数据仓库的级别，并且不能做到实时同步业务数据库。如果不能保证时效性，则不能对现有的业务数据分析提供更多改的进。除此之外，现有的数据仓库，不能很方便地被业务人员使用。

整体来说，现有的日志系统存在以下缺陷：1)现有系统大都是hive的离线式的分布式数据仓库，不能满足用户的更新与记录级别的插入功能。2)性能差。现有的hive分布式数据仓库，小数据量的查询性能极差，甚至达不到传统关系数据仓库的性能。3)日志实时数据与历史数据融合问题。现有数据仓库都是离线数据，与实时日志数据无法融合，这样间接阻碍了业务的全数据的分析与挖掘。

针对相关技术中的上停问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述问题，本发明提出一种实时数据仓库平台，能够实现业务数据库的实时同步。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种实时数据仓库平台，包括：业务数据采集系统、日志数据采集系统、分析系统；业务数据采集系统包括candu模块，candu模块对业务数据的变更日志进行同步解析，并将解析后的数据存储至分析系统的kudu存储模块中；日志数据采集系统，用于收集日志数据、对日志数据进行计算，并将计算结果存储至kudu存储模块中；kudu存储模块根据存储的解析后的数据和计算结果进行实时的数据分析。

在一个实施例中，日志数据采集系统包括：kafka模块，日志数据写入kafka模块中。

其中，日志数据采集系统还包括：spark streaming模块，读取kafka模块中的日志数据、进行实时的计算，并将计算结果存储至kudu存储模块中。

在一个实施例中，业务数据采集系统还包括：业务数据库，用于记录业务数据的变更日志；canal模块，通过模拟与业务数据库的交互协议，使得业务数据库向canal模块推送变更日志。

在一个实施例中，分析系统还包括：impala分析引擎，利用impala分析引擎以实现实时的数据分析。

在一个实施例中，candu模块包括：Operation子模块，用于通过kudu原生api的异步写入模式，将解析后的数据存储至kudu存储模块中。

其中，candu模块还包括：读取子模块，用于从candu模块中存储的配置表；Exchange子模块，用于进行配置表数据的初始化同步。

其中，candu模块还包括：Manager子模块，用于管理多个Task线程，Operation子模块在Task线程中将解析后的数据存储至kudu存储模块中。

本发明通过candu模块实时收集分布在各个业务系统上的业务数据的变更日志，实现了业务数据的实时同步；利用canal模块、candu模块完成业务数据库数据的实时同步，并利用kafka模块作为日志传输工具发送日志，吞吐量大，且不易丢失日志；利用kudu存储模块可以完成数据的修改，支持增删查改功能；利用分布式查询引擎的impala分析引擎，可以做到实时同步与实时分析；将数据实时同步或写入kudu存储模块，通过impala分析引擎查询kudu存储模块，提高了查询性能；同时，实现了业务数据的实时同步与日志数据的实时同步，能够完成全域的数据融合，帮助用户全面准确的进行数据分析。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的实时数据仓库平台的框图；

图2是图1中candu模块类图的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。