[发明专利]实时数据仓库平台

权利要求书

1.一种实时数据仓库平台，其特征在于，包括：业务数据采集系统、日志数据采集系统、分析系统；

所述业务数据采集系统包括candu模块，所述candu模块对业务数据的变更日志进行同步解析，并将解析后的数据存储至所述分析系统的kudu存储模块中；

所述日志数据采集系统，用于收集日志数据、对所述日志数据进行计算，并将计算结果存储至kudu存储模块中；

所述kudu存储模块根据存储的所述解析后的数据和所述计算结果进行实时的数据分析。

2.根据权利要求1所述的实时数据仓库平台，其特征在于，所述日志数据采集系统包括：

kafka模块，所述日志数据写入所述kafka模块中。

3.根据权利要求2所述的实时数据仓库平台，其特征在于，所述日志数据采集系统还包括：

spark streaming模块，读取所述kafka模块中的所述日志数据、进行实时计算，并将所述计算结果存储至kudu存储模块中。

4.根据权利要求1所述的实时数据仓库平台，其特征在于，所述业务数据采集系统还包括：

业务数据库，用于记录业务数据的变更日志；

canal模块，通过模拟与业务数据库的交互协议，使得所述业务数据库向所述canal模块推送所述变更日志。

5.根据权利要求1所述的实时数据仓库平台，其特征在于，所述分析系统还包括：

impala分析引擎，利用所述impala分析引擎以实现实时的数据分析。

6.根据权利要求1所述的实时数据仓库平台，其特征在于，所述candu模块包括：

Operation子模块，用于通过kudu原生api的异步写入模式，将所述解析后的数据存储至所述kudu存储模块中。

7.根据权利要求6所述的实时数据仓库平台，其特征在于，所述candu模块还包括：

读取子模块，用于从所述candu模块中存储的配置表；

Exchange子模块，用于进行配置表数据的初始化同步。

8.根据权利要求6所述的实时数据仓库平台，其特征在于，所述candu模块还包括：

Manager子模块，用于管理多个Task线程，所述Operation子模块在Task线程中将所述解析后的数据存储至所述kudu存储模块中。