[发明专利]数据实时捕获和传输方法及系统

权利要求书

1.一种数据实时捕获和传输方法，其特征在于，所述方法包括：

将数据源的全量数据写入到分析系统中；

将位于所述分析系统中的全量数据进行格式转换，得到支持实时更新的第一数据文件；

捕获所述数据源中的多个数据变更事件，并根据所述多个数据变更事件生成数据变更日志；

将所述数据变更日志写入到消息队列系统中；及

根据所述第一数据文件和所述消息队列系统中的数据变更日志，获取支持实时更新的第二数据文件；

其中，所述第一数据文件为HUDI初始快照，所述第二数据文件为HUDI文件；

其中，根据所述第一数据文件和所述消息队列系统中的数据变更日志，获取支持实时更新的第二数据文件，包括：

判断每个数据变更内容在所述HUDI初始快照中是否存在具有相同标识的记录；

当其中一个数据变更内容在所述HUDI初始快照中存在相应记录，且该数据变更内容的时间戳晚于所述相应记录的时间戳，则根据该数据变更内容更新所述相应记录，其中，所述相应记录为与所述数据变更内容具有同一标识的记录；及

当其中一个数据变更内容在所述HUDI初始快照中不存在所述相应记录，则将该数据变更内容对应的新增记录添加到所述HUDI初始快照中。

2.根据权利要求1所述的数据实时捕获和传输方法，其特征在于，所述数据源的全量数据为在预设时间节点时所述数据源中的全部数据；捕获所述数据源中的多个数据变更事件，并根据所述多个数据变更事件生成数据变更日志，包括：

从所述预设时间节点起始，实时捕获所述多个数据变更事件；及

根据所述多个数据变更事件生成所述数据变更日志；

其中，所述数据变更日志包括用于记录所述多个数据变更事件的多个数据变更内容。

3.根据权利要求2所述的数据实时捕获和传输方法，其特征在于，所述分析系统为HDFS；将位于所述分析系统中的全量数据进行格式转换，得到支持实时更新的第一数据文件，包括：

将位于所述HDFS中的全量数据转换为HUDI初始快照，所述HUDI初始快照即所述第一数据文件。

4.根据权利要求3所述的数据实时捕获和传输方法，其特征在于，根据所述第一数据文件和所述消息队列系统中的数据变更日志，获取支持实时更新的第二数据文件，包括：

实时读取所述消息队列系统中的数据变更日志；及

根据从所述消息队列系统实时读取的数据变更日志，更新所述HUDI初始快照以得到HUDI文件；

其中，所述HUDI文件即所述第二数据文件。

5.根据权利要求1至4任意一项所述的数据实时捕获和传输方法，其特征在于，还包括：

监控以下一个或多个过程的数据输入量和数据输出量：

（1）将数据源的全量数据写入到分析系统中；

（2）将位于所述分析系统中的全量数据进行格式转换；

（3）将所述数据变更日志写入到消息队列系统中；及

（4）根据所述第一数据文件和所述消息队列系统中的数据变更日志，获取支持实时更新的第二数据文件；

根据监控结果进行数据流的可视化处理，和/或判断所述一个或多个过程是否出现异常。

6.根据权利要求1至4任意一项所述的数据实时捕获和传输方法，其特征在于，日志系统为Kafka；将所述数据变更日志写入到消息队列系统中包括：

通过增量日志同步系统，将所述数据变更日志实时同步到所述Kafka的日志主题下。