[发明专利]数据实时捕获和传输方法及系统

说明书

本申请实施例提供了一种数据实时捕获和传输方法，所述方法包括：将数据源的全量数据写入到分析系统中；将位于所述分析系统中的全量数据进行格式转换，得到支持实时更新的第一数据文件；捕获所述数据源中的多个数据变更事件，并根据所述多个数据变更事件生成数据变更日志；将所述数据变更日志写入到消息队列系统中；及根据所述第一数据文件和所述消息队列系统中的数据变更日志，获取支持实时更新的第二数据文件。在本申请实施例中，既可以得到数据变化趋势，又可以在数据源出现数据变更之后，确保分析系统中的数据同步时效性。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种数据实时捕获和传输方法、系统、计算机设备以及计算机可读存储介质。

背景技术

随着大数据的发展，人们开始依赖大数据来进行业务的计算、分析和预测等。为此，需要建立某种数据管道，通过数据管道使得数据可以从数据源(如，MySQL)到分析系统(如，HDFS)。为此，业界提出了CDC(数据实时捕获与传输)管道。CDC管道，可以确定和跟踪变更的数据，并将变更的数据导入数据湖。

现有技术中，CDC管道存在于HDFS中，即当数据源产生数据变更时，数据变更日志被存储到HDFS中。数据变更日志不适用于HIVE的操作。因此，需要到第二天拉起离线作业，将数据源在上一天产生所有数据变更日志中的变化数据进行清洗操作，并将最终的变化数据更新到HDFS的数据表中，这就导致：数据源在当天产生的增量数据，需要到第二天才能够被更新到HDFS的数据表中，时效性差。

发明内容

本申请实施例的目的是提供一种数据实时捕获和传输方法、系统、计算机设备及计算机可读存储介质，用于解决以下问题：出现数据变更之后，数据变更之后的增量数据同步时效性差。

本申请实施例的一个方面提供了一种数据实时捕获和传输方法，所述方法包括：将数据源的全量数据写入到分析系统中；将位于所述分析系统中的全量数据进行格式转换，得到支持实时更新的第一数据文件；捕获所述数据源中的多个数据变更事件，并根据所述多个数据变更事件生成数据变更日志；将所述数据变更日志写入到消息队列系统中；及根据所述第一数据文件和所述消息队列系统中的数据变更日志，获取支持实时更新的第二数据文件。

可选的，所述数据源的全量数据为在所述预设时间节点时所述数据源中的全部数据；捕获所述数据源中的多个数据变更事件，并根据所述多个数据变更事件生成数据变更日志，包括：从所述预设时间节点起始，实时捕获所述多个数据变更事件；及根据所述多个数据变更事件生成所述数据变更日志；其中，所述数据变更日志包括用于记录所述多个数据变更事件的多个数据变更内容。

可选的，所述分析系统为HDFS；将位于所述分析系统中的全量数据进行格式转换，得到支持实时更新的第一数据文件，包括：将位于所述HDFS中的全量数据转换为HUDI初始快照，所述HUDI初始快照即所述第一数据文件。

可选的，根据所述第一数据文件和所述消息队列系统中的数据变更日志，获取支持实时更新的第二数据文件，包括：实时读取所述消息队列系统中的数据变更日志；及根据从所述消息队列系统实时读取的数据变更日志，更新所述HUDI初始快照以得到HUDI文件；其中，所述HUDI文件即所述第二数据文件。

可选的，根据从所述消息队列系统实时读取的数据变更日志，更新所述HUDI初始快照以得到HUDI文件，包括：判断每个数据变更内容在所述HUDI初始快照中是否存在具有相同标识的记录；当其中一个数据变更内容在所述HUDI初始快照中存在相应记录，且该数据变更内容的时间戳晚于所述相应记录的时间戳，则根据该数据变更内容更新所述相应记录，其中，所述相应记录为与所述数据变更内容具有同一标识的记录；及当其中一个数据变更内容在所述HUDI初始快照中不存在所述相应记录，则将该数据变更内容对应的新增记录添加到所述HUDI初始快照中。