[发明专利]一种增量和全量数据的数据采集方法、装置、设备及介质

权利要求书

1.一种增量和全量数据的数据采集方法，其特征在于，包括：

在关系型数据库中存储有关系型数据时，利用Sqoop工具周期性采集预设时间段内的第一关系型数据，并同步到Hadoop集群构建的数据湖中；

在业务系统服务器中存储有非关系型数据时，利用Flume工具实时采集第一预设时刻下的所述非关系型数据，并同步到所述数据湖中；所述非关系型数据包括日志数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述关系型数据库中存储有所述关系型数据时，利用Canal工具采集第二预设时刻下的第二关系型数据；所述第二关系型数据为从历史时刻至所述第二预设时刻的时间段内发生更新的关系型数据；所述历史时刻为上一次利用所述Canal工具从所述关系型数据库中采集关系型数据的时刻；

将所述第二关系型数据利用Kafka工具同步至所述数据湖中。

3.根据权利要求2所述的方法，其特征在于，所述在所述关系型数据库中存储有所述关系型数据时，利用Canal工具采集第二预设时刻下的第二关系型数据，包括：

在所述关系型数据库中存储有所述关系型数据时，利用所述Canal工具获取所述关系型数据库的binlog信息；

根据所述binlog信息，通过所述Canal工具采集所述第二预设时刻下的所述第二关系型数据。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述数据湖中的所述第一关系型数据和所述非关系型数据传输至数据仓库；

在所述数据仓库中按照预设指标对所述第一关系型数据和所述非关系型数据进行分类处理，得到处理后的第一关系型数据和非关系型数据；

将处理后的第一关系型数据和非关系型数据传输至所述数据湖中。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述方法还包括：

通过应用程序编程接口获取所述第一关系型数据和所述非关系型数据，以便进行报表加工。

6.一种增量和全量数据的数据采集装置，其特征在于，包括：

第一采集单元，用于在关系型数据库中存储有关系型数据时，利用Sqoop工具周期性采集预设时间段内的第一关系型数据，并同步到Hadoop集群构建的数据湖中；

第二采集单元，用于在业务系统服务器中存储有非关系型数据时，利用Flume工具实时采集第一预设时刻下的所述非关系型数据，并同步到所述数据湖中；所述非关系型数据包括日志数据。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第三采集单元，用于在所述关系型数据库中存储有所述关系型数据时，利用Canal工具采集第二预设时刻下的第二关系型数据；所述第二关系型数据为从历史时刻至所述第二预设时刻的时间段内发生更新的关系型数据；所述历史时刻为上一次利用所述Canal工具从所述关系型数据库中采集关系型数据的时刻；

同步单元，用于将所述第二关系型数据利用Kafka工具同步至所述数据湖中。

8.根据权利要求7所述的装置，其特征在于，所述第三采集单元，用于：

在所述关系型数据库中存储有所述关系型数据时，利用所述Canal工具获取所述关系型数据库的binlog信息；

根据所述binlog信息，通过所述Canal工具采集所述第二预设时刻下的所述第二关系型数据。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-5中任意一项所述的增量和全量数据的数据采集方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-5中任意一项所述的增量和全量数据的数据采集方法。