[发明专利]数据采集方法、装置、计算机设备和存储介质

权利要求书

1.一种数据采集方法，所述方法包括：

获取预设的采集逻辑信息；

将业务数据库中符合所述采集逻辑信息的数据确定为待采集数据；

从所述待采集数据的特征字段中提取字段信息存入中间表；

获取指定的时间区间信息，根据所述时间区间信息从业务数据库中采集对应时间区间内更新的第一数据；

从中间表中存储的字段信息中筛选不匹配所述时间区间信息的目标字段信息，所述中间表中包括待采集数据的特征字段的字段信息，所述待采集数据为根据预设的采集逻辑从所述业务数据库中确定出的数据；

根据所述目标字段信息从所述业务数据库中采集第二数据；

将所述第一数据和所述第二数据进行数据整合处理，得到目标数据；

其中，所述从中间表中存储的字段信息中筛选不匹配所述时间区间信息的目标字段信息，包括：

获取任务参数信息，从所述中间表中读取与所述任务参数信息匹配的字段信息存入临时表；

从所述临时表存储的字段信息中筛选不匹配所述时间区间信息的目标字段信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目标数据存入数据仓库中对应分区的分区表中。

3.根据权利要求2所述的方法，其特征在于，所述中间表为设置于所述数据仓库中的数据表。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标字段信息从所述业务数据库中采集第二数据，包括：

将所述目标字段信息作为查询条件对应的值生成结构化查询语言；

根据所述结构化查询语言从所述业务数据库中采集第二数据。

5.根据权利要求1至4任意一项所述的方法，其特征在于，将所述第一数据和所述第二数据进行数据整合处理之后，所述方法还包括：

对数据整合处理之后的数据进行数据去重处理；和/或,

将数据整合处理之后的数据与所述待采集数据进行比较，去掉与所述待采集数据不同的数据。

6.一种实现权利要求1所述数据采集方法的装置，其特征在于，所述装置包括：

第一数据采集模块，用于获取指定的时间区间信息，根据所述时间区间信息从业务数据库中采集对应时间区间内更新的第一数据；

字段信息获取模块，用于从中间表中存储的字段信息中筛选不匹配所述时间区间信息的目标字段信息，所述中间表中包括待采集数据的特征字段的字段信息，所述待采集数据为根据预设的采集逻辑从所述业务数据库中确定出的数据；

第二数据采集模块，用于根据所述目标字段信息从所述业务数据库中采集第二数据；

数据整合处理模块，用于将所述第一数据和所述第二数据进行数据整合处理，得到目标数据。

7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。