[发明专利]数据采集方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据采集方法、装置、计算机设备和存储介质。所述方法包括：获取指定的时间区间信息，根据时间区间信息从业务数据库中采集对应时间区间内更新的第一数据；从中间表中存储的字段信息中筛选不匹配时间区间信息的目标字段信息，中间表中包括待采集数据的特征字段的字段信息，待采集数据为根据预设的采集逻辑从业务数据库中确定出的数据；根据目标字段信息从业务数据库中采集第二数据；将第一数据和第二数据进行数据整合处理，得到目标数据。采用本方法能够提高数据采集的效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据采集方法、装置、计算机设备和存储介质。

背景技术

随着数据处理技术的发展，出现了数据采集技术，数据采集一般是使用采集工具将源数据库中的源数据采集至大数据平台的数据仓库。

在传统数据采集方法中，通常采用数据更新时间作为筛选条件来采集增量数据，但是，在增量数据和部分存量数据存在关联性的时候，例如，采集退货表数据时，需要将新更新的退货订单的数据及该退货订单对应的原单的数据一起采集到数据仓库，才可以供下游进行统计分析。然而，在根据数据更新时间采集完增量数据后，为获取与该增量数据对应的部分存量数据，需要大数据中心平台利用全量计算的方式对历史存量数据进行计算，不仅消耗计算资源，而且降低了数据采集的效率。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据采集效率的数据采集方法、装置、计算机设备和存储介质。

一种数据处理方法，上述方法包括：

获取指定的时间区间信息，根据时间区间信息从业务数据库中采集对应时间区间内更新的第一数据；

从中间表中存储的字段信息中筛选不匹配时间区间信息的目标字段信息，中间表中包括待采集数据的特征字段的字段信息，待采集数据为根据预设的采集逻辑从业务数据库中确定出的数据；

根据目标字段信息从业务数据库中采集第二数据；

将第一数据和第二数据进行数据整合处理，得到目标数据。

在一个实施例中，上述方法还包括：

将目标数据存入数据仓库中对应分区的分区表中。

在一个实施例中，上述中间表为设置于数据仓库中的数据表。

在一个实施例中，获取指定的时间区间信息之前，上述方法还包括：获取预设的采集逻辑信息；将业务数据库中符合采集逻辑信息的数据确定为待采集数据；从待采集数据的特征字段中提取字段信息存入中间表。

在一个实施例中，从中间表中存储的字段信息中筛选不匹配时间区间信息的目标字段信息，包括：获取任务参数信息，从中间表中读取与任务参数信息匹配的字段信息存入临时表；从临时表存储的字段信息中筛选不匹配时间区间信息的目标字段信息。

在一个实施例中，根据目标字段信息从业务数据库中采集第二数据，包括：将目标字段信息作为查询条件对应的值生成结构化查询语言；根据结构化查询语言从业务数据库中采集第二数据。

在一个实施例中，将第一数据和第二数据进行数据整合处理之后，上述方法还包括：对数据整合处理之后的数据进行数据去重处理。

在一个实施例中，将第一数据和第二数据进行数据整合处理之后，上述方法还包括：将数据整合处理之后的数据与待采集数据进行比较，去掉与待采集数据不同的数据。

一种数据采集装置，上述装置包括：

第一数据采集模块，用于获取指定的时间区间信息，根据时间区间信息从业务数据库中采集对应时间区间内更新的第一数据；