[发明专利]一种基于数据表分区的数据采集方法及系统

说明书

本发明提供了一种基于数据表分区的数据采集方法及系统，包括：获取待采集的数据表信息及滑动窗；数据表信息包括：各分区的编号以及各分区对应的月份；滑动窗的长度代表包括当前采集月份在内的月份的个数；根据滑动窗及当前采集月份确定有数据的月份及无数据的月份；有数据的月份为滑动窗之内的月份；无数据的月份为滑动窗之外的月份；根据各采集作业的编号、各分区的编号以及各分区对应的月份生成采集参数表；采集作业为对数据表中的各分区的数据进行采集的操作；根据采集参数表对各分区执行对应编号的采集作业。本发明具有提高资源利用率、采集作业的利用率以及采集效率的有益效果。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种基于数据表分区的数据采集方法及系统。

背景技术

在目前的批量数据采集方式中，采用的均为每个采集作业每天运行时，对数据表中固定的分区进行数据采集。这种方式应用于大部分的表，但是对于数据分布不均匀并且按时间维度来变换存储分区的表，现有的数据采集方式存在着效率低下、耗时较长的弊端。

因此，如何提高对数据分布不均且按照时间维度变化的数据表的数据采集效率是亟待解决的的技术问题。

发明内容

为了解决现有技术中的缺陷，本发明提供了一种基于数据表分区的数据采集方法及系统，在对分区的数据分布不均且按照时间维度变化的数据表进行数据采集时，通过引用了滑动窗及动态调整采集参数表，具有提高资源利用率、采集作业的利用率以及采集效率的有益效果。

为了实现上述目的，本发明提供了一种基于数据表分区的数据采集方法，该方法包括：

获取待采集的数据表信息及滑动窗；所述数据表信息包括：各分区的编号以及各分区对应的月份；所述滑动窗的长度代表包括当前采集月份在内的月份的个数；

根据所述滑动窗及当前采集月份确定有数据的月份及无数据的月份；所述有数据的月份为所述滑动窗之内的月份；所述无数据的月份为所述滑动窗之外的月份；

根据各采集作业的编号、各所述分区的编号以及各所述分区对应的月份生成采集参数表；所述采集作业为对数据表中的各分区的数据进行采集的操作；

根据所述采集参数表对各所述分区执行对应编号的采集作业。

本发明还提供了一种基于数据表分区的数据采集系统，该系统包括：

获取单元，用于获取待采集的数据表信息及滑动窗；所述数据表信息包括：各分区的编号以及各分区对应的月份；所述滑动窗的长度代表包括当前采集月份在内的月份的个数；

有数据的月份及无数据的月份确定单元，用于根据所述滑动窗及当前采集月份确定有数据的月份及无数据的月份；所述有数据的月份为所述滑动窗之内的月份；所述

无数据的月份为所述滑动窗之外的月份；

采集参数表生成单元，用于根据各采集作业的编号、各所述分区的编号以及各所述分区对应的月份生成采集参数表；所述采集作业为对数据表中的各分区的数据进行采集的操作；

采集作业执行单元，用于根据所述采集参数表对各所述分区执行对应编号的采集作业。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待采集的数据表信息及滑动窗；所述数据表信息包括：各分区的编号以及各分区对应的月份；所述滑动窗的长度代表包括当前采集月份在内的月份的个数；

根据所述滑动窗及当前采集月份确定有数据的月份及无数据的月份；所述有数据的月份为所述滑动窗之内的月份；所述无数据的月份为所述滑动窗之外的月份；