[发明专利]基于求余的数据抽取的方法、装置及系统

权利要求书

1.一种基于求余的数据抽取的方法，其特征在于，包括：

在数据仓库中创建目标表；

根据需要抽取的数据总量、抽取完成的目标时间以及单位时间内抽取的数据量，确定分段个数；根据所述分段个数设置抽数任务，然后以求余的方式为所述抽数任务配置抽数模板；

根据所述抽数模板并行地执行抽数任务，以抽取分段数据；

将所述分段数据合并至目标表。

2.根据权利要求1所述的方法，其特征在于，所述抽数模板中包括如下信息：来源库库名、IP地址、来源表表名、抽取SQL、抽取条件、目标数据仓库以及目标表表名，其中，所述抽取条件包括针对所述抽数模板利用所述分段个数对主键进行求余的结果，用于确定根据所述抽数模板而抽取的分段数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述数据仓库基于Hadoop实现数据存储；以及

利用Hadoop命令将所述分段数据合并至目标表。

4.一种基于求余的数据抽取的装置，其特征在于，包括：

创建模块，用于在数据仓库中创建目标表；

配置模块，用于根据需要抽取的数据总量、抽取完成的目标时间以及单位时间内抽取的数据量，确定分段个数；根据所述分段个数设置抽数任务，然后以求余的方式为所述抽数任务配置抽数模板；

抽取模块，用于根据所述抽数模板并行地执行抽数任务，以抽取分段数据；

合并模块，用于将所述分段数据合并至目标表。

5.根据权利要求4所述的装置，其特征在于，所述抽数模板中包括如下信息：来源库库名、IP地址、来源表表名、抽取SQL、抽取条件、目标数据仓库以及目标表表名，其中，所述抽取条件包括针对所述抽数模板利用所述分段个数对主键进行求余的结果，用于确定根据所述抽数模板而抽取的分段数据。

6.根据权利要求4所述的装置，其特征在于，

所述数据仓库基于Hadoop实现数据存储；以及

所述合并模块利用Hadoop命令将所述分段数据合并至目标表。

7.一种基于求余的数据抽取的系统，其特征在于，包括：

存储器和处理器，其中，

所述存储器存储指令；

所述处理器被配置为根据所述指令执行以下步骤：

在数据仓库中创建目标表；

根据需要抽取的数据总量、抽取完成的目标时间以及单位时间内抽取的数据量，确定分段个数；根据所述分段个数设置抽数任务，然后以求余的方式为所述抽数任务配置抽数模板；

根据所述抽数模板并行地执行抽数任务，以抽取分段数据；

将所述分段数据合并至目标表。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的方法。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-3中任一所述的方法。