[发明专利]基于求余的数据抽取的方法、装置及系统

说明书

本发明提供一种基于求余的数据抽取的方法、装置及系统，能够在保证抽取数据的完整性的同时，提高抽取效率，节省抽取时长，满足数据仓库层面时效性要求。该方法包括：在数据仓库中创建目标表；根据抽取需求确定分段个数，根据所述分段个数设置抽数任务，然后以求余的方式为所述抽数任务配置抽数模板；根据所述抽数模板并行地执行抽数任务，以抽取分段数据；将所述分段数据合并至目标表。

技术领域

本发明涉及计算机技术及软件领域，尤其涉及一种基于求余的数据抽取的方法、装置及系统。

背景技术

ETL是构建数据仓库的重要一环，用户通过ETL阶段将不同数据源的数据抽取出来，经过转换、清洗、加载等处理过程，将处理完成的数据，最终按照预先定义的数据仓库模型，将数据加载到数据仓库中去。作为数据仓库ETL过程的第一环节，数据抽取的效率直接影响到整个数据仓库的时效性。

离线数据仓库的抽取策略一般是按一个抽取任务对应一张数据源表，通过调度平台设置相应的规则每天准时执行数据抽取操作，以满足数据仓库加工需求，例如按T+1进行，即每天凌晨之后开始抽取前一天的数据。根据源系统数据库表的特点，抽取方式主要有全量抽取、增量抽取和按日期分段抽取三种。在源系统数据量较少的情况下，上述抽取策略抽取的时效性可满足整个数据仓库时效性的需求。然而，目前我们所处的是数据爆炸时代，每天都会产生海量的数据。对这种海量数据的抽取，目前的数据抽取技术，已远不能满足数据仓库时效性的要求。

具体而言，在现有的数据抽取策略下，对数据量较少的源表进行全量抽取，或者采取增量抽取的任务，一般均能在相应的时效范围内完成。但是针对具有海量数据源表的全量抽取，其抽取的时效性已远远不能满足数据仓库时效性的要求；此外，针对具有海量数据源表的增量抽取，需预先抽取一份全量的快照数据，而在抽取这个全量数据过程中，需要耗费很长时间，有时会超过一天的时间；而针对海量数据源表按日期分段抽取，因每天产生的数据量不均匀，需要人工不定期调整分段条件。

由此可以看出，现有的数据抽取技术存在如下缺点：

1)抽取效率低下，获取数据周期过长，不能满足数据仓库对时效性的要求，影响公司相应的决策，对公司造成不必要的损失；

2)需人工不定期调整抽取条件，浪费大量人力资源的同时，且容易出现错误；

3)采用按日期分段抽取，每天产生的数据量分布不均，导致各个分段抽取的数据总量不一致，容易产生短板效应。

发明内容

有鉴于此，本发明提供一种基于求余的数据抽取的方法、装置及系统，能够在保证抽取数据的完整性的同时，提高抽取效率，节省抽取时长，满足数据仓库层面时效性要求。

为实现上述目的，根据本发明的一个方面，提供了一种基于求余的数据抽取的方法。

本发明的一种基于求余的数据抽取的方法包括：在数据仓库中创建目标表；根据抽取需求确定分段个数，根据所述分段个数设置抽数任务，然后以求余的方式为所述抽数任务配置抽数模板；根据所述抽数模板并行地执行抽数任务，以抽取分段数据；将所述分段数据合并至目标表。

可选地，根据抽取需求确定分段个数还包括：根据需要抽取的数据总量、抽取完成的目标时间以及单位时间内抽取的数据量，确定分段个数。

可选地，所述抽数模板中包括如下信息：来源库库名、IP地址、来源表表名、抽取SQL、抽取条件、目标数据仓库以及目标表表名，其中，所述抽取条件包括针对所述抽数模板利用所述分段个数对主键进行求余的结果，用于确定根据所述抽数模板而抽取的分段数据。

可选地，所述方法还包括：所述数据仓库基于Hadoop实现数据存储；以及利用Hadoop命令将所述分段数据合并至目标表。

为实现上述目的，根据本发明的另一方面，提供了一种基于求余的数据抽取的装置。