[发明专利]一种针对sqoop的数据采集测试优化方法

权利要求书

1.一种针对sqoop的数据采集测试优化方法，其特征在于，在源数据库和数据仓库之间搭建独立的备份库，通过所述备份库建立所述源数据库与所述数据仓库之间的数据采集测试测试通道，包括以下步骤：

步骤1：参照所述源数据库的类型、版本和系统参数，安装和设置所述备份库；

步骤2：根据当前项目需求，从所述源数据库中选出多个与所述当前项目需求对应的源库表，同时生成所述源数据库与所述备份库之间的配置列表；

步骤3：通过所述配置列表，按照日期切片的方式将所述多个源库表的数据批量传输至所述备份库中，生成多个备份表；

步骤4：根据当前项目需求，从所述数据仓库中选出多个与所述当前项目需求对应的采集表，同时生成所述数据仓库与所述备份库之间的采集配置列表；

步骤5：根据所述采集配置列表，获取所述多个采集表的增量条件所使用的技术时间字段名；

步骤6：根据获取的多个采集表的技术时间字段名，差异化修改所述多个备份表的技术时间，得到多个备份修正表；

步骤7：通过所述采集配置列表在所述多个备份修正表和所述数据仓库之间进行数据采集测试。

2.根据权利要求1所述的一种针对sqoop的数据采集测试优化方法，其特征在于，所述备份库安装和设置完成之后，验证所述备份库是否安装成功。

3.根据权利要求1所述的一种针对sqoop的数据采集测试优化方法，其特征在于，在所述步骤2之前，对所述源数据库中所有源库表的配置信息进行粒度细化，得到所有源库表的标准配置信息，包括：环境、数据库名、表名、IP地址、端口、用户、密码和数据库类型。

4.根据权利要求3所述的一种针对sqoop的数据采集测试优化方法，其特征在于，所述当前项目需求为多个待采集的采集表，所述配置列表包括多个与所述多个源库表对应的标准配置信息。

5.根据权利要求1所述的一种针对sqoop的数据采集测试优化方法，其特征在于，所述步骤3中，数据批量传输的方式包括：利用开源工具进行数据传输和本地化数据传输。

6.根据权利要求1所述的一种针对sqoop的数据采集测试优化方法，其特征在于，所述步骤3包括：

步骤3.1：获取所述多个源库表中记载的多个不同的技术时间；

步骤3.2：针对每一个技术时间，按照以下方式将所述多个源库表的数据批量传输至所述备份库中，直到将所述多个源库表的数据全部传输至所述备份库，生成多个备份表：

S31：从剩余的多个不同的技术时间中选出一个，从所述多个源库表中抓取出与选出的技术时间对应的所有数据；

S32：通过所述配置列表将所有抓取出的数据批量传输至所述备份库中，生成一个备份表。

7.根据权利要求1所述的一种针对sqoop的数据采集测试优化方法，其特征在于，在所述步骤3之后，将所述多个备份表的表名与所述多个源库表的表名进行一一对比，标记传输错误的备份表。

8.根据权利要求1所述的一种针对sqoop的数据采集测试优化方法，其特征在于，在所述步骤4之前，将所述数据仓库中所有采集表的采集信息进行统一存储，生成存储表；对所述存储表的采集信息进行配置，得到所述存储表的标准配置信息，包括：采集表名、表所属库名、采集字段、采集方式、采集算法、增量条件、配置是否生效和配置日期。

9.根据权利要求8所述的一种针对sqoop的数据采集测试优化方法，其特征在于，所述技术时间字段名的获取方法为：针对每一张采集表，执行步骤5.1：根据采集表名从所述采集配置列表中获取采集表的采集方式；步骤5.2：若采集方式为全量采集，则忽略；若采集方式为增量采集，则对采集表的增量条件进行正则解析，得到采集表的技术时间字段名。

10.根据权利要求1所述的一种针对sqoop的数据采集测试优化方法，其特征在于，

差异化修改所述多个备份表的技术时间的方法包括：

步骤6.1：将所述多个采集表按技术时间的先后顺序排序，得到临近批量日期表；

步骤6.2：根据所述临近批量日期表的顺序，依次将每一个备份表中的数据与前一个备份表中的数据进行差异化比对，并分别计算前后两个备份表数据的md5sum值；若前后两个备份表数据的md5sum值相同，则不进行备份表增量字段时间修改，若前后两个备份表的md5sum值不同，则修改后一备份表的增量字段时间；

在所述步骤7之前，将所述采集配置列表中各采集表的位置信息修改为与所述备份库中各备份表的位置信息。