[发明专利]一种针对sqoop的数据采集测试优化方法

说明书

本发明公开了一种针对sqoop的数据采集测试优化方法，通过在源数据库和数据仓库之间增加一个独立的备份库，并分别建立源数据库与备份库，以及备份库与数据仓库之间的配置列表。在数据备份过程中采用日期切片的批量传输方式，形成按批量日期的全量切片备份，在数据采集测试过程中，源数据库将数据通过配置列表以备份表的形式备份至备份库中，从而将采集配置从源库表抽取改为从备份表中抽取，对源数据库数据的修改改为对备份库数据的修改，从而实现减少测试入侵带来的风险，可大幅提高数据采集检测效率，以及减小人力成本。

技术领域

本发明涉及数据采集测试技术领域，具体而言，涉及一种针对sqoop的数据采集测试优化方法。

背景技术

sqoop是一款开源导数工具，用以对接数据仓库Hive与传统关系型数数据库间实现数据交换，可以将一个关系型数据库中的数据导入Hadoop的HDFS中，也可以将HDFS的数据导入关系型数据库中。当sqoop在测试环境中运行时，通常需要模拟未来场景。而sqoop数据增量采集需要限定技术时间，此技术时间与未来场景不匹配。若要在测试环境中进行数据增量采集，需要首先解决技术时间与业务时间不匹配的问题。

目前，解决技术时间与业务时间不匹配的问题的现有技术包括以下几种：一是采用直接推翻原有设计的方式，将sqoop同步依赖的采集方式改为异步文件采集方式，由数据产生方识别并生成增量数据，采集方直接获取。但是该方法对现有系统改动较大，风险比较高。二是采用不推翻原有设计的方式，在模拟未来式场景时，先修改测试环境的机器时间。但此方式要求测试资源独占，否则同一环境下不同项目测试会相互干扰，对测试环境资源耗费较多，成本比较高。三是通过测试人员将所有增量采集改为全量采集，此方式容易产生侵入风险，且全量采集会造成数据重复的问题。四是通过测试人员在源系统数据库手工修改技术时间，使修改技术时间中的日期与业务时间中的日期一致，从而保证增量采集时间窗口限制时可精准卡住增量数据。但此方式会对源系统数据进行修改，产生侵入和干扰性；且手工修改操作繁琐，当采集表数据较多时，将耗费大量时间。

有鉴于此，特提出本申请。

发明内容

本发明所要解决的技术问题是：利用现有技术解决技术时间与业务时间不匹配的问题时，容易对源数据库数据进行修改，产生数据侵入和干扰。目的在于提供一种针对sqoop的数据采集测试优化方法，通过不用改变源库表数据的方式解决源库表数据中技术时间和业务时间不一致问题，从而减少测试侵入带来的质量风险。

本发明通过下述技术方案实现：

一种针对sqoop的数据采集测试优化方法，在源数据库和数据仓库之间搭建独立的备份库，通过所述备份库建立所述源数据库与所述数据仓库之间的数据采集测试测试通道，包括以下步骤：

步骤1：参照所述源数据库的类型、版本和系统参数，安装和设置所述备份库；

步骤2：根据当前项目需求，从所述源数据库中选出多个与所述当前项目需求对应的源库表，同时生成所述源数据库与所述备份库之间的配置列表；

步骤3：通过所述配置列表，按照日期切片的方式将所述多个源库表的数据批量传输至所述备份库中，生成多个备份表；

步骤4：根据当前项目需求，从所述数据仓库中选出多个与所述当前项目需求对应的采集表，同时生成所述数据仓库与所述备份库之间的采集配置列表；

步骤5：根据所述采集配置列表，获取所述多个采集表的增量条件所使用的技术时间字段名；

步骤6：根据获取的多个采集表的技术时间字段名，差异化修改所述多个备份表的技术时间，得到多个备份修正表；

步骤7：通过所述采集配置列表在所述多个备份修正表和所述数据仓库之间进行数据采集测试。