[发明专利]一种针对sqoop的数据采集测试优化方法

摘要

本发明公开了一种针对sqoop的数据采集测试优化方法，通过在源数据库和数据仓库之间增加一个独立的备份库，并分别建立源数据库与备份库，以及备份库与数据仓库之间的配置列表。在数据备份过程中采用日期切片的批量传输方式，形成按批量日期的全量切片备份，在数据采集测试过程中，源数据库将数据通过配置列表以备份表的形式备份至备份库中，从而将采集配置从源库表抽取改为从备份表中抽取，对源数据库数据的修改改为对备份库数据的修改，从而实现减少测试入侵带来的风险，可大幅提高数据采集检测效率，以及减小人力成本。