[发明专利]一种基于数据仓库自动化的数据迁移系统及方法

摘要

本发明一种基于数据仓库自动化的数据迁移系统及方法，包括触发模块、接口单元、入库模块、服务器模块，其中触发单元跟接口单元相互连接，接口单元跟入库单元相互连接，触发模块、接口单元、入库模块均与服务器模块相互连接。分发明通过ETL（将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程）定时任务自动化执行，采用主流网络传输协议ftp传输数据文件，全程无需人工干预，真正实现了安全、可靠、有效的自动化数据迁移。

主权项

1.一种基于数据仓库自动化的数据迁移方法，其特征在于包括以下步骤：A：数据源端ETL任务将接口表中数据生成数据文件，并将接口表生成数据文件信息进行Md5加密，生成控制文件；B：将数据文件组及控制文件作为一个接口单元上传至ftp服务器；C：目标主机ETL任务调起shell脚本，检测ftp服务器中接口单元控制文件是否存在，如存在则表明接口单元中数据文件已全部接收，将接收到的数据文件信息进行Md5解密，与控制文件中信息进行比对，避免网络传输过程中丢包导致的文件缺失，保证接收文件的完整性，进而保证数据的完整性；D：数据文件校验通过后进行入库操作，ETL任务依次将数据文件入库，入库完成后调用稽核脚本，进行业务数据质量稽核；所述数据源端ETL任务将接口表中数据生成数据文件，并将接口表生成数据文件信息进行Md5加密，生成控制文件的步骤包括：A1：数据源端数据开始传输；A2：在接口单元生成数据文件，数据文件根据其大小形成分卷形式的数据文件；A3：在接口单元生成控制文件，对控制文件进行MD5加密，给控制文件标记识别码以保证数据文件的完整性，识别码包括数据文件记录的条数以及密文信息；A4：采用FTP传输模式将生成的数据文件、控制文件进行上传，传输过程中可以采用串行传输或并行传输；A5：在传输的过程中接口单元向入库模块发送邮件通知；A6：完成传输。