[发明专利]一种非同源数据库同步方法及装置

说明书

本发明提供了一种非同源数据库同步方法及装置，可以应用于大数据领域，方法包括：根据预存的映射关系表，查找获取的数据表对应的批量任务信息；根据批量任务信息对数据表进行加载，并在加载完成后记录加载任务执行日期后进行数据导出；对导出的数据进行格式转换处理，并在格式转换处理后判断在导出的数据中是否存在特殊字符并对数据进行预处理；使用脚本自动生成方法生成数据导入脚本将预处理后的数据导入至目标数据库中。

技术领域

本申请属于数据库迁移技术领域，具体地讲，涉及一种非同源数据库同步方法及装置。

背景技术

在进行非同源数据库迁移时，如何将旧库中的存量数据无损迁移到新库中是其中最基础的一项工作。非同源数据库在进行数据同步时将面临非常多的操作步骤，包括暂停批量任务、生成导出导入脚本、数据导出、数据导入、数据核对、放开批量任务等，并且每个操作都需要确保正确完成以后才能进入下一步操作，因此如果要求人工按照以上步骤逐步核对、逐步操作，逐步完成不但工作量极大且极易出现纰漏，甚至可能导致整个数据同步工作的失败。总而言之，在数据迁移过程中，通常会面临以下几个问题，由于不同的数据库具有不同的特性，在进行数据导出导入时，需要考虑数据库语句的兼容性问题；存量数据中的特殊字符，可能导致在导入数据时产生字段对应、数据行对应的问题，需要考虑数据完整性的问题；数据库每日都要加载新增的数据，需要考虑数据迁移过程中批量加载同步性的问题；数据库每天都要对外提供大量数据传送、报表查询等服务，需要考虑迁移过程对每日正常服务的影响问题。

发明内容

本申请提供了一种非同源数据库同步方法及装置，以至少解决非同源数据库迁移时数据批量加载不同步、数据库语句兼容性差等问题。

根据本申请的一个方面，提供了一种非同源数据库同步方法，包括：

根据预存的映射关系表，查找获取的数据表对应的批量任务信息；

根据批量任务信息对数据表进行加载，并在加载完成后记录加载任务执行日期后进行数据导出；

对导出的数据进行格式转换处理，并在格式转换处理后判断在导出的数据中是否存在特殊字符并对数据进行预处理；

使用脚本自动生成方法生成数据导入脚本将预处理后的数据导入至目标数据库中。

在一实施例中，非同源数据库同步方法还包括：

在数据导入目标数据库后，对数据进行比对验证并根据验证结果确定是否进行数据批量加载。

在一实施例中，对数据进行比对验证并根据验证结果确定是否进行数据批量加载，包括：

调用数据比对工具对新旧环境的数据进行数据比对验证并记录验证结果；

如果验证结果一致，则放开原数据库中数据的批量加载；

更新目标数据库的批量任务状态以确保原数据库和目标数据库可以同事开始加载相同日期的数据。

在一实施例中，根据批量任务信息对数据表进行加载，包括：

根据批量任务信息中的任务状态字段判断任务是否处于完成加载的状态；

如果否，则继续执行加载并在延时指定时间后再次判定是否处于完成加载的状态。

在一实施例中，在加载完成后记录加载任务执行日期后进行数据导出，包括：

如果判断任务处于已完成加载的状态，则将该任务暂停并记录该任务的执行日期；

将加载完成后的数据进行导出。

在一实施例中，对导出的数据进行格式转换处理并在格式转换处理后判断在导出的数据中是否存在特殊字符并对数据进行预处理，包括：

对导出的数据进行逐行转码操作；