[发明专利]一种数据比对方法、装置、电子设备及存储介质

说明书

本申请实施例提供一种数据比对方法、装置、电子设备和存储介质，方法包括：将第一迁移数据表和第二迁移数据表同步至数据仓库平台，得到第一同步数据表和第二同步数据表；基于第一同步数据表的信息，从预设比对数据库中获取第一比对配置信息集合；第一比对配置信息集合包括多个字段对应的比对配置信息；基于第一比对配置信息集合，生成第一数据比对任务；基于第一数据比对任务对第一同步数据表和第二同步数据表进行比对，得到第一数据比对结果。通过本申请实施例提供的一种数据比对方法，可以批量生成比对任务，从而提高比对效率，准确地更正数据错误。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据比对方法、装置、系统及存储介质。

背景技术

随着大数据时代的到来，数据呈爆发式增长，越来越多的业务需要借助大数据能力进行数据分析，其中包括对数据的比对。无论是数据仓库任务上线前的测试环节中，数据的迁移过程中，还是数据仓库优化的场景下，都需要将数据之间进行比对。

现有的数据比对方法，无法将不同系统下的数据直接比对；并且，在大批量的数据需要比对的时候，都是逐个根据不同的表及字段，分别写对应的比对任务，再执行比对任务将差异结果存储到对应表中，这种方法需要逐个开发比对任务，不仅效率低，而且错误率高，针对特定的字段、特定的比对规则缺少快速有效的方法。

发明内容

针对现有技术存在的缺陷，本公开实施例提供一种数据比对方法、装置、系统及存储介质，可以批量生成比对任务，从而提高比对效率，准确地更正数据错误。

本申请实施例提供一种数据比对方法，应用于数据仓库平台，方法包括：将第一迁移数据表和第二迁移数据表同步至数据仓库平台，得到第一同步数据表和第二同步数据表；其中，第二迁移数据表由第一迁移数据表迁移得到，第一迁移数据表和第二迁移数据表存储在不同的数据库中；基于第一同步数据表的信息，从预设比对数据库中获取第一比对配置信息集合；第一比对配置信息集合包括多个字段对应的比对配置信息；基于第一比对配置信息集合，生成第一数据比对任务；基于第一数据比对任务对第一同步数据表和第二同步数据表进行比对，得到第一数据比对结果。

具体地，第一同步数据表的信息包括第一同步数据表中的字段的信息。基于第一同步数据表的信息，从预设比对数据库中获取第一比对配置信息集合，包括：若第一同步数据表中的字段存在于预设比对数据库中，则确定字段为比对字段；基于比对字段，从预设比对数据库中获取第一比对配置信息集合；第一比对配置信息集合包括每个比对字段对应的比对配置信息。

具体地，数据仓库平台为基于Hadoop的Hive平台。

具体地，在基于第一数据比对任务对第一同步数据表和第二同步数据表进行比对，得到第一数据比对结果之后，方法包括：若第一数据比对结果包括比对不一致信息，则重启数据仓库的同步链路；将第一迁移数据表和第二迁移数据表同步至数据仓库平台，得到第三同步数据表和第四同步数据表；基于第三同步数据表的信息，从预设比对数据库中获取第二比对配置信息集合；基于第二比对配置信息集合，生成第二数据比对任务；基于第二数据比对任务，对第三同步数据表和第四同步数据表进行比对，得到第二数据比对结果。

具体地，在基于第二数据比对任务，对第三同步数据表和第四同步数据表进行比对，得到第二数据比对结果之后，方法还包括：若第二数据比对结果包括比对不一致信息，基于第二数据比对结果，生成数据表补丁；发送数据更新请求至第二迁移数据表对应的数据库，数据更新请求包括数据表补丁，数据更新请求用于指示数据库基于数据表补丁更新第二迁移数据表。