[发明专利]一种数据校验方法、装置及电子设备

说明书

本申请公开了一种数据校验的方法、装置及电子设备，以及一种数据迁移系统。其中所述数据校验的方法包括：读取数据校验任务的配置文件，获取数据校验任务的配置参数；所述配置参数包括源表信息、目标表信息及数据对比逻辑；根据所述源表信息和所述目标表信息，获取待校验的原始数据和目标数据；针对各个具有相同数据标识的所述原始数据和所述目标数据构成的数据对，根据所述数据对比逻辑对所述数据对进行数据校验。采用本申请提供的方法，将数据校验任务的表达抽取成配置文件，在通用的数据校验程序中，通过读取配置文件获取数据校验任务的各种信息，进而对数据迁移前后的数据进行校验，从而达到复用数据校验程序的效果。

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据校验方法、装置及电子设备，以及一种数据迁移系统。

背景技术

在业务系统的底层数据模型发生变化后，需要兼容老业务数据，因而需要将老数据模型中的数据迁移到新模型中，该处理过程被称为数据迁移。由于新老数据模型在结构上会有较大的差异，因此，数据迁移过程中需要将老模型中的字段转换成对应的新模型字段。由于该转换过程不仅是简单的一一对应，往往存在复杂的逻辑，因而可能导致老业务数据迁移后系统不能正常兼容，从而影响业务系统的运行。为了保证业务系统的正常运行，在数据迁移完成后，需要对迁移后的数据进行校验。数据迁移后的校验是对迁移质量的检查，同时数据校验的结果也是判断新系统能否正式启用的重要依据。

数据迁移后的校验工作可采用两种方式进行：人工验证或脚本验证。相对于脚本验证而言，人工验证耗费的人力资源较多，并且问题修复之后还需要进行重复测试，可见，人工验证方法存在验证效率低且稳定性差的问题。脚本验证的优点为：可以重复执行，避免重新迁移后测试人员的重复劳动，能够增加测试用例的覆盖范围，可以对所有数据进行全量校验，很好的补充了手工测试时业务场景缺失的问题。因此，数据迁移后的校验工作通常采用脚本验证的方法进行实施。

目前，脚本验证方法采用定制的校验程序，即：为特定的数据迁移任务开发特定的校验程序。在定制的校验程序中，需要写入与特定数据迁移任务相关的业务代码，包括一整套的数据库查询代码、对比逻辑代码及调度代码，例如，源表信息、目标表信息、遍历条件、字段迁移逻辑等。其中，源表信息用来描述待迁移的源数据表；目标表信息用来描述迁移后的目标数据表；遍历条件用于指定程序校验的数据范围、及校验数据的先后顺序；字段迁移逻辑，指定源表中字段和目标表字段的对应关系。

通过分析可知，定制的校验程序仅对特定数据迁移任务有效，而无法被所有数据迁移任务共用，因此，需要为每一个数据迁移任务分别编写对应的数据校验程序。开发人员为了减少开发成本，通常只是做到刚好能完成本次数据迁移任务的测试场景，很难做到完善、健壮的产品级别数据校验代码。这种校验程序可能本身存在问题，甚至会影响到校验结果。

综上所述，现有技术存在数据校验程序无法被复用的问题。

发明内容

本申请提供一种数据校验的方法、装置及电子设备，用于数据迁移系统，以解决现有技术存在数据校验程序无法被复用的问题。本申请另外提供一种数据迁移系统。

本申请提供一种数据校验方法，用于数据迁移系统，包括：

读取数据校验任务的配置文件，获取数据校验任务的配置参数；所述配置参数包括源表信息、目标表信息及数据对比逻辑；

根据所述源表信息和所述目标表信息，获取待校验的原始数据和目标数据；

针对各个具有相同数据标识的所述原始数据和所述目标数据构成的数据对，根据所述数据对比逻辑对所述数据对进行数据校验；

其中，所述源表信息包括存储所述原始数据的源数据表的名称、所述源数据表所属源数据库的名称和所述原始数据的数据标识的名称；所述目标表信息包括存储所述目标数据的目标数据表的名称、所述目标数据表所属目标数据库的名称、及与所述原始数据的数据标识的名称相对应的所述目标数据的数据标识的名称。