[发明专利]数据校验方法及系统

说明书

本发明提供一种数据校验方法及系统，包括：获取参考配置数据，确定历史配置数据中是否存在所述参考配置数据；确定所述参考配置数据中与预设执行策略对应的第一字段集，并查询所述历史配置数据中与所述预设执行策略对应的第二字段集；根据所述历史配置数据的存储结构，对所述第一字段集和所述第二字段集中属于相同类存储结构的部分字段使用不同校验规则进行比对，获得所述历史配置数据的校验结果。本发明用于各类数据平台中历史配置数据的校验和存在错误的历史配置数据的定位。

技术领域

本发明涉及数据处理技术领域，具体地涉及一种数据校验方法、一种用于校验脚本的存储方法、一种数据校验系统、一种数据校验设备和一种计算机可读存储介质。

背景技术

目前，实现不同实体的数据平台之间各类处理业务数据交互，需要预先对实体的数据平台进行配置数据录入；具体地，通常会针对不同城市、不同实体的数据平台(例如银行的数据平台和需求金融信息的数据平台)、不同待办事项以及不同字段，进行历史配置数据的录入；出于对信息安全等因素的考虑，不得不人为录入历史配置数据，一旦录入错误或者历史配置数据过期，均会导致数据平台运作后期存在各类线上问题及报错，大部分报错均是历史配置数据错误导致，因此，为了解决历史配置数据存在录入错误的问题，本发明提供错误历史配置数据的校验方案。

发明内容

本发明的目的是提供一种数据校验方法及系统，旨在解决现有技术无差别地对所有参考字段进行统一比对校验，例如配置文件的哈希码校验，而导致校验脚本难以定位历史配置数据中存在错误的配置等技术问题。

为了实现上述目的，本发明实施例提供一种数据校验方法，该数据校验方法包括：

获取参考配置数据，确定历史配置数据中是否存在所述参考配置数据；

确定所述参考配置数据中与预设执行策略对应的第一字段集，并查询所述历史配置数据中与所述预设执行策略对应的第二字段集；

根据所述历史配置数据的存储结构，对所述第一字段集和所述第二字段集中属于相同类存储结构的部分字段使用不同校验规则进行比对，获得所述历史配置数据的校验结果。

具体的，获取参考配置数据，具体为：

按不同处理业务数据定义事项字段类和属于所述事项字段类的字段子集；

选择所述字段子集中部分字段为关键字段，并确定所述关键字段的字典值；

将所述事项字段类、所述字段子集和所述字典值作为参考配置数据。

具体的，确定历史配置数据中存在所述参考配置数据，具体为：

定义第一校验规则，其中，所述第一校验规则包括：字符串采样比对规则或字符串一致性校验规则；

利用所述第一校验规则确定历史配置数据中存在所述参考配置数据。

具体的，查询所述历史配置数据中与所述预设执行策略对应的第二字段集，包括：

根据所述第一字段集的字段类和字段，结合所述预设执行策略的类型，定义具有回调函数的查询请求，其中，所述回调函数被配置为将响应的字段类和字段通过数组组装；

通过所述查询请求，获得所述历史配置数据中与所述预设执行策略对应的第二字段集，其中，所述预设执行策略包括推送执行策略。

具体的，对所述第一字段集和所述第二字段集中属于相同类存储结构的部分字段使用不同校验规则进行比对，获得所述历史配置数据的校验结果，包括：

判定所述第一字段集和所述第二字段集中部分字段属于关键字类存储结构，利用字符串一致性校验规则和字符串跳过校验规则对所述第一字段集和所述第二字段集中属于所述关键字类存储结构的部分字段执行比对操作，获得关键字类校验结果，其中，