[发明专利]一种数据治理节点的校验方法、装置、设备及介质

说明书

本发明实施例公开了一种数据治理节点的校验方法、装置、设备及介质。其中，该方法包括：在数据治理节点上线运行时，确定数据治理节点的节点更新时间和治理数据表的数据表更新时间；若所述节点更新时间和所述数据表更新时间中存在至少一个大于数据治理节点的预存校验时间，则基于数据治理节点的配置内容生成内容摘要，并记录内容摘要生成时间；若所生成的内容摘要与预存内容摘要的信息一致，则确定所述数据治理节点校验通过。本技术方案，能够提升数据治理节点的校验速度，节省系统算力。

技术领域

本发明涉及数据校验技术领域，尤其涉及一种数据治理节点的校验方法、装置、设备及介质。

背景技术

随着互联网技术的迅速发展，通过互联网进行数据交互已经成为了一个普遍的业务需要。其中，数据治理是数据管理以及数据应用过程中较为关键的环节。通过数据治理可以将杂乱、质量较差或语义不清的数据信息转换为满足需求的数据形式，提升数据的价值，便于计算系统的使用。

然而，在当前业务应用场景中，一个数据治理流程中往往包含多个治理节点，当流程运行、上线前均需要对每个节点内容的合法性进行校验，而每个节点的校验逻辑有所不同，且部分节点(如导入导出任务)还涉及到第三方数据源的校验，导致加大系统压力和操作等待耗时较长。

因此，如何提升数据治理节点的校验速度，是本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种数据治理节点的校验方法、装置、设备及介质，能够提升数据治理节点的校验速度，节省系统算力。

根据本发明的一方面，提供了一种数据治理节点的校验方法，所述方法包括：

在数据治理节点上线运行时，确定数据治理节点的节点更新时间和治理数据表的数据表更新时间；

若所述节点更新时间和所述数据表更新时间中存在至少一个大于数据治理节点的预存校验时间，则基于数据治理节点的配置内容生成内容摘要，并记录内容摘要生成时间；

若所生成的内容摘要与预存内容摘要的信息一致，则确定所述数据治理节点校验通过。

可选的，在确定数据治理节点的节点更新时间和治理数据表的数据表更新时间之前，所述方法还包括：

若检测到数据治理节点合法性校验完成，则将所述数据治理节点的配置内容采用预设格式生成预存内容摘要，并记录预存校验时间。

可选的，在将所述数据治理节点的配置内容采用预设格式生成预存内容摘要之后，所述方法还包括：

若检测到数据治理节点的配置内容更新操作，则基于更新后的配置内容采用预设格式进行处理，以对预存内容摘要进行更新，并基于更新操作的发生时间对预存校验时间进行更新。

可选的，所述预设格式为对数据治理节点的配置内容采用SHA-256算法计算哈希值。

可选的，所述方法还包括：

若所生成的内容摘要与预存内容摘要的信息不一致，则基于所述数据治理节点的配置内容和治理数据表的内容进行逻辑校验；

校验通过后，则基于校验后的配置内容生成内容摘要，以对预存内容摘要进行更新，并基于更新操作的发生时间对预存校验时间进行更新。

可选的，基于所述数据治理节点的配置内容和治理数据表的内容进行逻辑校验，包括：

基于所述数据治理节点的配置内容和治理数据表的内容，对数据表源节点和目标节点的连通性、字段内容完整性、字段类型对应性、字段映射匹配性以及SQL条件合法性中的至少一种进行逻辑校验。

根据本发明的另一方面，提供了一种数据治理节点的校验装置，包括：