[发明专利]分层数据校验方法及其装置、设备、介质

说明书

本申请公开一种分层数据校验方法及其装置、设备、介质，所述方法包括：响应由开发端推送的作用于分层数据仓库的数据模型添加指令，获取新数据模型中所包含的多个计算任务，且获取模型数据表的标准表名；对各计算任务进行测试运行，生成表征计算任务所消耗的计算资源的资源消耗数据，且确定出所述计算任务各自的引用数据表；基于模型数据表的标准表名的数据层级，对各引用数据表进行上下游溯源，绘制数据表映射关系图谱；根据模型数据表与各引用数据表的标准表名，对所述引用数据表进行层级校验，且为该数据模型匹配出优于跨层或错层引用的引用数据表的推荐数据表。本申请有效管理升分层数据仓库中数据表的质量，且提升仓库中数据模型的计算效率。

技术领域

本申请涉及数据库管理领域，尤其涉及一种分层数据校验方法，此外还涉及该方法相应的装置、设备以及非易失性存储介质。

背景技术

现有的互联网平台会应用分层数据仓库分层存储平台中的数据及数据表，例如，互联网直播平台会将平台中的直播间、主播用户及观众用户的数据通常会被汇总为应用于相关直播在线服务所需的数据表，且分层数据仓库中数据表也引用仓库中存储的数据表，通过开发相应的数据模型以为其所关联的数据表从相应的数据源中获取数据，进而其他数据表中获取汇总数据创建新的数据表以应用于平台新部署的在线服务。

但现有的分层数据仓库中数据表引用仓库中其他数据源时，往往存在错层引用或跨层引用的情况，数据模型从其错层或跨层引用的数据表中获取数据时将浪费过多的计算资源。

且平台的开发人员在查询其所开发的数据模型是否存在跨层或错层引用时，往往仅能通过检查数据模型的各计算任务中繁杂的代码来确定，效率过低，无法有效地管理分层数据仓库，且开发人员在开发数据模型时也仅能通过人工查询分层数据仓库中是否有适于引用的数据源，开发效率也十分底下。

鉴于现有的分层数据仓库中所存在的问题，本申请人出于解决该问题的考虑做出相应的探索。

发明内容

本申请的目的在于满足用户需求而提供一种分层数据校验方法，此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。

为实现本申请的目的，采用如下技术方案：

适应本申请的目的而提出的一种分层数据校验方法，包括如下步骤：

响应由开发端推送的作用于分层数据仓库的数据模型添加指令，获取该指令所对应的数据模型中所包含的多个计算任务，且获取该数据模型所对应的模型数据表的标准表名，所述标准表名中包含数据层级、数据更新频率与数据主题；

对各所述计算任务进行测试运行，确定所述计算任务各自运行所需消耗的计算资源，进而生成表征各计算任务所消耗的计算资源的资源消耗数据，且确定出所述计算任务各自在所述分层数据仓库中所对应的引用数据表；

基于所述模型数据表的标准表名中的数据层级，对各所述引用数据表分别进行上下游溯源，确定所述引用数据表各自在所述分层数据仓库中相关联的上下游数据表，绘制以所述模型数据表为中心节点的数据表映射关系图谱；

根据所述模型数据表与各所述引用数据表的标准表名，分别对所述引用数据表进行层级校验，若某一引用数据表的校验结果表征存在跨层引用或错层引用时，则为该数据模型匹配出优于该引用数据表的推荐数据表，并将该推荐数据表、所述资源消耗数据及数据表映射关系图谱推送至所述开发端中。

进一步的实施例中，所述响应由开发端推送的作用于分层数据仓库的数据模型添加指令的步骤之前，包括如下由开发端执行的步骤：

响应作用于模型数据表的创建指令，获取该创建指令所对应的模型数据表的数据表名；

根据预设的命名规则，对所述数据表名进行命名校验，校验该数据表名中是否包含数据层级、数据更新频率及数据主题；