[发明专利]分层数据校验方法及其装置、设备、介质在审

专利信息
申请号: 202210399044.0 申请日: 2022-04-15
公开(公告)号: CN114722126A 公开(公告)日: 2022-07-08
发明(设计)人: 林佳铖 申请(专利权)人: 广州方硅信息技术有限公司
主分类号: G06F16/28 分类号: G06F16/28;G06F16/22;G06F16/2455;G06F16/36;G06F11/30
代理公司: 广州利能知识产权代理事务所(普通合伙) 44673 代理人: 王增鑫
地址: 511442 广东省广州*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 分层 数据 校验 方法 及其 装置 设备 介质
【权利要求书】:

1.一种分层数据校验方法,其特征在于,包括如下步骤:

响应由开发端推送的作用于分层数据仓库的数据模型添加指令,获取该指令所对应的数据模型中所包含的多个计算任务,且获取该数据模型所对应的模型数据表的标准表名,所述标准表名中包含数据层级、数据更新频率与数据主题;

对各所述计算任务进行测试运行,确定所述计算任务各自运行所需消耗的计算资源,进而生成表征各计算任务所消耗的计算资源的资源消耗数据,且确定出所述计算任务各自在所述分层数据仓库中所对应的引用数据表;

基于所述模型数据表的标准表名中的数据层级,对各所述引用数据表分别进行上下游溯源,确定所述引用数据表各自在所述分层数据仓库中相关联的上下游数据表,绘制以所述模型数据表为中心节点的数据表映射关系图谱;

根据所述模型数据表与各所述引用数据表的标准表名,分别对所述引用数据表进行层级校验,若某一引用数据表的校验结果表征存在跨层引用或错层引用时,则为该数据模型匹配出优于该引用数据表的推荐数据表,并将该推荐数据表、所述资源消耗数据及数据表映射关系图谱推送至所述开发端中。

2.根据权利要求1所述的方法,其特征在于,所述响应由开发端推送的作用于分层数据仓库的数据模型添加指令的步骤之前,包括如下由开发端执行的步骤:

响应作用于模型数据表的创建指令,获取该创建指令所对应的模型数据表的数据表名;

根据预设的命名规则,对所述数据表名进行命名校验,校验该数据表名中是否包含数据层级、数据更新频率及数据主题;

当所述数据表名通过命名校验时,该数据表名将作为标准表名与所述模型数据表封装为数据模型添加指令推送至服务器。

3.根据权利要求1所述的方法,其特征在于,所述对各所述计算任务进行测试运行,确定所述计算任务各自运行所需消耗的计算资源,进而生成表征各计算任务所消耗的计算资源的资源消耗数据的步骤中,包括如下由服务器执行的步骤:

运行所述计算任务,确定该计算任务完成运行时所占用的内存指标及处理器指标;

将所述内存指标及处理器指标作为所述计算任务的计算资源,以生成包含该计算资源及所述计算任务的任务名称的映射关系数据;

以此类推,生成所有计算任务的映射关系数据,进而生成包含所述映射关系数据的所述资源消耗数据。

4.根据权利要求1所述的方法,其特征在于,所述基于所述数据模型所对应的模型数据表在所述分层数据仓库中的数据层级,对各所述引用数据表分别进行上下游溯源,确定所述引用数据表各自在所述分层数据仓库中相关联的上下游数据表,绘制以所述模型数据表为中心节点的数据表映射关系图谱的步骤中,包括如下由服务器执行的步骤:

获取所述模型数据表的标准表名中包含的数据层级作为第一数据层级,获取当前引用数据表的标准表名中包含的数据层级作为第二数据层级;

当所述第一数据层级超过所述第二数据层级时,则确定出当前引用数据表在所述第一与第二数据层级之间相关联的一个或多个数据表作为当前引用数据表的上游数据表,进而将当前引用数据表作为其上游路径的末端节点,以该末端节点为绘制起点,按照各所述上游数据表各自对应的数据层级,从低到高依次将所述上游数据表绘制为所述上游路径中的节点;

当所述第二数据层级超过所述第一数据层级时,则确定出当前引用数据表在所述第一与第二数据层级之间相关联的一个或多个数据表作为当前引用数据表的下游数据表,进而将当前数据表作为其下游路径的起始节点,以该起始节点为绘制起点,按照各所述下游数据表各自对应的数据层级,从高到低依次将所述下游数据表绘制为所述下游路径中的节点;

以此类推,分别绘制出各所述引用数据表的上游路径或下游路径后,以所述模型数据表为所述路径的中心节点连接各所述上游路径及下游路径,绘制所述数据表映射关系图谱。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州方硅信息技术有限公司,未经广州方硅信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202210399044.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top