[发明专利]分层数据校验方法及其装置、设备、介质在审
| 申请号: | 202210399044.0 | 申请日: | 2022-04-15 |
| 公开(公告)号: | CN114722126A | 公开(公告)日: | 2022-07-08 |
| 发明(设计)人: | 林佳铖 | 申请(专利权)人: | 广州方硅信息技术有限公司 |
| 主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/22;G06F16/2455;G06F16/36;G06F11/30 |
| 代理公司: | 广州利能知识产权代理事务所(普通合伙) 44673 | 代理人: | 王增鑫 |
| 地址: | 511442 广东省广州*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 分层 数据 校验 方法 及其 装置 设备 介质 | ||
1.一种分层数据校验方法,其特征在于,包括如下步骤:
响应由开发端推送的作用于分层数据仓库的数据模型添加指令,获取该指令所对应的数据模型中所包含的多个计算任务,且获取该数据模型所对应的模型数据表的标准表名,所述标准表名中包含数据层级、数据更新频率与数据主题;
对各所述计算任务进行测试运行,确定所述计算任务各自运行所需消耗的计算资源,进而生成表征各计算任务所消耗的计算资源的资源消耗数据,且确定出所述计算任务各自在所述分层数据仓库中所对应的引用数据表;
基于所述模型数据表的标准表名中的数据层级,对各所述引用数据表分别进行上下游溯源,确定所述引用数据表各自在所述分层数据仓库中相关联的上下游数据表,绘制以所述模型数据表为中心节点的数据表映射关系图谱;
根据所述模型数据表与各所述引用数据表的标准表名,分别对所述引用数据表进行层级校验,若某一引用数据表的校验结果表征存在跨层引用或错层引用时,则为该数据模型匹配出优于该引用数据表的推荐数据表,并将该推荐数据表、所述资源消耗数据及数据表映射关系图谱推送至所述开发端中。
2.根据权利要求1所述的方法,其特征在于,所述响应由开发端推送的作用于分层数据仓库的数据模型添加指令的步骤之前,包括如下由开发端执行的步骤:
响应作用于模型数据表的创建指令,获取该创建指令所对应的模型数据表的数据表名;
根据预设的命名规则,对所述数据表名进行命名校验,校验该数据表名中是否包含数据层级、数据更新频率及数据主题;
当所述数据表名通过命名校验时,该数据表名将作为标准表名与所述模型数据表封装为数据模型添加指令推送至服务器。
3.根据权利要求1所述的方法,其特征在于,所述对各所述计算任务进行测试运行,确定所述计算任务各自运行所需消耗的计算资源,进而生成表征各计算任务所消耗的计算资源的资源消耗数据的步骤中,包括如下由服务器执行的步骤:
运行所述计算任务,确定该计算任务完成运行时所占用的内存指标及处理器指标;
将所述内存指标及处理器指标作为所述计算任务的计算资源,以生成包含该计算资源及所述计算任务的任务名称的映射关系数据;
以此类推,生成所有计算任务的映射关系数据,进而生成包含所述映射关系数据的所述资源消耗数据。
4.根据权利要求1所述的方法,其特征在于,所述基于所述数据模型所对应的模型数据表在所述分层数据仓库中的数据层级,对各所述引用数据表分别进行上下游溯源,确定所述引用数据表各自在所述分层数据仓库中相关联的上下游数据表,绘制以所述模型数据表为中心节点的数据表映射关系图谱的步骤中,包括如下由服务器执行的步骤:
获取所述模型数据表的标准表名中包含的数据层级作为第一数据层级,获取当前引用数据表的标准表名中包含的数据层级作为第二数据层级;
当所述第一数据层级超过所述第二数据层级时,则确定出当前引用数据表在所述第一与第二数据层级之间相关联的一个或多个数据表作为当前引用数据表的上游数据表,进而将当前引用数据表作为其上游路径的末端节点,以该末端节点为绘制起点,按照各所述上游数据表各自对应的数据层级,从低到高依次将所述上游数据表绘制为所述上游路径中的节点;
当所述第二数据层级超过所述第一数据层级时,则确定出当前引用数据表在所述第一与第二数据层级之间相关联的一个或多个数据表作为当前引用数据表的下游数据表,进而将当前数据表作为其下游路径的起始节点,以该起始节点为绘制起点,按照各所述下游数据表各自对应的数据层级,从高到低依次将所述下游数据表绘制为所述下游路径中的节点;
以此类推,分别绘制出各所述引用数据表的上游路径或下游路径后,以所述模型数据表为所述路径的中心节点连接各所述上游路径及下游路径,绘制所述数据表映射关系图谱。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州方硅信息技术有限公司,未经广州方硅信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210399044.0/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





