[发明专利]数据模型生成方法、装置、电子设备及可读存储介质

说明书

本发明涉及人工智能技术，揭露了一种数据模型生成方法，包括：获取数据标签集合，根据所述数据标签集合对全链路数据集合进行标记，得到标记链路数据集合，根据所述标记链路数据集合中的标记生成全链路血缘关系表，基于所述全链路血缘关系表生成原始数据有向图，将所述原始数据有向图作为原始数据模型，对所述原始数据模型进行链路迭代优化，得到标准数据模型。此外，本发明还涉及区块链技术，所述全链路数据集合可从区块链的节点中获取。本发明还提出一种数据模型生成方法装置、电子设备以及计算机可读存储介质。本发明可以生成一种能够进行准确数据链路定位的数据模型。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种数据模型生成方法、装置、电子设备及计算机可读存储介质。

背景技术

随着业务的发展，数据量呈现爆发式增长，数据血缘查询、数据链路定位也越来越重要。现有技术下，广泛使用数据模型来对数据链路产生的问题进行定位，例如，星型模型、雪花模型，宽表模型等。但是传统数据模型的生成会产生如下问题：指标口径不一致，数据重复建设，烟囱式开发等，导致数据链路定位不准确。因此亟需一种能够高效定位数据链路的数据模型。

发明内容

本发明提供一种数据模型生成方法、装置、电子设备及可读存储介质，其主要目的在于生成一种能够进行准确数据链路定位的数据模型。

为实现上述目的，本发明提供的一种数据模型生成方法，包括：

获取数据标签集合，根据所述数据标签集合对全链路数据集合进行标记，得到标记链路数据集合；

根据所述标记链路数据集合中的标记生成全链路血缘关系表；

基于所述全链路血缘关系表生成原始数据有向图，将所述原始数据有向图作为原始数据模型；

对所述原始数据模型进行链路迭代优化，得到标准数据模型。

可选地，所述根据所述数据标签集合对全链路数据集合进行标记，得到标记链路数据集合，包括：

根据所述数据标签集合中的链路标签对所述全链路数据集合中不同链路的数据进行标记，得到多个链路的标记数据集合；

对所述多个链路的标记数据集合中的数据进行数据应用标记及数据库表标记，汇总所述多个链路所有标记完的数据，得到所述标记链路数据集合。

可选地，所述根据所述标记链路数据集合中的标记生成全链路血缘关系表，包括：

根据预设的遍历语句对所述标记链路数据集合中的标记进行自上而下的遍历操作；

汇总所有遍历到的标记对应的数据，并按照自上而下的顺序进行排列，得到所述全链路血缘关系表。

可选地，所述基于所述全链路血缘关系表生成原始数据有向图，包括：

提取所述全链路血缘关系表中的所有表类数据，并将每个表类数据作为顶点，得到顶点集合；

按照自下而上的顺序反向连接所述顶点集合中的顶点，得到所述原始数据有向图。

可选地，所述对所述原始数据模型进行链路迭代优化，得到标准数据模型，包括：

确定所述原始数据模型中预设主题的链路为目标链路；

确定所述目标链路中使用次数最多的库表为次终点；

根据所述原始数据模型中的起点、终点及所述次终点对所述原始数据模型进行迭代优化，得到所述标准数据模型。

可选地，所述根据所述原始数据模型中的起点、终点及所述次终点对所述原始数据模型进行迭代优化，得到所述标准数据模型，包括：