[发明专利]数据模型生成方法、装置、电子设备及可读存储介质

权利要求书

1.一种数据模型生成方法，其特征在于，所述方法包括：

获取数据标签集合，根据所述数据标签集合对全链路数据集合进行标记，得到标记链路数据集合；

根据所述标记链路数据集合中的标记生成全链路血缘关系表；

基于所述全链路血缘关系表生成原始数据有向图，将所述原始数据有向图作为原始数据模型；

对所述原始数据模型进行链路迭代优化，得到标准数据模型。

2.如权利要求1所述的数据模型生成方法，其特征在于，所述根据所述数据标签集合对全链路数据集合进行标记，得到标记链路数据集合，包括：

根据所述数据标签集合中的链路标签对所述全链路数据集合中不同链路的数据进行标记，得到多个链路的标记数据集合；

对所述多个链路的标记数据集合中的数据进行数据应用标记及数据库表标记，汇总所述多个链路所有标记完的数据，得到所述标记链路数据集合。

3.如权利要求2中所述的数据模型生成方法，其特征在于，所述根据所述标记链路数据集合中的标记生成全链路血缘关系表，包括：

根据预设的遍历语句对所述标记链路数据集合中的标记进行自上而下的遍历操作；

汇总所有遍历到的标记对应的数据，并按照自上而下的顺序进行排列，得到所述全链路血缘关系表。

4.如权利要求1所述的数据模型生成方法，其特征在于，所述基于所述全链路血缘关系表生成原始数据有向图，包括：

提取所述全链路血缘关系表中的所有表类数据，并将每个表类数据作为顶点，得到顶点集合；

按照自下而上的顺序反向连接所述顶点集合中的顶点，得到所述原始数据有向图。

5.如权利要求1所述的数据模型生成方法，其特征在于，所述对所述原始数据模型进行链路迭代优化，得到标准数据模型，包括：

确定所述原始数据模型中预设主题的链路为目标链路；

确定所述目标链路中使用次数最多的库表为次终点；

根据所述原始数据模型中的起点、终点及所述次终点对所述原始数据模型进行迭代优化，得到所述标准数据模型。

6.如权利要求5所述的数据模型生成方法，其特征在于，所述根据所述原始数据模型中的起点、终点及所述次终点对所述原始数据模型进行迭代优化，得到所述标准数据模型，包括：

汇总起点到所述次终点中的所有顶点的数据，得到第一局部数据集合，以及汇总次终点到所述终点中的所有顶点的数据，得到第二局部数据集合；

根据所述第一局部数据集合生成第一局部血缘关系表，以及根据所述第二局部数据集合生成第二局部血缘关系表；

根据所述第一局部血缘关系表及所述第二局部血缘关系表生成第一局部有向图及第二局部有向图，并分别确定所述第一局部有向图及第二局部有向图中的次终点；

根据所述第一局部有向图及第二局部有向图中的次终点分别对所述第一局部有向图及第二局部有向图进行链路迭代优化，直至所述目标链路的层级收敛，得到所述标准数据模型。

7.如权利要求1所述的数据模型生成方法，其特征在于，所述根据所述数据标签集合对全链路数据集合进行标记之前，所述方法还包括：

利用双边测试剔除方法对所述全链路数据集合中的数据进行异常值剔除，得到去异常数据集合；

利用预设的缺失值检测函数对所述去异常数据集合中的数据进行缺失值检测，并接收填充数据对缺失值进行填充，得到数据清洗后的所述全链路数据集合。

8.一种数据模型生成装置，其特征在于，所述装置包括：

数据标记模块，用于获取数据标签集合，根据所述数据标签集合对全链路数据集合进行标记，得到标记链路数据集合；

血缘关系表生成模块，用于根据所述标记链路数据集合中的标记生成全链路血缘关系表；

原始模型生成模块，用于基于所述全链路血缘关系表生成原始数据有向图，将所述原始数据有向图作为原始数据模型；

标准模型生成模块，用于对所述原始数据模型进行链路迭代优化，得到标准数据模型。