[发明专利]构建数据建模关联的方法、装置、电子设备及存储介质

说明书

本公开关于一种构建数据建模关联的方法、装置、电子设备及存储介质，该方法包括：扫描目标系统所包含的多个数据库中的多个表文件，以获得多个表文件各自对应的库表数据，库表数据至少包括业务数据，然后根据每个表文件的业务数据，获取每个表文件的表数据以及表数据所包含的多个字段数据，对多个字段进行处理，建立多个表文件之间的关联关系。本公开在相关文档、日志、规范等信息都有缺失或不完善时，根据目标系统中的所有数据库所包含的表文件，得到每个表文件的库表数据，然后，直接对库表数据进行处理，得到任意两个字段数据对应的字段向量之间的距离，即可建立表文件之间的关联关系，从而能快速帮助数据盘点理解。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种构建数据建模关联的方法、装置、电子设备及存储介质。

背景技术

对于数据盘点，一般采取人工记录或数据目录记录系统方式去进行数据盘点信息登记，但数据多、业务复杂且数据在持续变化中，这让数据盘点工作难以招架，亟需提升业务大数据盘点理解的动态能力。

相关技术中，业务数据的元数据构建方案，都是建立在有规范文档、数据库遵循范式、数据库日志、功能系统日志上。而在数据中心建设初期，数据盘点相关信息元素大多会有一定问题，甚至缺失的情况，例如：系统数据库设计范式遵循不完备，库表(表文件)内关联缺失，由于性能原因数据库查询日志时长并未打开，库表间关联缺失，业务系统日志并未合理记录数据与功能的关联，数据与功能关联缺失，从而导致数据盘点困难。

发明内容

本公开提供一种构建数据建模关联的方法、装置、电子设备及存储介质，以至少解决相关技术中由于数据关联缺失而造成的数据盘点困难的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种构建数据建模关联的方法，包括：

扫描目标系统所包含的多个数据库中的多个表文件，以获得多个表文件各自对应的库表数据，所述库表数据至少包括业务数据；

根据每个表文件的业务数据，获取每个表文件的表数据以及所述表数据所包含的多个字段数据；

对多个字段数据进行向量化，得到多个字段数据各自对应的字段向量；

根据多个字段数据各自对应的字段向量，得到任意两个字段数据对应的字段向量之间的距离；

根据多个字段数据中任意两个字段数据对应的字段向量之间的距离以及每个表文件的表数据所包含的多个字段数据，建立多个表文件之间的关联关系。

可选地，所述库表数据还包括建表描述，每个表文件的建表描述包括该表文件的表结构和该表文件所包含的每个字段数据的字段类型；

在对多个字段数据进行向量化，得到多个字段数据各自对应的字段向量之前，所述方法还包括：

根据每个表文件所包含的每个字段数据的字段类型，从多个字段数据中得到目标字段数据，所述目标字段数据至少包括关系类型的字段数据；

对多个字段数据进行向量化，得到多个字段数据各自对应的字段向量，包括：

对所述目标字段数据中的多个关系类型的字段数据进行向量化，得到多个字段数据各自对应的字段向量。

可选地，根据多个字段数据中任意两个字段数据对应的字段向量之间的距离以及每个表文件的表数据所包含的多个字段数据，建立多个表文件之间的关联关系，包括：

根据多个字段数据中任意两个字段数据对应的字段向量之间的距离，建立多个字段数据之间的关联关系，以得到字段知识图谱，所述字段知识图谱包括多个关联关系组团，每个关联关系组团由多个建立关联关系的字段数据组成；

根据所述字段知识图谱和每个表文件的表数据所包含的多个字段数据，建立多个表文件之间的关联关系，以得到表文件知识图谱。