[发明专利]数据自动化处理方法、系统、计算机设备及可读存储介质

权利要求书

1.一种数据自动化处理方法，其特征在于，包括：

分别扫描元数据中的每个数据表，提取每个数据表中各字段的字段信息以生成中间过程的数据字典，所述数据字典为修正字段初始属性表；

调整所述数据字典，进行表与表之间的关联以提取重复关系与映射关系；其中，所述调整数据字典，进行表与表之间的关联以提取重复关系与映射关系的步骤包括：根据所述修正字段初始属性表中的表属性字段生成表匹配策略；根据所述修正字段初始属性表中的字段角色字段、元数据及表匹配策略，生成表关联策略；根据所述表关联策略生成关联表，并提取所述关联表中的重复字段以生成重复数据集，提取所述关联表中的映射字段以生成映射数据集；

根据所述重复关系及映射关系构建数据视图，根据所述数据视图中的各字段的翻译信息更新所述数据字典，并对元数据进行异常检测。

2.如权利要求1所述的数据自动化处理方法，其特征在于，所述提取每个数据表中各字段的字段信息以生成中间过程的数据字典的步骤包括：

从元数据中依次提取数据表，通过预设规则确定数据表的表属性、数据表中每列数据的数据类型及数据表中每列数据的角色类型；

根据异常检测算法计算每列数据的评价指标；

通过事先训练的NLP模型，根据预设规则对数据表中的每列数据进行初始分类；

根据基础数据治理标注字典、表属性、数据类型、角色类型、评价指标及初始分类结果，对数据表中的每个字段进行翻译；

获取所有数据表中所有字段，统计并优化每个字段的翻译信息，生成修正字段初始属性表。

3.如权利要求2所述的数据自动化处理方法，其特征在于，所述根据基础数据治理标注字典、表属性、数据类型、角色类型、评价指标及初始分类结果，对数据表中的每个字段进行翻译的步骤包括：

根据基础数据治理标注字典确定不同字段的命名方式、数据类型及数据内容，结合表属性、数据类型、角色类型、评价指标及初始分类结果，对数据表中的每个字段进行翻译处理，若在所述基础数据治理标注字典中查询到对应的翻译结果，则根据翻译结果翻译对应字段，若在所述基础数据治理标注字典中未查询到对应的翻译结果，则保留原字段名；

对无法翻译的字段，调用外部翻译接口以获取翻译结果，并查询翻译结果是否在基础数据治理标注字典中，若存在则根据翻译结果翻译对应字段，若不存在则保留原字段名。

4.如权利要求2所述的数据自动化处理方法，其特征在于，所述通过预设规则确定数据表的表属性、数据表中每列数据的数据类型及数据表中每列数据的角色类型的步骤包括：

通过强制转换内容到特定的数据格式，确定数据表中每列数据的数据类型；

统计数据内容的缺失度及异常度，并将每列数据的去重规模及表规模进行对比，确定数据表中每列数据的角色类型；

根据是否存在主键角色及主键角色的规模，确定数据表的表属性。

5.如权利要求1所述的数据自动化处理方法，其特征在于，所述表属性字段用于记录数据表的表属性，所述表属性包括大型属性表、记录表及小型属性表，所述匹配策略包括：

将大型属性表与大型属性表进行关联；

将记录表与大型属性表进行关联；

将大型属性表与小型属性表进行关联；

将记录表与小型属性表进行关联。

6.如权利要求1所述的数据自动化处理方法，其特征在于，所述根据重复关系及映射关系构建数据视图，根据数据视图中的各字段的翻译信息更新数据字典，并对元数据进行异常检测的步骤包括：

根据所述重复数据集、映射数据集及修正字段初始属性表，生成表关系图；

提取所述表关系图中的最大连接图；

计算所述最大连接图中各个节点的最短连通路径，以生成重复数据链及映射数据链；

统计所述重复数据链及映射数据链中各字段的翻译信息的占比信息，将所述占比信息添加至修正字段初始属性表中以构成带链路信息的字段属性表；

根据所述重复数据链及映射数据链生成数据比对策略，根据所述数据比对策略提取元数据中的重复异常数据及映射异常数据。