[发明专利]数据自动化处理方法、系统、计算机设备及可读存储介质

说明书

本发明公开了一种数据自动化处理方法，包括：分别扫描元数据中的每个数据表，提取每个数据表中各字段的字段信息以生成中间过程的数据字典；调整所述数据字典，进行表与表之间的关联以提取重复关系与映射关系；根据所述重复关系及映射关系构建数据视图，根据所述数据视图中的各字段的翻译信息更新所述数据字典，并对元数据进行异常检测。本发明还公开了一种数据自动化处理系统、计算机设备及计算机可读存储介质。采用本发明，实现了数据自动化处理，通过对数据进行有效梳理，做到真正做到标准的统一管理与有效执行。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据自动化处理方法、数据自动化处理系统、计算机设备及计算机可读存储介质。

背景技术

随着互联网技术与大数据技术不断的成熟与发展，校园信息共享在当今时代的地位越来越高大。在时代发展的背景之中，提升数据质量尤为重要，数据处理能力的提升与数据价值的挖掘是时代提出的要求，标准需要逐步提高。同时，数据共享的实际水平也关系到数据处理的能力，数据共享水平的提升程度涉及的安全隐私问题正逐渐暴露出来。

然而，目前数据治理前期阶段中，各类数据的数据字典的标准化映射，大多通过国家/行业标准，通过人工方式让元数据一一对应到对应的标准字典上，实现元数据到标准数据之间的转换，当中的人力消耗非常大，而且出错率较高。另一方面，各个实现均是基于对原有数据字典、表名、字段名等信息完成数据标准化转换，当中犯错率较高。

因此，针对标准不统一、数据多源易异构、厂家字典缺失、数据处理需要花费过高的人力和时间问题，需设计一种数据自动化处理方法，以对数据项进行梳理，真正做到标准的统一管理与有效执行。

发明内容

本发明所要解决的技术问题在于，提供一种数据自动化处理方法、数据自动化处理系统、计算机设备及计算机可读存储介质，可实现数据自动化处理，做到真正做到标准的统一管理与有效执行。

为了解决上述技术问题，本发明提供了一种数据自动化处理方法，包括：分别扫描元数据中的每个数据表，提取每个数据表中各字段的字段信息以生成中间过程的数据字典；调整所述数据字典，进行表与表之间的关联以提取重复关系与映射关系；根据所述重复关系及映射关系构建数据视图，根据所述数据视图中的各字段的翻译信息更新所述数据字典，并对元数据进行异常检测。

作为上述方案的改进，所述提取每个数据表中各字段的字段信息以生成中间过程的数据字典的步骤包括：从元数据中依次提取数据表，通过预设规则确定数据表的表属性、数据表中每列数据的数据类型及数据表中每列数据的角色类型；根据异常检测算法计算每列数据的评价指标；通过事先训练的NLP模型，根据预设规则对数据表中的每列数据进行初始分类；根据基础数据治理标注字典、表属性、数据类型、角色类型、评价指标及初始分类结果，对数据表中的每个字段进行翻译；获取所有数据表中所有字段，统计并优化每个字段的翻译信息，生成修正字段初始属性表。

作为上述方案的改进，所述根据基础数据治理标注字典、表属性、数据类型、角色类型、评价指标及初始分类结果，对数据表中的每个字段进行翻译的步骤包括：根据基础数据治理标注字典确定不同字段的命名方式、数据类型及数据内容，结合表属性、数据类型、角色类型、评价指标及初始分类结果，对数据表中的每个字段进行翻译处理，若在所述基础数据治理标注字典中查询到对应的翻译结果，则根据翻译结果翻译对应字段，若在所述基础数据治理标注字典中未查询到对应的翻译结果，则保留原字段名；对无法翻译的字段，调用外部翻译接口以获取翻译结果，并查询翻译结果是否在基础数据治理标注字典中，若存在则根据翻译结果翻译对应字段，若不存在则保留原字段名。

作为上述方案的改进，所述通过预设规则确定数据表的表属性、数据表中每列数据的数据类型及数据表中每列数据的角色类型的步骤包括：通过强制转换内容到特定的数据格式，确定数据表中每列数据的数据类型；统计数据内容的缺失度及异常度，并将每列数据的去重规模及表规模进行对比，确定数据表中每列数据的角色类型；根据是否存在主键角色及主键角色的规模，确定数据表的表属性。