[发明专利]一种应用于领域数据治理的人工智能平台

说明书

本专利涉及计算机领域。应用于领域数据治理的人工智能平台，包括数据采集模块，用于从用户端获取原始的输入数据；数据治理模块，用于根据数据标准和治理规范对原始的输入数据进行治理，生成治理结果；数据标准模块，用于存储数据标准和治理规范。数据标准包括数据格式、编码规则、字典值等内容。良好的数据标准有助于数据的共享、交互和应用，可以减少不同系统间数据转换的工作。

技术领域

本发明涉及计算机领域，尤其涉及数据处理平台。

背景技术

随着大数据相关技术的不断成熟，数据作为一种资产，得到了越来越多企业机构的重视，为了能够有效的利用数据资产，数据治理成了企业重点关注的问题。通过对企业数据进行治理，可以提高企业数据的一致性以及准确性，从而提高企业数据的质量，有利于企业决策层做出业务决策。

发明内容

本发明的目的在于提供一种应用于领域数据治理的人工智能平台，以提高企业数据的一致性以及准确性。

本发明所解决的技术问题可以采用以下技术方案来实现：

应用于领域数据治理的人工智能平台，其特征在于，包括数据采集模块，用于从用户端获取原始的输入数据；数据治理模块，用于根据数据标准和治理规范对原始的输入数据进行治理，生成治理结果；数据标准模块，用于存储数据标准和治理规范。

在数据治理的过程中，发现挖掘数据之间的关系尤为重要。对于同一个数据源的数据库，根据当初的设计文档、E-R图、外键等来判断数据库表之间的关系。对于不同数据源的数据库，借助算法，使用“相似度”来辅助数据治理人员进行数据之间关系的判断。相似度判断有多个维度，每个维度可以根据实际情况赋予一定的权值。通常的维度有元数据本身的相似度，例如元数据名称、数据类型、数据长度等；另外就是元数据所代表的实际数据的相似度的判断；还有就是数据源本身关联关系的维度；通过相似度的计算，可以全局判断不同数据之间的数据关系，从而可以协助数据梳理人员快速判断元数据之间关联关系。

数据标准包括数据格式、编码规则、字典值等内容。良好的数据标准有助于数据的共享、交互和应用，可以减少不同系统间数据转换的工作。

治理规范包括数据模型。数据模型是数据治理中的重要部分，合适、合理、合规的数据模型，能够有效提高数据的合理分布和使用，是数据治理的关键、重点。数据模型包含三个部分，数据结构、数据操作、数据约束。数据结构主要用来描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础，数据操作和数据约束都基本是建立在数据结构的之上的。不同的数据结构有不同的操作和约束。数据操作。数据模型中的数据操作主要用来描述在相应的数据结构上的操作类型和操作方式。数据约束。数据模型中的数据约束主要用来描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。

治理规范还包括元数据管理。元数据分为业务元数据、技术元数据和操作元数据。业务元数据指导技术元数据，技术元数据以业务元数据为参考进行设计，操作元数据为两者的管理提供支撑。业务元数据，用于辅助定位、理解及访问信息。业务元数据的范围主要包括：业务指标、业务规则、数据质量规则、专业术语、数据标准、概念数据模型、实体/属性、逻辑数据模型等。技术元数据分成结构性技术元数据和关联性技术元数据。结构性技术元数据提供了在信息技术的基础架构中对数据的说明，如数据的存放位置、数据的存储类型、数据的血缘关系等。关联性技术元数据描述了数据之间的关联和数据在信息技术环境之中的流转情况。技术元数据的范围主要包括：技术规则(计算/统计/转换/汇总)、数据质量规则技术描述、字段、衍生字段、事实/维度、统计指标、表/视图/文件/接口、报表/多维分析、数据库/视图组/文件组/接口组、源代码/程序、系统、软件、硬件等。技术元数据一般以已有的业务元数据作为参考设计的。操作元数据指与元数据管理相关的组织、岗位、职责、流程，以及系统日常运行产生的操作数据。操作元数据管理的内容主要包括：与元数据管理相关的组织、岗位、职责、流程、项目、版本，以及系统生产运行中的操作记录，如运行记录、应用程序、运行作业。