[发明专利]一种元数据更新方法、装置、系统、电子设备及存储介质

说明书

本发明公开了一种元数据更新方法、装置、系统、电子设备及存储介质，所述元数据更新方法应用于安装有元数据管理系统的第一电子设备包括：接收生产系统发送元数据变更信息，其中所述元数据变更信息包括变更类型及变更后的第一元数据的信息，所述变更类型及变更后的第一元数据的信息为生产系统通过桥接的方式获取到的；根据所述变更类型及变更后的第一元数据的信息，对自身保存的对应第一元数据进行更新。在本发明实施例中通过桥接的方式获取变更后的第一元数据的信息，元数据管理系统中对变更后的元数据进行更新所需的时间大大缩短，也无需人工参与，因此提高了元数据更新的时效性和效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种元数据更新方法、装置、系统、电子设备及存储介质。

背景技术

元数据是关于数据的数据，即对数据的描述信息。IT(Internet Technology，互联网技术)系统作为实际生产系统，在IT系统中，保存有不同的元数据，根据其属性的不同，元数据可分为技术元数据和业务元数据。其中，技术元数据偏重数据结构和数据处理细节方面的技术化描述，主要包括源系统接口规范、数据仓库中模型、表、视图、字段等结构信息的描述、数据集市定义描述以及数据处理过程的描述等信息；业务元数据是对数据处理规则和业务含义的描述，主要包括业务规则、业务术语、指标业务口径、信息分类等。

在大数据时代的背景下，数据即资产，元数据管理实现了信息的描述和分类的格式化，它帮助企业更好地对数据资产进行管理，理清数据之间的关系。在以大规模并行处理(MPP)、高性能一体机等技术为基础的传统数据仓库环境下，相对于业务数据，元数据的变更并不频繁，因此元数据的采集一般以批量方式进行。即元数据管理系统定期从生产系统、管理系统中获取各种元数据信息文件，例如SQL(Structured Query Language，结构化查询语言)脚本、ETL(Extract-Transform-Load，数据抽取、转换、装载的过程)脚本、运行日志、业务文档等，批量的进行解析、分析、关联后，实现元数据的采集与更新。

图1为现有数据仓库下元数据的采集更新过程示意图，元数据管理系统将IT系统中采集的SQL脚本、ETL日志和数据库设计等数据，进行解析、分析后得到技术元数据，并获取IT系统中录入的文档、表格等数据，进行解析、分析后得到业务元数据，将技术元数据和业务元数据关联，并对元数据存储库中存储的元数据进行更新。元数据应用通过元数据管理系统提供的API(Application Programming Interface，应用程序编程接口)，采集元数据应用自身需要的元数据，其中元数据应用包括信息浏览、血缘分析、数据质量、资产视图、数据安全等。

元数据采集以批量方式进行，如在每天24点之前元数据管理系统收集当日元数据变更信息，并进行处理，如果IT系统中的元数据发生变更，则IT系统可以实时获取到变更的元数据，因此当元数据在时间T发生变化，IT系统中的元数据更新过程无延迟即在时间T+0发生更新，而由于元数据管理系统在特定时间批量采集发生变更的元数据，则元数据管理系统中元数据可能在时间T+H发生更新，H为采集变更的元数据的特定时间与IT系统中元数据更新时间的差值，元数据管理系统中存储的元数据与实际生产系统中的数据情况存在一定的时间延迟。

由于传统数据仓库环境下不支持同步更新，如果需要在元数据管理系统批量更新元数据的时间之前获取到IT系统中已经更新的元数据，经常会出现以下经典应用场景：如数据采集人员在IT系统即生产系统的集群中添加了日期元数据及日期元数据的相关数据，并通知数据处理人员，数据处理人员先加载获取新添加的日期元数据及相关数据，并对相关数据进行清洗；数据分析人员根据日期元数据修改相关表结构，并在相关表中添加日期元数据对应的新数据列及相关数据，从而实现元数据管理系统中日期元数据的添加。也就是当存在元数据更新且未达到批量更新元数据的时间时，数据采集处理分析人员需要人为操作来实现元数据更新，增加了数据采集处理分析人员的工作量，降低数据采集效率，因此现有方式中在特定的时间批量采集更新元数据存在延迟、时效性差、效率低。

发明内容