[发明专利]大数据平台的元数据处理方法、装置及电子设备

说明书

本申请提供了一种大数据平台的元数据处理方法、装置及电子设备，涉及互联网大数据、云计算技术领域。方法包括：获取至少一个大数据平台存储的元数据；将各元数据进行标准化处理，得到对应的标准化元数据；其中，标准化元数据用于提供给至少一个应用端。本申请实施例中，通过对各大数据平台存储的元数据进行标准化处理，可以屏蔽不同大数据平台的元数据的差异性，降低了数据处理的成本，提高了数据处理的效率。

技术领域

本申请涉及互联网大数据、云计算技术领域，尤其涉及一种大数据平台的元数据处理方法、装置及电子设备。

背景技术

大数据平台是为了处理当今社会所产生的越来越大量的数据的平台，以存储、运算、展现数据作为目的。大数据平台存储的元数据是描述大数据的数据，是对数据的属性进行描述的结构数据。在大数据的使用过程中，各大数据平台向不同的应用端提供元数据，以满足各应用端的应用需求。

然而，不同的大数据平台存储的元数据具有差异性，应用端在从不同的大数据平台获取元数据时，为了适应数据提供方式的差异性，需要针对不同的大数据平台编写不同的代码，增加了数据处理成本，降低了数据处理效率。

发明内容

本申请提供了一种大数据平台的元数据处理方法、装置及电子设备，以降低数据处理成本，提高数据处理效率。

一方面，本申请提供了一种大数据平台的元数据处理方法，包括：

获取至少一个大数据平台存储的元数据；

将各元数据进行标准化处理，得到对应的标准化元数据；其中，标准化元数据用于提供给至少一个应用端。

可选地，将各元数据进行标准化处理，得到标准化元数据，包括：

针对每一大数据平台存储的不同版本的元数据，将各元数据进行标准化处理，得到标准化元数据。

可选地，将各元数据进行标准化处理，得到标准化元数据，包括：

将各元数据中的至少一个维度的数据的数据特征，处理成标准化元数据的数据特征；

其中，数据特征包括数据格式、数据结构和数据单位中的至少一项。

可选地，至少一个维度的数据包括以下至少一项：

元数据表、表字段、表分区元信息、节点和表血缘关系、表血缘、字段血缘、数据服务元信息、任务运行元信息、任务节点元信息和大数据节点血缘元数据。

可选地，该方法还包括：

针对每一大数据平台，根据大数据平台的元数据的版本信息，在预先配置的至少一个获取方式中确定元数据的获取方式。

可选地，至少一个获取方式包括以下至少一项：

调用应用程序编程接口API，通过API获取版本信息对应的大数据平台的元数据；

从大数据平台的元数据库中获取版本信息对应的元数据。

可选地，获取至少一个大数据平台存储的元数据，包括：

接收至少一个应用端发送的元数据获取请求，各元数据获取请求中携带元数据的第一标识信息；

根据各元数据获取请求，在至少一个大数据平台中获取各第一标识信息对应的元数据；

其中，第一标识信息包括大数据平台的第二标识信息和元数据的维度信息中的至少一项。

可选地，该方法还包括：

根据各应用端发送的元数据的第一标识信息，将标准化元数据提供给对应的应用端。

可选地，获取至少一个大数据平台存储的元数据，包括：