[发明专利]元数据处理方法、装置、设备、介质和程序产品

权利要求书

1.一种元数据处理方法，其特征在于，包括：

在分布式数据库组件中建立数据湖的数据组织格式组件对应的元数据表，所述元数据表中包括有元数据的文件路径信息；

根据所述数据湖的数据组织格式组件在执行事务时涉及的数据操作，确定待执行所述数据操作的记录所在分区和所述分区中的文件组；

根据待执行所述数据操作的记录所在分区和所述分区中的文件组，从所述元数据表中获取目标文件路径；

在所述目标文件路径下执行所述数据操作。

2.根据权利要求1所述的方法，其特征在于，所述在分布式数据库组件中建立数据湖的数据组织格式组件对应的元数据表，包括：

获取所述数据湖的数据组织格式组件的分区路径、文件组、所述文件组下所有文件切片的信息，所述数据湖的数据组织格式组件包括不同的分区路径，不同的分区路径中包括有不同的文件组，所述文件切片的信息包括文件名和文件大小；

将所述分区路径、文件组作为键，所有文件切片的信息作为键值，构建关联的键值对；

根据所述关联的键值对，构建得到所述元数据表，所述关联的键值对用于作为所述文件路径信息。

3.根据权利要求2所述的方法，其特征在于，所述在所述目标文件路径下执行所述数据操作之后，还包括：

根据在所述目标文件路径下执行的所述数据操作，确定待更新信息，所述待更新信息包括分区更新信息、文件组更新信息、文件切片更新信息中的至少一种；

根据所述待更新信息，对所述元数据表中的文件路径信息进行更新。

4.根据权利要求3所述的方法，其特征在于，所述对所述元数据表中的文件路径信息进行更新，包括：

根据所述分区更新信息，对所述文件路径信息中的分区路径进行更新，和/或，根据所述文件组更新信息，对所述分区路径中的文件组进行更新，和/或，根据所述文件切片更新信息，对所述文件组中的文件切片的信息进行更新。

5.根据权利要求1所述的方法，其特征在于，所述在所述目标文件路径下执行所述数据操作之后，还包括：

获取事务执行完毕之后的元数据，并根据所述事务执行完毕之后的元数据，对元数据文件夹下的元数据文件进行更新。

6.根据权利要求1所述的方法，其特征在于，所述在所述目标文件路径下执行所述数据操作，包括：

在所述目标文件路径下执行数据查询操作、数据回滚操作、数据提取与合并操作中的至少一种。

7.根据权利要求1所述的方法，其特征在于，所述分布式数据库组件为远程字典服务，所述方法还包括：

获取所述数据湖的数据组织格式组件中访问量大于预设阈值的数据文件，将所述数据文件缓存至所述远程字典服务的内存中。

8.一种元数据处理装置，其特征在于，包括：

数据表构建模块，用于在分布式数据库组件中建立数据湖的数据组织格式组件对应的元数据表，所述元数据表中包括有元数据的文件路径信息；

区组确定模块，用于根据所述数据湖的数据组织格式组件在执行事务时涉及的数据操作，确定待执行所述数据操作的记录所在分区和所述分区中的文件组；

路径获取模块，用于根据待执行所述数据操作的记录所在分区和所述分区中的文件组，从所述元数据表中获取目标文件路径；

操作执行模块，用于在所述目标文件路径下执行所述数据操作。

9.一种计算机设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令，所述计算机指令被处理器执行时用于实现如权利要求1-7任一项所述的方法。