[发明专利]一种数据处理方法及装置

说明书

本申请公开了一种数据处理方法，在一个示例中，所述方法可以由服务端执行。服务端可以获取离线数仓中的历史数据，所述历史数据为经过编码和/或压缩的数据。而后，生成至少一列数据湖元数据，并进一步基于所述数据湖元数据和所述历史数据，得到包括所述历史数据和所述数据湖元数据的数据湖数据。得到所述数据湖数据之后，可以生成所述文件元数据，并根据所述文件元数据和所述数据湖数据，得到数据湖文件。由此可见，在本申请实施例中，在将离线数仓中的历史数据转换成数据湖格式的数据湖文件时，无需对历史数据进行解码再编码，也无需对所述历史数据进行解压缩和压缩，从而使得将所述历史数据转换为数据湖格式的数据湖文件所消耗的资源较少。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法及装置。

背景技术

数据仓库可以用于存储数据，离线数仓是数据仓库的一种。目前，由于数据湖技术与传统离线数仓技术相比，提供了更多的能力，例如，更细粒度的数据更新和删除、更高的数据时效性。因此，数据湖技术的应用越来越广泛。

在数据湖技术的推广过程中，需要将离线数仓中的历史数据转换为数据湖格式的数据，而如何将所述历史数据转换为数据湖格式的数据，是目前急需解决的问题。

发明内容

本申请所要解决的技术问题是如何将离线数仓中的历史数据转换为数据湖格式的数据，提供一种数据处理方法及装置。

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

获取离线数仓中的历史数据，所述历史数据为经过编码和/或压缩的数据；

生成至少一列数据湖元数据；

基于所述历史数据和所述数据湖元数据，得到数据湖数据，所述数据湖数据包括所述历史数据和所述数据湖元数据；

生成所述数据湖数据的文件元数据，并根据所述数据湖数据和文件元数据，得到数据湖文件。

可选的，所述根据所述数据湖数据和文件元数据，得到数据湖文件，包括：

响应于列簇配置未被开启，根据所述数据湖数据和所述文件元数据，得到一个数据湖文件，其中，所述列簇配置用于指示根据字段的生命周期生成数据湖文件，所述数据湖文件包括所述数据湖数据和所述文件元数据。

可选的，所述根据所述数据湖数据和所述文件元数据，得到数据湖文件，包括：

响应于列簇配置被开启，获取所述数据湖数据的各个字段的生命周期，其中，所述列簇配置用于指示根据字段的生命周期生成数据湖文件；

根据所述数据湖数据的各个字段的生命周期，得到多个数据湖文件，其中，所述生命周期相同的字段对应的数据存储在相同的数据湖文件中，所述生命周期不同的字段对应的数据存储于不同的数据湖文件中，所述多个数据湖文件包括第一数据湖文件，所述第一数据湖文件包括：对应生命周期为第一周期的数据湖数据、以及所述第一数据湖文件的文件元数据。

可选的，所述至少一列数据湖元数据，存储于单独的一个数据湖文件中。

可选的，所述历史数据为采用原生Parquet格式存储的数据；所述数据湖文件包括采用Hudi的Parquet格式存储的数据。

可选的，所述数据湖元数据为Hudi元数据，所述文件元数据为Parquet元数据。

第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：

第一获取单元，用于获取离线数仓中的历史数据，所述历史数据为经过编码和/或压缩的数据；

第一生成单元，用于生成至少一列数据湖元数据；