[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取离线数仓中的历史数据，所述历史数据为经过编码和/或压缩的数据；

生成至少一列数据湖元数据；

基于所述历史数据和所述数据湖元数据，得到数据湖数据，所述数据湖数据包括所述历史数据和所述数据湖元数据；

生成所述数据湖数据的文件元数据，并根据所述数据湖数据和文件元数据，得到数据湖文件。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据湖数据和文件元数据，得到数据湖文件，包括：

响应于列簇配置未被开启，根据所述数据湖数据和所述文件元数据，得到一个数据湖文件，其中，所述列簇配置用于指示根据字段的生命周期生成数据湖文件，所述数据湖文件包括所述数据湖数据和所述文件元数据。

3.根据权利要求1所述的方法，其特征在于，所述根据所述数据湖数据和所述文件元数据，得到数据湖文件，包括：

响应于列簇配置被开启，获取所述数据湖数据的各个字段的生命周期，其中，所述列簇配置用于指示根据字段的生命周期生成数据湖文件；

根据所述数据湖数据的各个字段的生命周期，得到多个数据湖文件，其中，所述生命周期相同的字段对应的数据存储在相同的数据湖文件中，所述生命周期不同的字段对应的数据存储于不同的数据湖文件中，所述多个数据湖文件包括第一数据湖文件，所述第一数据湖文件包括：对应生命周期为第一周期的数据湖数据、以及所述第一数据湖文件的文件元数据。

4.根据权利要求3所述的方法，其特征在于，所述至少一列数据湖元数据，存储于单独的一个数据湖文件中。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述历史数据为采用原生Parquet格式存储的数据；所述数据湖文件包括采用Hudi的Parquet格式存储的数据。

6.根据权利要求5所述的方法，其特征在于，所述数据湖元数据为Hudi元数据，所述文件元数据为Parquet元数据。

7.一种数据处理装置，其特征在于，所述装置包括：

第一获取单元，用于获取离线数仓中的历史数据，所述历史数据为经过编码和/或压缩的数据；

第一生成单元，用于生成至少一列数据湖元数据；

第二获取单元，用于基于所述历史数据和所述数据湖元数据，得到数据湖数据，所述数据湖数据包括所述历史数据和所述数据湖元数据；

第二生成单元，用于生成所述数据湖数据的文件元数据；

第三获取单元，用于根据所述数据湖数据和文件元数据，得到数据湖文件。

8.根据权利要求7所述的装置，其特征在于，所述第三获取单元，用于：

响应于列簇配置被开启，获取所述数据湖数据的各个字段的生命周期，其中，所述列簇配置用于指示根据字段的生命周期生成数据湖文件；

根据所述数据湖数据的各个字段的生命周期，得到多个数据湖文件，其中，所述生命周期相同的字段对应的数据存储在相同的数据湖文件中，所述生命周期不同的字段对应的数据存储于不同的数据湖文件中，所述多个数据湖文件包括第一数据湖文件，所述第一数据湖文件包括：对应生命周期为第一周期的数据湖数据、以及所述第一数据湖文件的文件元数据。

9.一种设备，其特征在于，所述设备包括处理器和存储器；

所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行如权利要求1至6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，包括指令，所述指令指示设备执行如权利要求1至6中任一项所述的方法。