[发明专利]数据处理方法、装置及设备

说明书

公开了一种数据处理方法、装置及设备，以减少冗余数据，从而减少对存储空间的占用。该方法包括：确定数据变更请求需要修改的第一文件和第一数据单元，第一文件包括第一数据单元和第二数据单元，第二数据单元不同于第一数据单元；根据数据变更请求对读取的第一数据单元进行修改，得到第二文件的第三数据单元，第二文件包括第三数据单元和第二数据单元的索引信息，第二数据单元的索引信息用于指示第二文件从第一文件引用第二数据单元，第二文件是不同于第一文件的文件。

技术领域

本申请涉及存储技术领域，特别是涉及一种数据处理方法、装置及设备。

背景技术

随着大数据的兴起，数据湖(data lake)被引入并应用于数据分析、机器学习、可视化和报告等场景中。

时间旅行(time travel)是指数据分析应用指定某个时间点并对该时间点的数据进行分析的特性。时间旅行是数据湖分析中很重要的特性，提供用户应用分析历史数据的能力。任何一次数据修改操作，为了支持时间旅行，在保留上一个版本的文件的前提下，需要将上一个版本的文件+新修改的数据进行合并生成新的文件，并通过数据湖表下的文件来记录一次修改引起的所有文件变化。

即使修改操作仅修改文件中的一个字节，也会生成一个新的全量的文件，导致冗余数据占用大量的存储空间，造成存储空间的浪费。

发明内容

本申请提供了一种数据处理方法、装置及设备，以减少冗余数据，从而减少对存储空间的占用。

第一方面提供一种数据处理方法。方法包括，确定数据变更请求需要修改的第一文件和第一数据单元，第一文件包括第一数据单元和第二数据单元，第二数据单元不同于第一数据单元。第二数据单元为第一文件中数据变更请求不涉及修改的数据单元。根据数据变更请求对读取的第一数据单元进行修改，得到第二文件的第三数据单元，第二文件包括第三数据单元和第二数据单元的索引信息，第二数据单元的索引信息用于指示第二文件从第一文件引用第二数据单元，第二文件是不同于第一文件的文件。根据数据修改请求确定需要修改的第一文件中的第一数据单元，根据数据变更请求和第一文件生成第二文件，对于数据变更请求不涉及修改的第一文件中的第二数据单元，第二文件通过引用的方式获得，无需额外复制到第二文件中，能够减少对冗余数据的存储，从而减少数据变更导致的对存储空间的占用。

在一些可能的实现方式中，所述第一文件与第二文件均是压缩文件，第一数据单元、第二数据单元和第三数据单元为分别使用对应的压缩算法压缩而成。即第一数据单元和第二数据单元和第三数据单元是可以被独立压缩的数据单位。

在一些可能的实现方式中，根据数据变更请求对读取的第一数据单元进行修改，得到第二文件的第三数据单元，包括：将读取的第一数据单元解压缩，得到解压缩后的第一数据单元；根据数据变更请求修改解压缩后的第一数据单元，把修改后的第一数据单元进行压缩得到的数据作为第三数据单元。

在一些可能的实现方式中，第一数据单元、第二数据单元和第三数据单元均具有语义。从而数据单元能够独立地压缩和解压缩，数据单元中的数据发生变化不会影响其他数据单元。

在一些可能的实现方式中，第一文件和第二文件中的数据的数据格式均为结构化数据或半结构化数据。

在一些可能的实现方式中，第一文件和第二文件的文件格式均为parquet文件、ORC文件、CSV文件、carbon data文件或avro文件。

在一些可能的实现方式中，该方法还包括：在数据单元引用索引表中增加第二文件所引用的数据单元的引用信息，引用信息包括第二数据单元的标识和第三数据单元的标识，引用信息表征第二文件包括第二数据单元和第三数据单元。

在一些可能的实现方式中，该方法还包括：在数据变更索引表中增加第三数据单元的数据单元信息，第三数据单元的数据单元信息包括第三数据单元的标识和偏移量，数据变更索引表还包括第一数据单元的标识和偏移量，第三数据单元的偏移量与第一数据单元的偏移量相同。