[发明专利]数据处理方法、装置及设备

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

确定数据变更请求需要修改的第一文件和第一数据单元，所述第一文件包括所述第一数据单元和第二数据单元，所述第二数据单元不同于所述第一数据单元；

根据所述数据变更请求对读取的所述第一数据单元进行修改，得到第二文件的第三数据单元，所述第二文件包括所述第三数据单元和所述第二数据单元的索引信息，所述第二数据单元的索引信息用于指示所述第二文件从所述第一文件引用所述第二数据单元，所述第二文件是不同于所述第一文件的文件。

2.根据权利要求1所述的方法，其特征在于，所述第一文件与第二文件均是压缩文件，所述第一数据单元、第二数据单元和第三数据单元为分别使用对应的压缩算法压缩而成。

3.根据权利要求1或2所述的方法，其特征在于，所述第一数据单元、第二数据单元和第三数据单元均具有语义。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述数据变更请求对读取的所述第一数据单元进行修改，得到第二文件的第三数据单元，包括：

将所述读取的所述第一数据单元解压缩，得到解压缩后的第一数据单元；

根据所述数据变更请求修改所述解压缩后的第一数据单元，把修改后的第一数据单元进行压缩得到的数据作为所述第三数据单元。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一文件和所述第二文件中的数据的数据格式均为结构化数据或半结构化数据。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一文件和所述第二文件的文件格式均为parquet文件、ORC文件、CSV文件、carbon data文件或avro文件。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

在数据单元引用索引表中增加所述第二文件所引用的数据单元的引用信息，所述引用信息包括所述第二数据单元的标识和所述第三数据单元的标识，所述引用信息表征所述第二文件包括所述第二数据单元和所述第三数据单元。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：

在数据变更索引表中增加所述第三数据单元的数据单元信息，所述第三数据单元的数据单元信息包括所述第三数据单元的标识和偏移量，所述数据变更索引表还包括所述第一数据单元的标识和偏移量，所述第三数据单元的偏移量与所述第一数据单元的偏移量相同。

9.一种数据处理方法，其特征在于，所述方法包括：

接收数据读取请求，所述数据读取请求用于指示读取第二文件，所述第二文件包括第三数据单元和引用的第一文件中的第二数据单元，所述第一文件还包括第一数据单元，所述第三数据单元是根据数据变更请求对读取的所述第一数据单元进行修改得到的，所述第二数据单元与所述第一数据单元不同，所述第二文件是不同于所述第一文件的文件；

从所述第二文件中读取所述第三数据单元，以及从所述第一文件中读取所述第二数据单元。

10.根据权利要求9所述的方法，其特征在于，所述第一文件与第二文件均是压缩文件，所述第一数据单元、第二数据单元和第三数据单元为分别使用对应的压缩算法压缩而成。

11.根据权利要求9或10所述的方法，其特征在于，所述第一数据单元、第二数据单元和第三数据单元均具有语义。

12.根据权利要求9至11中任一项所述的方法，其特征在于，所述第一文件和所述第二文件中的数据的数据格式均为结构化数据或半结构化数据。

13.根据权利要求9至12中任一项所述的方法，其特征在于，所述第一文件和所述第二文件的文件格式均为parquet文件、ORC文件、CSV文件、carbon data文件或avro文件。