[发明专利]数据更新方法及装置

权利要求书

1.一种数据更新方法，其特征在于，所述方法包括：

获取数据存储架构Hudi中目标数据的变更数据；

基于所述变更数据，在所述目标数据的更新信息字段中存储所述变更数据的字段更新信息，并在所述目标数据的操作类型字段中存储所述变更数据的数据变更类型信息；

基于所述更新信息字段，确定所述目标数据中的待更新字段，并基于所述操作类型字段，确定所述待更新字段的更新方式；

基于所述更新方式以及所述变更数据，对所述目标数据在数据库中对应存储的历史数据进行更新，得到更新后的历史数据，并对所述更新后的历史数据进行列存储。

2.根据权利要求1所述的数据更新方法，其特征在于，所述基于所述更新信息字段，确定所述目标数据中的待更新字段，包括：

基于所述更新信息字段，确定所述目标数据中的空字段以及所述目标数据中不更新的字段；

基于所述空字段以及所述不更新的字段，确定所述目标数据中的待更新字段。

3.根据权利要求1所述的数据更新方法，其特征在于，所述基于所述更新方式以及所述变更数据，对所述目标数据在数据库中对应存储的历史数据进行更新，得到更新后的历史数据，并对所述更新后的历史数据进行列存储，包括：

将所述更新方式以及所述变更数据进行行存储，得到行存储数据；

基于所述行存储数据中的更新方式以及所述行存储数据中的变更数据，对所述目标数据在数据库中对应存储的历史数据进行更新，得到更新后的历史数据，并对所述更新后的历史数据进行列存储。

4.根据权利要求1所述的数据更新方法，其特征在于，所述获取数据存储架构Hudi中目标数据的变更数据之后，还包括：

对所述Hudi中的系统预留字段进行扩展，得到所述目标数据的键值字段以及所述目标数据的交换数据字段；

在所述变更数据对应的变更字段为所述目标数据中的唯一键字段的情况下，基于所述变更数据，确定所述目标数据的唯一键变更值，并将所述唯一键变更值发送至目标地址的Http服务器，以使所述Http服务器存储所述唯一键变更值；

在所述目标数据的键值字段中存储所述目标数据的历史唯一键值，并在所述目标数据的交换数据字段中存储所述目标地址。

5.根据权利要求4所述的数据更新方法，其特征在于，所述在所述目标数据的交换数据字段中存储所述目标地址之后，还包括：

从所述交换数据字段中获取所述目标地址，并从所述Http服务器中获取所述唯一键变更值；

基于所述唯一键变更值以及所述键值字段中的历史唯一键值，更新所述目标数据的唯一键值，并将更新后的目标数据写入列存格式的数据文件中，得到所述目标数据的列存储数据；

基于所述列存储数据，替换所述目标数据在数据库中对应存储的历史数据。

6.根据权利要求1所述的数据更新方法，其特征在于，所述基于所述变更数据，在所述目标数据的更新信息字段中存储所述变更数据的字段更新信息之前，还包括：

对所述Hudi中的系统预留字段进行扩展，得到所述目标数据的更新信息字段以及所述目标数据的操作类型字段。

7.一种数据更新装置，其特征在于，包括：

获取模块，用于获取数据存储架构Hudi中目标数据的变更数据；

变更数据处理模块，用于基于所述变更数据，在所述目标数据的更新信息字段中存储所述变更数据的字段更新信息，并在所述目标数据的操作类型字段中存储所述变更数据的数据变更类型信息；

更新方式确定模块，用于基于所述更新信息字段，确定所述目标数据中的待更新字段，并基于所述操作类型字段，确定所述待更新字段的更新方式；

存储更新模块，用于基于所述更新方式以及所述变更数据，对所述目标数据在数据库中对应存储的历史数据进行更新，得到更新后的历史数据，并对所述更新后的历史数据进行列存储。

8.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述数据更新方法。